原帖引用 · AI 翻译
Meta 刚刚向所有美国用户开放了与其 Muse AI 智能体的实时视频通话。
通话者会看到一个动画虚拟形象，可以将其改成真人、动物或其他角色的造型；它在聆听时也会作出反应。
Muse Realtime Voice 输出同时承载文字内容和表达方式的语音词元，Muse Realtime Avatar 则将同一数据流转换为口型同步的视频。
为了实现实时运行，Meta 训练了一个学生模型，使其用每个视频片段 2 次处理来复现教师模型用 120 次处理生成的内容。
该系统以每秒 25 帧的速度传输 448x768 竖屏视频，并在用户停止说话后约 870 毫秒开始回复。
加入 4 位量化、缓存和动态批处理后，单个 Nvidia GB200 可以同时运行 12 路视频流。
在公司自行开展的 2 至 3 分钟通话测试中，评估者更偏好该虚拟形象，而非 Runway Characters，偏好比例为 78% 比 22%；与 HeyGen LiveAvatar 相比，比例为 88% 比 12%。
按每个 GB200 支持 12 路视频流计算，若有 100 万人同时通话，仅视频就需要约 8.3 万个 GB200，因此服务成本可能限制该虚拟形象的覆盖范围。
原文
Meta just opened live video calls with its Muse AI agent to every US user. Callers see an animated avatar they can restyle as a person, animal or other character, and it reacts while listening. Muse Realtime Voice emits speech tokens carrying words and delivery, and Muse Realtime Avatar turns the same stream into lip-synced video. To run that live, Meta trained a student model to reproduce in 2 passes per video chunk what a teacher built in 120. the system streams 448x768 portrait video at 25 frames per second and starts replying about 870ms after a user stops talking. Adding 4-bit quantization, caching and dynamic batching lets a single Nvidia GB200 run 12 video streams at once. In company-run tests of 2- to 3-minute calls, raters preferred the avatar to Runway Characters 78% to 22% and HeyGen LiveAvatar 88% to 12%. At 12 streams per GB200, 1M simultaneous callers would need about 83K of them for video alone, so serving cost could cap the avatar’s reach.