Original post · AI translation
Rohan Paul@rohanpaul_ai
Meta 刚刚向美国所有用户开放了与其 Muse AI 智能体的实时视频通话。
通话者会看到一个动画形象，可以将其改造成真人、动物或其他角色的样子；它在聆听时也会作出反应。
Muse Realtime Voice 输出承载文字和表达方式的语音词元，Muse Realtime Avatar 则将同一数据流转化为口型同步的视频。
为实现实时运行，Meta 训练了一个学生模型，使其能用每个视频片段 2 次处理，复现教师模型用 120 次处理生成的内容。
该系统以每秒 25 帧传输 448x768 的竖屏视频，并在用户停止说话约 870 毫秒后开始回复。
加入 4 位量化、缓存和动态批处理后，单块 Nvidia GB200 可同时运行 12 路视频流。
在公司自行开展的 2 至 3 分钟通话测试中，评分者对该动画形象与 Runway Characters 的偏好比例为 78% 比 22%，与 HeyGen LiveAvatar 的偏好比例为 88% 比 12%。
按每块 GB200 支持 12 路视频流计算，100 万名用户同时通话，仅视频部分就需要约 8.3 万块 GB200，因此服务成本可能限制该动画形象的普及范围。
· UTC+8