原帖引用 · AI 翻译
当一张会说话的脸能够进行实时对话时,回应的时机比外表有多逼真更重要。
Nuance Labs 推出了 AI 视频角色 Emma,她的回应时机有 89% 的时间与真人说话者一致。
她由 Nuplex 1.0 驱动。这是一种全双工视听模型,能够同时聆听和说话,因此你还在说话时,她的脸就会作出反应。
一个非常有意思的地方是,Emma 的脸和声音来自一位真实的女演员。她与 Nuance Labs 合作,录下自己实际如何倾听、作出反应和说话,然后将这些素材输入他们的 Nuplex 模型。
由此形成了一套属于同一个角色的举止神态。
为了强调而缓缓眨眼。 眯起眼睛。 目光移开,又转回来。 当她强烈的感受难以抑制时,身体轻轻一颤。 头随着话语摆动。
第一个你会真正想面对面见到的 AI 角色。
大多数 AI 角色在你说话时只会面无表情地盯着你。Emma 则会在你还在说话时作出反应。
经过 @nuance_ai 18 个月的研究,这就是 Emma。她基于我们的全双工视听基础模型 Nuplex 构建。https://t.co/eLmwyTS78o
原文
The first AI persona you’ll actually want to meet face-to-face. Most AI personas stare blankly while you talk. Emma reacts while you’re still speaking. After 18 months of research at @nuance_ai, this is Emma, built on Nuplex, our full-duplex audiovisual foundation model. https://t.co/eLmwyTS78o