原帖引用 · AI 翻译
语音 AI 如今已足够出色，可以将偏好度和与人类语音的相似度作为两个独立目标来评分。
@voicearena_ai 推出了一项新基准测试 Turing TTS，直接评估后者：听众先听真人和模型说同一句话，再选出真人。
他们选中模型的频率就是误认率（Fool Rate）。50% 意味着听众无法分辨。
即使是表现最好的模型 Gemini 3.8 Flash TTS，也只有约 10% 的时候让他们误以为是人。
在 Voice Arena 的偏好榜单上，排名前 4 的模型在统计意义上不分高下。以真人语音为参照，整个领域仍有很长的路要走。
第 2/15 次发布
我们真的在衡量我们最终希望语音 AI 模型实现的目标吗？
最好的 AI 语音正变得难以区分。
彼此之间难以区分，而不是与真人语音难以区分。
🚀 推出 Turing TTS：一项评估，衡量人类听众将 AI 生成的语音误认为真人语音的频率。
我们将领先的 TTS 模型与真人语音进行了对比测试。即使是表现最好的模型，也只有约 10% 的时候让听众误以为是真人。
我们希望通过 Turing TTS，为研究界关于如何衡量语音 AI 进展的更广泛讨论作出贡献。
如果我们的目标之一是开发出与真人语音无法区分的语音，那么现有的评估方法在多大程度上能反映我们朝这一目标取得的进展？
我们并不声称 Turing TTS 是正确的前进方向，也不认为让语音与真人语音无法区分应该是每个 TTS 系统的目标。
相反，我们希望这些发现能促使研究界共同审视：对自然度进行盲测式成对人工评估是否足够，以及我们还需要衡量什么。
结果现已在 @voicearena_ai 上发布。
原文
Drop 2/15 Are we actually measuring the things we ultimately want our voice AI models to achieve? The best AI voices are becoming hard to tell apart. From each other. Not from humans. 🚀 Introducing Turing TTS: an evaluation that measures how often human listeners mistake AI-generated speech for real human speech. We tested leading TTS models against real human speech. Even the best model fooled listeners only ~10% of the time. With Turing TTS, we hope to contribute to a broader discussion within the research community about how we measure progress in voice AI. If one of our goals is to develop speech that is indistinguishable from human speech, how well do our current evaluation methods capture progress toward that goal? We don’t claim that Turing TTS is the right way forward, or that human indistinguishability should be the goal of every TTS system. Rather, we hope these findings encourage the community to collectively examine whether blind pairwise human evaluations of naturalness are sufficient, and what else we might need to measure. Results are now live on @voicearena_ai.