原帖引用 · AI 翻译
键盘曾是机器听不见人说话时的变通办法。机器能听懂人说话后,键盘就成了可选项。
WisprFlow 最近聘请了 Alexa 创始团队科学家 Ariya Rastrow 担任首席科学官,并从租用语音引擎转向使用自己训练的模型。
对于一家语音实验室来说,很难找到比曾带领 Alexa 语音团队扩大规模的人更合适的人选。
他的实验室推出的首个模型 Canto 1 旨在减少人们修改听写文本的次数,因此 Wispr 用真实场景下带有噪声的听写录音训练该模型,并针对每位用户的词汇和姓名进行调整。
而且这是一项艰难的测试,与许多测试不同,因为语音识别长期以来一直用清晰的朗读录音来测试,但真正棘手的问题是:在有其他人说话的房间里,如何用廉价笔记本电脑的麦克风识别语音。
在来自 2,300 多名说话者、总计约 10 小时的真实 Flow 听写录音上,该模型的词错误率为 3.4%,低于 Wispr 测试的所有竞争模型。
打字时,每敲一个键都能得到反馈,而使用语音时,你要等到一句话说完才能看到机器听到了什么,因此速度和准确率同样重要。
自发布以来,听写结果需要超过 1 秒才显示出来的情况减少了 54%。
它的训练依次经过预训练、监督微调和使用 GRPO 的强化学习,与大型语言模型所用的阶段相同。
强化学习阶段使用了选择共享数据的 Flow 用户所做的修正。
当有人修正一个听写出来的词时,Wispr 会检查音频与文本如何对齐,以及这次编辑呈现出什么形式。
听错的词会被纳入训练参考文本,而单纯改写句子的编辑则会被忽略。