aifollow.news
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

WisprFlow launches its first in-house speech model, Canto 1, to reduce dictation editsMachine translation

AI introduction

WisprFlow has moved from rented speech engines to models it trains itself. Its first model, Canto 1, was trained on noisy real-world dictations and tuned to users’ vocabulary and names. On about 10 hours of Flow dictations from more than 2,300 speakers, it recorded a 3.4% word error rate, lower than the competing models Wispr tested.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

键盘曾是机器听不见人说话时的变通办法。机器能听懂人说话后,键盘就成了可选项。

WisprFlow 最近聘请了 Alexa 创始团队科学家 Ariya Rastrow 担任首席科学官,并从租用语音引擎转向使用自己训练的模型。

对于一家语音实验室来说,很难找到比曾带领 Alexa 语音团队扩大规模的人更合适的人选。

他的实验室推出的首个模型 Canto 1 旨在减少人们修改听写文本的次数,因此 Wispr 用真实场景下带有噪声的听写录音训练该模型,并针对每位用户的词汇和姓名进行调整。

而且这是一项艰难的测试,与许多测试不同,因为语音识别长期以来一直用清晰的朗读录音来测试,但真正棘手的问题是:在有其他人说话的房间里,如何用廉价笔记本电脑的麦克风识别语音。

在来自 2,300 多名说话者、总计约 10 小时的真实 Flow 听写录音上,该模型的词错误率为 3.4%,低于 Wispr 测试的所有竞争模型。

打字时,每敲一个键都能得到反馈,而使用语音时,你要等到一句话说完才能看到机器听到了什么,因此速度和准确率同样重要。

自发布以来,听写结果需要超过 1 秒才显示出来的情况减少了 54%。

它的训练依次经过预训练、监督微调和使用 GRPO 的强化学习,与大型语言模型所用的阶段相同。

强化学习阶段使用了选择共享数据的 Flow 用户所做的修正。

当有人修正一个听写出来的词时,Wispr 会检查音频与文本如何对齐,以及这次编辑呈现出什么形式。

听错的词会被纳入训练参考文本,而单纯改写句子的编辑则会被忽略。

Source: Rohan Paul · x.com

Model
Found an error? Send a correction