aifollow.news
返回 Hugging Face 官方博客
Hugging Face 官方博客· · 原发布时间 AI 评分40

Open ASR Leaderboard 加入埃及和尼日利亚口音英语私有测试数据

AI 辅助摘要

Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚口音英语的私有测试数据,分别包含 1.34 小时和 1.55 小时的自然对话语音。榜单的私有数据页面现按美国与非美国口音等分组展示结果,方便查看模型在不同口音上的表现。

正文 · AI 翻译

几个月前,我们向 Open ASR Leaderboard 添加了私有数据:来自 Appen 和 DataOceanAI 的 11 个数据子集,涵盖 5 种口音的照稿朗读和对话语音(博客)。社区反响热烈,许多人强调,留出数据集对可信的评测至关重要。此后,我们又与 Voice Arena 合作,新增了 1 个印度口音英语的私有数据子集(博客)。

我们很高兴地宣布与 Liva AI 展开新合作,加入更多私有数据,涵盖 2 种新口音:埃及口音 🇪🇬 和尼日利亚口音 🇳🇬。

数据集

口音

时长[小时]

风格

转写文本

Liva AI Conversational EG

埃及口音

1.34

对话式、自然即兴

含标点和大小写,保留不流畅表达。

Liva AI Conversational NG

尼日利亚口音

1.55

对话式、自然即兴

含标点和大小写,保留不流畅表达。

这是我们持续努力的一部分:通过纳入更多口音和语言,提升 ASR 评测的代表性;通过增加新的私有数据以尽量减少针对基准测试刷分的行为,并引入新的数据提供方,提升评测的可信度。我们很高兴看到社区继续推动 ASR 性能进步,造福全世界 🤗

“私有数据”标签页中更细致的口音分类

有了这些新口音,我们现在可以根据卡奇鲁的“三圈模型”呈现更细致的口音分类(感谢 Hume AI 在其排行榜中提出这一想法)。Open ASR Leaderboard 现在将报告:

美国与非美国(英国、澳大利亚、加拿大、印度、尼日利亚、埃及)

内圈(美国、英国、澳大利亚、加拿大)与外圈及扩展圈(印度、尼日利亚、埃及)

随着更多口音加入,我们会将外圈和扩展圈分开。

关于 Liva AI

Liva AI 通过真实用户使用的消费产品收集多模态交互数据。由于 Liva 同时掌控数据收集环境和分发渠道,因此能够围绕模型在不同领域、行业、语言、模态和交互类型中的具体短板设计产品。这使其能够获取真实产品使用过程中自然产生的、具有丰富上下文的行为数据,而非人为诱导或基于特定任务的交互数据。

发现内容有误?提交纠错