aifollow.news
Back Hugging Face 官方博客
Hugging Face 官方博客· · Original publication time AI score40

Open ASR Leaderboard adds private Egyptian and Nigerian English evaluation dataMachine translation

Open ASR Leaderboard 加入埃及和尼日利亚口音英语私有测试数据

AI-assisted summary

Open ASR Leaderboard has partnered with Liva AI to add private evaluation data for Egyptian and Nigerian English accents, comprising 1.34 and 1.55 hours of spontaneous conversational speech, respectively. Its Private tab now groups results by accent, including US versus non-US, to show how models perform across accents.

Article · AI translation

几个月前,我们向 Open ASR Leaderboard 添加了私有数据:来自 Appen 和 DataOceanAI 的 11 个数据子集,涵盖 5 种口音的照稿朗读和对话语音(博客)。社区反响热烈,许多人强调,留出数据集对可信的评测至关重要。此后,我们又与 Voice Arena 合作,新增了 1 个印度口音英语的私有数据子集(博客)。

我们很高兴地宣布与 Liva AI 展开新合作,加入更多私有数据,涵盖 2 种新口音:埃及口音 🇪🇬 和尼日利亚口音 🇳🇬。

数据集

口音

时长[小时]

风格

转写文本

Liva AI Conversational EG

埃及口音

1.34

对话式、自然即兴

含标点和大小写,保留不流畅表达。

Liva AI Conversational NG

尼日利亚口音

1.55

对话式、自然即兴

含标点和大小写,保留不流畅表达。

这是我们持续努力的一部分:通过纳入更多口音和语言,提升 ASR 评测的代表性;通过增加新的私有数据以尽量减少针对基准测试刷分的行为,并引入新的数据提供方,提升评测的可信度。我们很高兴看到社区继续推动 ASR 性能进步,造福全世界 🤗

“私有数据”标签页中更细致的口音分类

有了这些新口音,我们现在可以根据卡奇鲁的“三圈模型”呈现更细致的口音分类(感谢 Hume AI 在其排行榜中提出这一想法)。Open ASR Leaderboard 现在将报告:

美国与非美国(英国、澳大利亚、加拿大、印度、尼日利亚、埃及)

内圈(美国、英国、澳大利亚、加拿大)与外圈及扩展圈(印度、尼日利亚、埃及)

随着更多口音加入,我们会将外圈和扩展圈分开。

关于 Liva AI

Liva AI 通过真实用户使用的消费产品收集多模态交互数据。由于 Liva 同时掌控数据收集环境和分发渠道,因此能够围绕模型在不同领域、行业、语言、模态和交互类型中的具体短板设计产品。这使其能够获取真实产品使用过程中自然产生的、具有丰富上下文的行为数据,而非人为诱导或基于特定任务的交互数据。

Found an error? Send a correction