aifollow.news Search
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time SelectedAI score67

NVIDIA releases Nemotron 3.5 Transcribe weights and Granary v2 speech data pipelineMachine translation

英伟达开放 Nemotron 3.5 Transcribe 权重及 Granary v2 语音数据管线

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI-assisted summary

Nemotron 3.5 Transcribe is available for free on Hugging Face and ModelScope. It can process recordings up to one hour long, transcribe 40 languages and distinguish up to eight speakers. The Granary v2 pipeline, released alongside it, covers 463,062 hours of audio across 48 languages and can turn audio into training data for transcription, translation and other tasks.

Article · Original

感谢IT之家网友 愚公骑马 的线索投递!

IT之家 10 月 29 日消息,英伟达昨日(10 月 28 日)宣布推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开训练数据管线 Granary v2。

Nemotron 3.5 Transcribe 模型整合转录、说话人归属、翻译和音频问答,主要面向会议纪要、课堂录像、访谈整理和多语言客服等场景。

在架构方面,Nemotron 3.5 Transcribe 采用混合专家(MoE)架构,总参数约 340 亿,激活参数量约 43 亿。它可处理最长 1 小时的录音,支持 40 种语言的转录,其中 31 种语言可与英语互译;在说话人识别方面,最多可区分 8 名说话人,并支持 13 种语言的说话人标注。

该模型最大亮点是应对“多人同时说话”的能力。模型在生成文本时即可为每段发言标注说话人。官方演示中,它对 1940 年电影《他的女友礼拜五》中语速极快、大量重叠对白的场景,也能分角色生成字幕。

在公开评测中,该模型在 Hugging Face Open ASR Leaderboard 英语组以 5.33% 的平均词错误率位居开放权重模型第一。

在 Artificial Analysis 的非流式词错误率指数中,以 2.8% 的成绩与 Voxtral Small Transcribe 并列开源模型首位。说话人归属方面,它在 David AI 的 21 种语言说话人分离基准中录得 18.26% 的最低错误率。IT之家附上相关图片如下:

模型已在 Hugging Face 与 ModelScope 免费开放,采用 OpenMDW-1.1 许可证;量化版本预计后续发布,便于在 RTX Spark、DGX Spark、Jetson AGX Thor 等本地设备运行。

Granary v2 是 NVIDIA 为多语言语音模型(如 Nemotron 3.5 Transcribe)构建的开放、可复用的训练数据整理管线与数据集。

它把原始 / 已有标注的音频自动加工成多种转录格式、翻译、字幕、问答和指令对,供 ASR、语音翻译和语音指令微调使用。

公开的 Granary v2 数据清单覆盖 463,062 小时音频、48 种语言、16 个源语料库,相比 Granary v1 的 25 种语言明显扩展。

对同一段录音,Granary v2 至少生成三种转录变体,对应模型可被提示要求的不同书面风格:

文本规范化逐字稿(tn_raw):保留“呃”“嗯”等不流畅表达,但数字等文本形式规范化,例如“I paid, uh, twenty-five euros.”

逆文本规范化、含不流畅表达(itn_raw):把口语数字还原为书面符号,如“I paid, uh, €25.”

逆文本规范化、去除不流畅表达(itn_clean):输出干净可读文本,如“I paid €25.”

Found an error? Send a correction