NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

一个开放模型，支持多语言转写、说话人归属、翻译和音频问答，在排行榜上名列前茅，并配有开放的 Granary v2 数据管线和微调配方，以便对其进行适配。

一份转写文本可以记录每一个说出的词，却仍让用户或应用无从得知谁说了什么、如何翻译，或如何格式化特定领域的术语。多语言通话、快节奏会议和医疗口述各自需要不同的输出：译文、说话人标签，或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，可将录制的语音转化为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它将转写、说话人归属（说话人分离）、翻译和音频问答整合进同一个 checkpoint：它能转写 40 种语言，将其中 31 种语言与英语互译，并在 13 种语言中标注说话人。它可处理最长一小时的录音，并标注最多八位说话人。开发者可以用自然语言引导输出，选择音频的处理位置，并让识别适配领域词汇和口音。

在 Hugging Face Open ASR Leaderboard 的英语榜上，Transcribe 在开放权重模型中排名第一，并位于 Artificial Analysis 的准确率—激活参数前沿。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜上取得最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。模型支持量化版本，因此你可以在自己的 RTX Spark、DGX Spark 或 Jetson AGX Thor 上本地运行 Transcribe，也可以在 Blackwell 数据中心 GPU 上扩展规模。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可复用的数据整理管线，连同 NeMo Speech 微调工具，将提示级控制延伸到训练：开发者可以定义所需的书面形式，并让模型适配其应用所遇到的语音。在一个医疗案例研究中，微调将留出说话人的词错误率（WER）相对最佳提示降低了 45.8%。

同一个 checkpoint 可以根据指令将一次会议录音转化为不同的输出：

“转写这段录音并标注每位说话人。”

“将这段音频翻译成英语。”

“这次会议做出了哪些决定？”

在下方视频中体验该模型的实际运行，它处理了 1940 年怪诞喜剧《女友礼拜五》中的经典场景——这部电影以其快速、大量重叠的对白而闻名。

Nemotron 3.5 Transcribe 为《女友礼拜五》（1940）中的一个场景生成字幕并标注说话人，包括重叠的对白。

对于不熟悉的术语，先尝试上下文，再考虑训练。例如，在医疗场景中：

用原语言转写这段医疗讨论。可能的术语：HbA1c、metformin。仅在音频支持时使用这些术语。保留标准医学拼写，并以常规书面形式书写数字。

模型卡提供了推荐的预设，包括音频问答的推理，以及完整的提示指南和按任务划分的语言矩阵：语言支持因任务而异，音频问答以英语训练。还支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人变化和答案。

从直播课堂到持久的课程。Agora 的实时语音和视频平台为应用中的实时对话提供支持，它在一个课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课程转化为与回放并排显示的转写文本，让学生可以看到说了什么以及何时说的。Agora 的博客详细介绍了他们是如何构建的。

在开放权重模型中，Transcribe 在“说了什么”上领先；在“谁说的”上，它 outright 位居两项说话人归属基准之首。

Hugging Face Open ASR Leaderboard。该排行榜以词错误率（WER）衡量公开测试集上的转写准确率，分为三个赛道：

英语：在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。

多语言：七种语言的平均 WER 为 4.62%，是模型卡 Open ASR 对比中受评估开放权重模型里最低的。

长音频：平均 WER 为 10.98%，同样是该对比中最低的。

图 1. Nemotron 3.5 Transcribe 以 5.33% 的平均 WER 在 Hugging Face Open ASR Leaderboard（英语）的开放权重模型中排名第一，API 模型不计入。WER 越低，意味着转写错误越少。

Artificial Analysis 语音转文本排行榜。Artificial Analysis 以其词错误率指数 AA-WER 对语音转文本模型进行独立排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，其激活参数约为 4B，而与之并列的模型为 24B。在 AA-AgentTalk 上——这个占 AA-WER 指数 50% 的留出语音智能体语音集——Transcribe 的 WER 得分为 1.8%，而次优开放权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 专家混合语言模型配对，因此其 30B 参数中每个 token 仅有约 4B 处于激活状态。这使其位于 Artificial Analysis 的开放权重准确率与激活参数帕累托前沿上。在 AA 的全模型图表中，它排名领先于若干广泛使用的专有语音 API。

图 2. 以约六分之一的激活参数取得领先的 AA 准确率：Nemotron 3.5 Transcribe 以约 4B 激活参数实现 2.80% 的 AA-WER。

跨语言与重叠语音的说话人归属。Sortformer 说话人线索与声学特征一同到达语言模型，因此 Transcribe 可以在生成过程中标记每个话轮，而不必仅依赖后续步骤将说话人附加到词上。

David AI DAI-ASR-I18N 排行榜。在 David AI 的 DAI-ASR-I18N 转写与说话人归属联合赛道中，Transcribe 在受评估的开放权重模型中排名第一，总体排名第二。在该基准的说话人分离赛道中——该赛道对 21 种语言中谁在何时说话进行评分——它在 14 个受测系统中具有最低的说话人分离错误率，略领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

图 3. NVIDIA 模型在 David AI 的多语言说话人分离排行榜上占据前两名：Nemotron 3.5 Transcribe 在 21 种语言中取得最低的总体说话人分离错误率（DER），为 18.26%，紧随其后的是 Nemotron 3 Diarization，为 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench。在 VoiceArena 的英语完整会话基准上，Transcribe 在 14 个系统中取得最低的拼接最小排列 WER（cpWER），并在面对面和在线两种设置中均排名第一。它的丢词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

图 4. NVIDIA 模型在 VoiceArena 的 14 系统对比中占据前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，紧随其后的是 NVIDIA Multitalker Parakeet 搭配 Nemotron 3 Diarization，为 34.2%。Diarization-Bench v1 涵盖英语完整会话、重叠语音和 2–8 位说话人。cpWER 在匹配说话人标签后统计词错误；越低越好。

更多评估。Ocular AI 的 Converse-STT 评估将 Transcribe 列为顶级开放模型。Josh Talks 的 Voice of India 排行榜报告了 Transcribe 在印度各语言上的结果。

高吞吐转写。在基准测试中，Transcribe 使用即将推出的 NVFP4 量化版本，在一块 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU 上不到三分钟便处理了 100 小时音频。结果是在高并发下对 30 秒片段测得的。

今天即可用 vLLM 部署可用的 checkpoint。除量化版本外，还提供使用 NeMo-Speech.cpp 的本地部署。Transcribe 专为录制音频而构建，不适用于实时流式传输。

专用录音仍可能需要针对领域词汇和转写惯例进行适配。Granary v2 和 NeMo Speech 微调可解决这一问题，从 Transcribe 背后的数据入手。

可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音集合的一部分。它使用 NVIDIA NeMo Curator 构建，其可复用流水线准备了 Nemotron 3.5 Transcribe 训练中使用的多语言语音，生成对齐的转写变体、任务标签和可检查的质量元数据。公开清单涵盖 48 种语言、16 个来源语料库的 463,062 小时，较 Granary v1 的 25 种语言有所增加。这些数字描述的是数据集发布内容，而非 Transcribe 的完整训练混合或其采样权重。

Granary v2 为每段录音生成三种转写形式（表 1），即开发者可以通过提示向 Transcribe 请求的相同逐字风格和干净风格。除转写外，该流水线还生成短音频字幕、借词的语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及带自动质量评分的翻译。

表 1. Granary v2 针对同一话语的训练目标。

该流水线组织为四个可复用阶段：

1. 音频准备（元数据）：对原始或长音频进行分段，在整个录音中跟踪说话人，并标记声学事件和语言。Granary v2 的来源已经过分段，因此本次发布跳过了此阶段。

2. 转写（ASR）：将每种语言路由到主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时回退。人工参考转写有助于保留可信拼写，同时添加口语形式和言语不流畅。

3. 任务标签生成（文本）：生成转写变体，然后检查字符率、幻觉模式以及模型或人工参考的一致性。只有被接受的记录才会获得上下文 ASR 术语和翻译。

4. 高保真（HiFi）：过滤掉嘈杂、被裁剪或包含多位说话人的片段，保留一小部分高质量录音，用于 ASR 之外的用途。对于 VoxPopuli 数据集，它将 22 种欧洲语言的 354k 小时缩减至 111k 小时。

图 6. Granary v2 数据整理流水线，展示一个样本从原始音频经过元数据、ASR 和文本阶段到训练示例的过程。

开发者可以在自己的录音或经授权的公开语料库上，使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 流水线，或基于 Granary v2 公开清单进行构建。清单包含三种转写形式 tn_raw、itn_raw 和 itn_clean，上述标签、实体提示、派生指令对、来源信息以及每条记录的质量标志。请根据每个语料库的原始许可证单独下载源音频，并遵循发布版本公布的条款。

从指定语言、文字和转写格式的开发集提示开始。在下面的案例研究中，在提示中指明英语和拉丁字母，将完整基准的 WER 从 30.8% 降至 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流会将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究在 Eka Care 的开放基准上展示了这一进展，该基准包含来自印度医生和医学生的录音，共有 3,619 个片段，且没有指定的训练集划分。该研究从生成的医疗文本和公开药品目录构建适配数据，然后组合约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语，以及来自 MultiMed 的 63 小时医疗录音。

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 降至 23.8%，微调后降至 11.8%，相比开箱即用的模型减少了约 62% 的转写错误。完整集包括用于选择提示和检查点的 855 个调优片段；下面的留出结果才是更干净的测试。

合成生成将书面目标与其语音呈现分离：“HbA1c”是标签，而“H B A one C”被发送给合成器。多个 TTS 声音拓宽了音频；真实录音增加了口音和录音条件。训练文本会过滤掉与基准参考完全匹配以及共享八词序列的内容。

与 Granary v2 的明确目标一样，训练示例会变化数字、单位间距、公司名称展开和品牌名称连字符，并通过指令指定所需的约定。一些提示包含带有近似干扰项的术语列表，以便模型学会仅在音频支持时才使用某种拼写。最终系统使用一个固定的约定提示和一次模型推理，不进行检索或转写后处理。

该配方训练语音编码器和投影层，并使用 LoRA 适配语言模型。两次运行使用不同的数据混合；在适配器合并后，选定的检查点被均匀平均为一个最终模型。检查点选择使用解码后的开发集结果，而不仅仅是训练损失。从文本生成到评估的完整适配过程，在一块 NVIDIA GB300 上耗时约 14 GPU 小时。

领域增益，在留出说话人上测量

该研究按说话人将基准划分为 855 个调优片段（用于选择提示和检查点）和 2,764 个留出片段（每个最终系统解码一次）。使用 Eka Care 的 KARMA 评分流水线，微调将留出 WER 从最佳提示基线的 22.44% 降至 12.17%，相对降低 45.8%，这是增益能泛化到新说话人的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话人和评分器上，适配模型的 12.17% WER 优于一个开放医疗专家模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语上，LibriSpeech test-clean 的 WER 略有上升，从 1.54% 升至 1.69%。医疗专家模型在品牌药品和诊断的精确匹配上仍然领先；该研究指出，下一步是使用临床医生说出品牌名称的真实录音。对于你自己的领域，请保留至少 100 个真实、带标签的片段用于检查点选择，并在评估通用语音保持能力的同时，评估你的应用所依赖的实体类型。

该案例研究包含用于复现每个步骤的命令。微调教程涵盖配方、资源需求，以及用于训练、导出和评估的工具，包括新语言和语码转换 ASR。配套的智能体技能让编码智能体能够运行整个工作流，从基线选择和数据检查，到训练验证、适配器合并和评估。

ModelScope 还让开发者能够通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，以用于专门的多模态应用。

如需跳过自托管，可使用 Baseten、DeepInfra 或 Simplismart 提供的托管端点。

要将其适配到你的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及医疗 ASR 案例研究入手，或者让编码智能体借助微调智能体技能来驱动工作流。

模型检查点：Hugging Face、ModelScope 上的 NVIDIA Nemotron 3.5 Transcribe | Hugging Face、ModelScope 上的交互式演示

托管端点：Baseten、DeepInfra

本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上本地 AI 的新进展

本文提及的模型 2

nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

nvidia/Nemotron-3-Diarization

本文提及的数据集 4

ekacare/eka-medical-asr-evaluation-dataset

本文提及的 Space 3

Open ASR Leaderboard

跨数据集和语言比较语音识别模型

GranaryHiFi Blog

Nemotron Transcribe

NVIDIA Nemotron Transcribe 演示

本文提及的合集 1

Nemotron Speech

来自该作者的更多内容

在仿真中训练，在真实机器人上部署：使用 Isaac Lab 3.0 的 Microduck