Nvidia 发布 Nemotron 3.5 Transcribe 可提示转写模型

Nvidia 于周三发布了 Nemotron 3.5 Transcribe，这是其最新的多语言转写模型。该公司表示，这款新的开放权重模型在 Hugging Face 的 Open ASR 开源模型英文排行榜上排名第一，平均词错误率为 5.33%，并且在两项说话人归属基准测试中也位居榜首。

但或许更有趣的是，这是一个可提示的转写模型。这里的“可提示”意味着用户可以在模型开始聆听之前向其提供具体指令。通常，这意味着通过告诉模型某个音频文件是一段英语医学讨论，并向其提供一份医学术语列表，来为转写设定上下文。

用户还可以让模型为每位说话人添加标注，或就音频向模型提问。他们可以要求逐字转写稿或经过整理的版本，并告诉模型如何格式化数字等。

图片来源：Nvidia。

Nvidia 将这些能力连同翻译功能打包进单个检查点，这可以简化围绕它们构建应用的工作。

理想情况下，设定这种上下文可以降低错误率。代价是，这些模型比传统转写模型大得多，后者规模通常不到 10 亿参数。Nemotron 3.5 Transcribe 是一个 30B 的混合专家模型，拥有 40 亿激活参数。

不过，这并非一个全新的概念。我们最近已经看到一些其他可提示的语音转文本模型，例如 Mistral 的 Voxtral 模型和 AssemblyAI 的 Universal 3 Pro。

不过，Nvidia 能够以远更少的激活参数与 Voxtral 的错误率相匹敌。在 Artificial Analysis 的基准测试中，Nemotron 的词错误率为 2.81%，而 Voxtral Small 为 2.77%，同时前者使用约 40 亿激活参数，后者则为 240 亿。不过，这一比较衡量的是相对于激活参数数量的准确率，而非运行时或内存需求。

该模型可以转写 40 种语言，并将其中 31 种语言与英语互译。说话人归属功能适用于其中 13 种语言，并且最多可区分 8 个说话人的声音。音频问答功能以英语训练。

该模型可处理最长一小时的录音。不过，它是为录制音频而构建的，不支持实时流式传输。

图片来源：Nvidia。

开发者可以使用 vLLM 提供该模型服务，或通过 NeMo-Speech.cpp 在本地运行。Nvidia 表示，它可在单块 GPU 上运行，支持的硬件范围从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。

由于这是一个开放权重模型（采用 OpenMDW-1.1 许可证），用户可以使用 NeMo Speech 的微调工具等工具，根据自己的需求对其进行微调，以降低错误率。

在一个医学转写案例研究中，Nvidia 表示，微调将留出说话人上的词错误率从最佳提示下的 22.44% 降至 12.17%，相对降低了 45.8%。完整的适配工作流程在单块 GB300 上耗时约 14 GPU 小时。

Nvidia 还发布了 Granary v2，这是一个使用 NeMo Curator 构建的可复用数据整理流程，同时发布了公开清单，覆盖 48 种语言和 16 个来源语料库，总计约 463,062 小时。开发者可以在自己的录音上运行该流程，为定制化准备数据。这些数字描述的是数据集发布内容，而非 Transcribe 的完整训练混合数据或其采样权重。

文章《Nvidia 发布可提示转写模型》最初发表于 The New Stack。