NVIDIA 发布 Nemotron 3.5 Transcribe 开源权重语音模型，支持 40 种语言
NVIDIA Launches Open-Weight Transcription Model for 40 Languages
NVIDIA 于 10 月 28 日发布 Nemotron 3.5 Transcribe，这是一款开源权重的语音模型，可转写 40 种语言的音频、翻译语音并识别说话人，开发者可用自然语言指令控制转写格式而无需重新训练。该模型由 Transformer 语音编码器、说话人分离模型和 Nemotron 3.5 Lightning 语言模型组成，约 43 亿激活参数，发布检查点标注为 30B-A4B。NVIDIA 称其在英语 Open ASR Leaderboard 九个公开测试集上平均词错误率为 4.71%，在多语言榜单七个语言上为 4.62%，并称其为两个榜单上最好的开源权重模型；模型以 BF16、FP8、NVFP4 格式及 GGUF 文件发布，采用 OpenMDW-1.1 许可。
正文 · AI 翻译
NVIDIA 于 10 月 28 日发布 Nemotron 3.5 Transcribe，这是一款开放权重的语音模型，可转写 40 种语言的音频、翻译语音并识别说话人。据 NVIDIA 称，开发者可以使用自然语言指令控制转写格式，而无需重新训练模型。
该模型支持逐字转写、整理后的书面文本、领域特定术语以及语码转换语音。它可处理最长一小时的录音，并可按需生成带说话人归属的词级时间戳。NVIDIA 指出，各项能力因语言和任务而异。
Nemotron 3.5 Transcribe 将 Transformer 语音编码器和说话人分离模型与 NVIDIA 的 Nemotron 3.5 Lightning 语言模型相结合。该架构约有 43 亿激活参数。其发布的检查点使用 30B-A4B 这一标识。
NVIDIA 报告称，在英语 Open ASR Leaderboard 的九个公开测试集上，平均词错误率（WER）为 4.71%。其在多语言 Open ASR Leaderboard 上的平均 WER 为 4.62%，覆盖七种语言。WER 越低，表示转写错误越少。NVIDIA 称该模型是两个榜单上最好的开放权重模型。
该公司还报告称，当模型收到预期实体列表时，在 ContextASR-Bench 上命名实体错误减少了六倍。此功能旨在改进人名和专门术语的转写。
在推理速度方面，NVIDIA 报告称，在单块 RTX PRO 6000 Blackwell GPU 上，吞吐量最高可达每秒处理 2,238 秒音频。该结果使用了 NVFP4 检查点、DFlash2 推测解码以及 NVIDIA 的 Nemotron 3.5 Transcribe 推理软件。
然而，这些服务优化尚未包含在开放权重版本中。NVIDIA 表示，发布当日的 vLLM 实现预计运行速度约为优化配置的一半。据该公司称，实际性能将取决于硬件、配置和工作负载。
NVIDIA 已发布 BF16、FP8 和 NVFP4 格式的模型检查点，以及用于 NeMo-Speech.cpp 的 GGUF 文件。该模型在 OpenMDW-1.1 许可下提供，并可通过 NeMo Speech 获取微调工具包。
该公司表示，开发者可以将模型适配到新的语言、领域和任务。其技术报告描述了跨 17 项任务的实验，每项任务的适配通常需要 0.5 至 2.3 GPU 小时。