NVIDIA 发布语音转写与翻译模型 Nemotron 3.5 Transcribe

NVIDIA于2026年10月28日发布了用于语音转写和翻译的AI模型“Nemotron 3.5 Transcribe”。通过在录音中附加文本指令，可以指定是将口头语保留在转写中，还是省略以使文本更易读等。该模型支持包括日语在内的40种语言，最长可转写1小时的录音。同时还公开了训练好的模型和用于追加训练的工具。

NVIDIA Nemotron 3.5 Transcribe：基于语音LLM的智能转写 - NVIDIA Nemotron

认识 NVIDIA Nemotron 3.5 Transcribe 🎙️

这是一个开放权重、可提示的30B MoE模型，激活参数约4B，将40种语言的转写、说话人归属、翻译、上下文提示和音频理解整合到一个检查点中。

看看当所有人同时说话时，它如何跟踪谁说了什么。

1/ 🧵— NVIDIA AI (@NVIDIAAI) 2026年10月28日

可指定是原样保留发言⁠，还是整理得更易读

对转写所要求的写法因用途而异。若要忠实记录发言，则希望保留口头语和重复；而若要形成易读的文章，则有时希望省略。NVIDIA说明称，在传统语音识别中，输出的转写格式在训练时即被固定。

Nemotron 3.5 Transcribe结合了读取音频的编码器、区分说话人的模型和大规模语言模型，根据与录音一同给出的文本指令进行转写。还可以指定数字是按其词语原样书写，还是用阿拉伯数字表示。此类输出格式可通过每次请求的指令更改，无需重新训练模型。

此外，还可以用文本附上人名、专业术语等可能出现在音频中的候选词，作为识别的线索。

支持日语的分说话人转写⁠以及与英语的双向翻译

根据模型卡的语言支持表，日语可用于语音识别、多说话人转写以及与英语的双向翻译。还支持在单个录音内使用多种语言的语码转换。NVIDIA将日语质量归类为相当于生产使用水平的“Production-ready”。

在多说话人转写中，即使录音中发言重叠，也能为每个说话人添加标签，并可输出每个单词的发言在录音的第几秒开始、第几秒结束。根据技术报告，最多可区分8名说话人。

在翻译方面，可从日语语音生成英语文本，从英语语音生成日语文本。转写和翻译可用于对会议、通话等录音进行事后处理的用途。不支持在说话过程中进行逐次转写的实时处理。

作为转写的辅助，还可以回答关于音频内容的问题，或响应以语音给出的指令。不过，这些仅在英语中进行了评估，据称在包括日语在内的其他语言中可能无法稳定运行。

评估多语言和多说话人语音识别

NVIDIA在技术报告中展示了用于比较语音识别性能的Open ASR Leaderboard的多语言评估结果。德语、法语等7种语言的平均词错误率（WER，越低越好）为4.62%。在比较表中列出的模型中，这是公开权重（通过训练调整的数值数据）的模型中最低的值。这7种语言不包括日语。

Nemotron 3.5 Transcribe Technical Report（表9⁠）⁠- NVIDIA

在比较的模型中，Qwen3-ASR-1.7B为6.49%，Whisper-large-v3为7.94%。另一方面，商用模型ElevenLabs Scribe v2为3.56%，低于Nemotron 3.5 Transcribe。这3个模型的数值采用了截至2026年10月2日的排行榜公布值。

关于多说话人转写，使用英语会议、通话等录音，比较了包括是否将发言分配给正确说话人在内的错误率。比较对象是4个公开模型权重的系统，其中也包括结合了判定谁在何时发言的处理与语音识别的系统。使用相同数据和评分方法进行评估的结果显示，Nemotron 3.5 Transcribe的错误率在麦克风布置和数据集不同的6个条件的平均值上低于其他4个系统[1]。

公开模型权重和追加训练工具

该模型以NVIDIA-Nemotron-3.5-Transcribe-30B-A4B在Hugging Face上分发。支持商用和非商用用途，许可证采用OpenMDW-1.1。

包括音频编码器在内的总参数数量约为340亿，处理时使用其中约43亿。

权重除BF16版外，还准备了以较少位数表示以降低内存使用量的量化版FP8和NVFP4。NVFP4版面向Blackwell GPU提供。

关于量化版，NVIDIA推荐在重视非英语识别精度时使用FP8版。当内存容量或单位时间处理量成为主要制约时，则列举了NVFP4版[2]。

模型卡中记载了使用推理引擎vLLM和NeMo Speech、用1块80GB内存的H100运行BF16版的步骤。还面向本地执行用的C++运行时NeMo-Speech.cpp提供了GGUF格式。

在处理性能测量中，使用1块RTX PRO 6000 Blackwell Server Edition，结合NVFP4版与加速推理的辅助模型DFlash2。据报告，在优化的推理环境Nemotron Transcribe NIM中同时处理多个30秒录音时，合计每秒最多可转写约37分钟（2,238秒）的音频。不过，该优化未包含在发布时的开源版中。

用于根据自有语言、领域和任务进行追加训练的工具已在NeMo Speech中公开。详细推理步骤和支持环境请参阅模型卡。