NVIDIA 发布 Nemotron 3.5 Transcribe：开源 30B MoE 语音模型…
NVIDIA Releases Nemotron 3.5 Transcribe: An Open 30B MoE Model for 40-Language Transcription with ~4B Active Parameters - MarkTechPost
NVIDIA 发布 Nemotron 3.5 Transcribe，这是一个开源权重的语音大模型，支持 40 种语言、单次最长 1 小时音频，可通过文本指令选择逐字、书面、说话人标注、上下文和翻译等输出形式。模型总参数约 34B、激活参数约 4.3B，采用混合 Mamba-Transformer MoE 架构，BF16 可在单张 H100 80GB 上运行，NVFP4 版本约 21GB 可在 RTX 5090 上运行。NVIDIA 自报其在 9 个公开英文 Open ASR 测试集上平均 WER 为 4.71%，为开源权重模型最好成绩，但商业 API 仍领先；短板是仅支持离线，中文远场会议 cpCER 为 34.95%。
正文 · AI 翻译
在 Google 上添加为首选来源
NVIDIA 发布了 Nemotron 3.5 Transcribe，这是一个专为转录构建的开源权重语音大模型。单个模型可处理 40 种语言和最长 1 小时的录音。文本指令可为每个请求选择输出风格。选项包括逐字、书面形式、说话人标注、上下文和翻译输出。对开发者而言，它可以替代独立的 ASR、说话人分离和对齐工具。
TL;DR
规模：总参数 34B，激活参数约 4.3B；65,536 token 上下文；音频最长 1 小时。
运行：BF16 下可在 1 张 H100 80 GB 上运行。存在 FP8（约 35 GB）和 NVFP4（约 21 GB）检查点；NVFP4 可在 RTX 5090 上运行。GGUF 文件面向 NeMo-Speech.cpp。
性能：在英文和多语言 Open ASR 排行榜上是最好的开源权重模型；顶级商业 API 仍然领先。
最佳：在 9 个公开英文 Open ASR 测试集上平均 WER 为 4.71%（次优开源模型：4.94%）。
最差：在 AliMeeting 普通话远场会议上 cpCER 为 34.95%。
结论：最好的一点：1 个开源模型覆盖转录文本、说话人标签、时间戳和翻译。最差的一点：仅支持离线，且普通话会议准确率较弱。
什么是 Nemotron 3.5 Transcribe？
Nemotron 3.5 Transcribe 是 NVIDIA 的语音增强语言模型（SALM），可将音频和指令转换为文本。音频编码器将嵌入输入 LLM 解码器，使转录可通过提示进行。NVIDIA 的技术研究报告认为，不存在唯一正确的转录文本。数字、填充词和领域术语取决于谁阅读输出。NVIDIA 将该模型定位为转录专家，而非通用助手。
TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助
架构如何工作？
它由三部分组成：
并行专家编码器：一个可训练的 0.6B Transformer ASR 编码器与一个冻结的 Nemotron 3 Diarization 模型并行运行。说话人分离器最多跟踪 8 位说话人。其说话人活动每 80 ms 添加到 ASR 特征中。因此 LLM 无需架构改动即可看到谁在何时说话。
LLM 主干：Nemotron 3.5 Lightning 30B-A3B，一个混合 Mamba-Transformer MoE。它有 52 层：23 层 Mamba-2、23 层 MoE，仅 6 层注意力。每个 MoE 层路由到 128 个专家中的 6 个，外加 1 个共享专家。少量注意力层使 KV 缓存保持较小，以支持长达一小时的音频。
附加组件：一个共享的多 token 预测（MTP）层为推测解码起草 token。一个 5000 万参数的 CTC 适配器将完成的转录文本与音频对齐，以生成词级时间戳。
模型名称写的是 30B-A4B，但检查点包含约 34B 参数。额外的权重来自 1.3B 的 MTP 模块和音频组件。
训练在 256 张 H100 GPU 上进行了 1 个监督微调阶段，共 28,500 步。随后是一个简短的 RL 阶段：400 次 GSPO 更新，奖励为 1 减去 WER。模型见过约 172 万小时唯一音频，含重复则为 650 万小时。
基准测试得分如何？
以下所有数字均为 NVIDIA 在技术报告中自报。
英文 Open ASR（9 个公开测试集）：平均 WER 4.71%。次优开源模型 Qwen3-ASR-1.7B 得分为 4.94%。七个商业系统仍然领先，其中 OtterAI speech-v3.1 以 3.88% 居首。
多语言 Open ASR（7 种语言）：平均 WER 4.62%，而 Qwen3-ASR-1.7B 为 6.49%。ElevenLabs Scribe v2 达到 3.56%。
长音频 ASR：平均 WER 10.98%，而 Parakeet-TDT-0.6B-v3 为 13.37%。
多说话人完整会话：平均 cpWER 15.80%，而 DiCoW v3.3 配合 DiariZen 为 16.83%。NVIDIA 称这是首个在此项上击败级联系统的 SALM。
上下文 ASR：实体列表将 ContextASR-Bench 上的命名实体 WER 从 12.21% 降至 2.20%。
如何部署 Nemotron 3.5 Transcribe？
权重以 BF16、FP8、NVFP4 和 GGUF 形式发布。DFlash2 草稿模型为可选。OpenMDW-1.1 许可证允许商业使用。
运行时包括带 NeMo Speech 插件的 vLLM 0.32.0、Transformers 和 SGLang-Omni 0.2.0。vLLM 提供 OpenAI 兼容 API。
NVIDIA 模型的主要速度来自其 Nemotron Transcribe NIM。配合 NVFP4 和 DFlash2，1 台 RTX PRO 6000 Blackwell Server Edition 每秒可转录 2,238 秒音频。它可在 0.13 秒内返回 30 秒片段。有一个问题：这些服务优化尚未开源。NVIDIA 预计发布日的 vLLM 路径大约慢 2 倍。在 1 张 H100 上以 BF16 配合 MTP2，NVIDIA 估计约为 410 RTFx。
对于微调，NVIDIA 测试了 17 项任务。每项在单台 GB300 上约需 0.5 至 2.3 GPU 小时。
与其他开源 ASR 模型相比如何？
特性Nemotron 3.5 TranscribeQwen3-ASR-1.7BCanary-Qwen-2.5BWhisper-large-v3
参数34B 总参数，约 4.3B 激活1.7B2.5B1.55B
语言4030 + 22 种中文方言仅英文99（HF 标签）
每请求最大音频1 小时未披露训练时 40 秒30 秒窗口，长音频分块
说话人标注内置，最多 8 位说话人未列出未列出未列出
词级时间戳内置（CTC 适配器）通过单独的 ForcedAligner-0.6B未列出是，词级
许可证OpenMDW-1.1Apache-2.0CC-BY-4.0Apache-2.0
英文 Open ASR，9 个公开测试集（平均 WER，越低越好）4.71%4.94%*5.38%*6.66%*
自有模型卡上的 Open ASR 平均 WER（较早的排行榜集）未报告5.76%5.63%7.44%
多语言 Open ASR，7 种语言（平均 WER）4.62%6.49%*不适用（仅英文）7.94%*
参考硬件1 张 H100 80 GB（BF16）未披露在 A6000、A100、RTX 5090 上测试未披露
*当前 9 个测试集排行榜上的竞品分数来自 NVIDIA 的报告，其引用的是 2026 年 10 月的 Hugging Face 排行榜结果。由于排行榜测试集在竞品发布各自模型卡之后发生了变化，因此这两行 WER 数据不可互换。
要点
一个开源模型即可处理 40 种语言的转写、说话人、时间戳和翻译。
4.71% 的英文 WER 是开源权重模型的最佳成绩；商业 API 仍然领先。
约 4.3B 激活参数；BF16 可装入 1 张 H100，NVFP4 可装入 RTX 5090。
实体列表可将命名实体 WER 从 12.21% 降至 2.20%。
仅支持离线；普通话会议和语码转换仍是薄弱环节。
Asif Razzaq网站 | + 文章作者简介 ⮌
Asif RazzaqBaseten 发布 joey-1：一个 2B 决策模型，每 100 万 Token 收费 0.01 美元
Asif RazzaqPrime Intellect 发布 Prime Mega MoE：可训练的融合 MoE 内核，前向传播速度提升 3.11 倍
$uv pip install omni-parse-bench✓文本✓表格✓版面→ 按页计分在 GitHub 上加星→赞助
相关文章更多来自作者
Baseten 发布 joey-1：一个 2B 决策模型，每 100 万 Token 收费 0.01 美元
Prime Intellect 发布 Prime Mega MoE：可训练的融合 MoE 内核，前向传播速度提升 3.11 倍