Nvidia 发布 Nemotron 3.5 Transcribe 可提示转写模型
Nvidia 发布开源权重多语言转写模型 Nemotron 3.5 Transcribe,在 Hugging Face Open ASR 英文开源模型榜以 5.33% 平均词错误率排名第一。该模型为 30B MoE 架构、4B 激活参数,支持 40 种语言转写、31 种语言与英文互译,可为说话人标注并区分最多 8 个声音,处理最长 1 小时录音,但不支持实时流式。用户可在转写前给出上下文和术语等指令,模型可用 vLLM 部署或在单 GPU 上通过 NeMo-Speech.cpp 本地运行;Nvidia 同时发布数据整理流程 Granary v2 及约 463,062 小时、48 种语言的公开清单。
。 Nvidia 将这些能力连同翻译功能打包进单个检查点,这可以简化围绕它们构建应用的工作。 理想情况下,设定这种上下文可以降低错误率。代价是,这些模型比传统转写模型大得多,后者规模通常不到 10 亿参数。Nemotron 3.5 Transcribe 是一个 30B 的混合专家模型,拥有 40 亿激活参数。 不过,这并非一个全新的概念。我们最近已经看到一些其他可提示的语音转文本模型,例如 Mistral 的 Voxtral 模型和 AssemblyAI 的 Universal 3 Pro。 不过,Nvidia 能够以远更少的激活参数与 Voxtral 的错误率相匹敌。在 Artificial Analysis 的基准测试中,Nemotron 的词错误率为 2.81%,而 Voxtral Small 为 2.77%,同时前者使用约 40 亿激活参数,后者则为 240 亿。不过,这一比较衡量的是相对于激活参数数量的准确率,而非运行时或内存需求。 该模型可以转写 40 种语言,并将其中 31 种语言与英语互译。说话人归属功能适用于其中 13 种语言,并且最多可区分 8 个说话人的声音。音频
匹配字段正文