NVIDIA 发布语音转写与翻译模型 Nemotron 3.5 Transcribe

NVIDIAは2026年10月28日、音声の文字起こしや翻訳を行うAIモデル「Nemotron 3.5 Transcribe」を公開した。録音にテキストの指示を添えることで、言いよどみを文字起こしに残すか、省いて読みやすくするかなどを指定できる。日本語を含む40言語に対応し、最大1時間の録音を文字起こしできる。学習済みモデルと追加学習用のツールも公開している。

NVIDIA Nemotron 3.5 Transcribe: Intelligent Transcription with a Speech LLM - NVIDIA Nemotron

Meet NVIDIA Nemotron 3.5 Transcribe 🎙️

An open-weight, promptable 30B MoE model with ~4B active parameters that brings transcription in 40 languages, speaker attribution, translation, contextual prompting and audio understanding into one checkpoint.

Watch it keep track of who said what when everyone’s talking at once.

1/ 🧵— NVIDIA AI (@NVIDIAAI) October 28, 2026

発話をそのまま残すか⁠、読みやすく整えるかを指定

文字起こしに求める書き方は用途によって異なる。発話を忠実に記録するなら言いよどみや繰り返しも残したい一方、読みやすい文章にするなら省きたい場合がある。NVIDIAは、従来型の音声認識では、出力する文字起こしの形式が学習時に固定されると説明する。

Nemotron 3.5 Transcribeは、音声を読み取るエンコーダー、話者を区別するモデル、大規模言語モデルを組み合わせ、録音とともに与えたテキストの指示に応じて文字起こしする。数字を言葉のまま書くか、算用数字で表すかも指定できる。こうした出力形式は依頼ごとの指示で変えられ、モデルの再学習は必要ない。

また、人名や専門用語など、音声に登場しそうな語の候補をテキストで添え、認識の手掛かりにすることもできる。

日本語の話者別文字起こしと⁠、英語との双方向翻訳に対応

モデルカードの言語対応表によると、日本語では音声認識、複数話者の文字起こし、英語との双方向翻訳を利用できる。1つの録音内で複数の言語を使うコードスイッチングにも対応する。NVIDIAは日本語の品質を、本番利用水準に相当する「Production-ready」に分類している。

複数話者の文字起こしでは、発話が重なる録音でも話者ごとにラベルを付け、各単語の発話が録音の何秒目に始まり、何秒目に終わるかも出力できる。技術レポートによると、最大8人の話者を区別できる。

翻訳では、日本語の音声から英語のテキスト、英語の音声から日本語のテキストを生成する。文字起こしや翻訳は、会議や通話などの録音を後から処理する用途に使える。話している最中に逐次文字起こしするリアルタイム処理には対応しない。

文字起こしの補助として、音声の内容に関する質問への回答や、音声で与えた指示への応答も行える。ただし、これらは英語でのみ評価されており、日本語を含む他の言語では安定して動作しない可能性があるという。

多言語と複数話者の音声認識を評価

NVIDIAは技術レポートで、音声認識の性能を比較するOpen ASR Leaderboardの多言語評価結果を示した。ドイツ語やフランス語など7言語の平均単語誤り率（WER、低いほど良い）は4.62%だった。比較表に掲載されたモデルのうち、重み（学習によって調整された数値データ）を公開しているものでは最も低い値となった。この7言語に日本語は含まれない。

Nemotron 3.5 Transcribe Technical Report（表9⁠）⁠- NVIDIA

比較したモデルでは、Qwen3-ASR-1.7Bが6.49%、Whisper-large-v3が7.94%だった。一方、商用モデルのElevenLabs Scribe v2は3.56%で、Nemotron 3.5 Transcribeより低い値だった。これら3モデルの数値には、2026年10月2日時点のランキング公表値を用いている。

複数話者の文字起こしについては、英語の会議や通話などの録音を使い、発言を正しい話者に割り当てられたかも含めて誤り率を比較した。比較対象は、モデルの重みが公開されている4つのシステムで、誰がいつ話したかを判定する処理と音声認識を組み合わせたものも含む。同じデータと採点方法で評価した結果、Nemotron 3.5 Transcribeの誤り率は、マイクの配置やデータセットが異なる6条件の平均で他の4システムを下回った[1]。

モデルの重みと追加学習用ツールを公開

モデルはHugging FaceでNVIDIA-Nemotron-3.5-Transcribe-30B-A4Bとして配布されている。商用・非商用の利用に対応し、ライセンスにはOpenMDW-1.1を採用している。

音声エンコーダーを含む総パラメーター数は約340億で、処理時にはそのうち約43億を使う。

重みはBF16版に加え、少ないビット数で表してメモリー使用量を抑える量子化版のFP8、NVFP4を用意した。NVFP4版はBlackwell GPU向けに提供する。

量子化版についてNVIDIAは、英語以外の認識精度を重視する場合はFP8版を推奨している。メモリー容量や単位時間当たりの処理量が主な制約になる場合は、NVFP4版を挙げている[2]。

モデルカードには、推論エンジンのvLLMとNeMo Speechを使い、80GBメモリーのH100を1基用いてBF16版を実行する手順がある。ローカル実行用のC++製ランタイムNeMo-Speech.cpp向けにはGGUF形式も提供する。

処理性能の測定では、RTX PRO 6000 Blackwell Server Editionを1基使い、NVFP4版と推論を高速化する補助モデルDFlash2を組み合わせた。最適化した推論環境Nemotron Transcribe NIMで30秒の録音を複数同時に処理したところ、合計で1秒当たり最大約37分（2,238秒）の音声を文字起こしできたと報告している。ただし、この最適化は公開時点のオープンソース版には含まれていない。

独自の言語・分野・タスクにあわせて追加学習するためのツールは、NeMo Speechで公開した。詳しい推論手順と対応環境はモデルカードを参照のこと。