Nemotron 3.5 Transcribe公開 40言語の文字起こし

NVIDIAが10月28日、音声を文字に起こすAIモデルNemotron 3.5 Transcribeを無償で公開しました。40言語の文字起こしに対応し、最長1時間の録音を一度に処理できます。最大8人の話者を区別し、31言語と英語の相互翻訳もこなします。重み（学習済みのパラメータ）ごと配布されるため、自社のサーバーや手元のGPUで動かせる点が特徴です。会議録や医療記録など、外部に出しにくい音声を扱う開発者にとって選択肢が広がりそうです。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

音声AIは今、もっとも競争の激しい分野のひとつです。10月だけでも、Mistralが音声モデルVoxtral 3を出し、ElevenLabsは音声エージェント向けのリアルタイム版を発表しました。Salesforceも独自の音声モデルを披露しています。文字起こしは会議の記録や医療現場のカルテ作成など、AIの業務利用で最も定着した使い道のひとつになっています。

NVIDIAはこれまでも、11億パラメータの小型音声認識モデルParakeetなどを公開してきました。ただ、Parakeetは軽さが売りで、長い会議や多言語の混在には限界がありました。今回のNemotron 3.5 Transcribeは、同社の言語モデルNemotron 3.5の技術を土台にした大型版です。小型モデルでは難しかった長い録音や話者の区別を、一つのモデルでまとめて扱えるようにしました。

あわせて、学習用の音声データセットGranaryの第2版も公開されました。NeMo Speech（NVIDIAの音声AI向け開発ツール群）と組み合わせると、業界の専門用語に合わせた追加学習ができます。モデル単体ではなく、データと道具をセットで出したのが今回の発表の特徴です。

技術/ビジネス面

black and gray microphone on white background — Photo by Madrosah Sunnah on Unsplash

モデルの中身は、Mixture of Experts（MoE：複数の小さな専門部分に処理を分け、入力ごとに必要な部分だけ動かす仕組み）を採用しています。総パラメータは約340億ですが、1回の処理で動くのは約43億だけです。全体を毎回動かさないため、規模の割に計算量を抑えられます。言語処理の部分は、Transformer（現在の大規模言語モデルの土台になっている構造）と、長い系列を効率よく扱うMamba-2を組み合わせた混成型です。

精度は、WER（Word Error Rate、単語誤り率：書き起こしで間違えた単語の割合）で示されています。英語の9データセット平均は4.71%、7言語の多言語評価では4.62%でした。複数人が話す会議・通話の評価では15.80%と数字が上がり、話者が入り混じる音声はまだ難しいことが分かります。NVIDIAはHugging FaceのOpen ASR Leaderboard（音声認識モデルの公開ランキング）で他社を上回ったとしていますが、第三者による検証はこれからです。

動かし方の幅も広めです。NeMoのほか、推論サーバーvLLMで動かすとOpenAI互換のAPIとして呼べます。単語ごとのタイムスタンプも取れるため、字幕づくりにも使えます。想定ハードはH100 1枚で、FP8やNVFP4といった軽い数値形式も選べます。ライセンスはOpenMDW-1.1で、商用利用も認められています。一方で、扱えるのは録音済みの音声だけです。ライブ配信のような逐次処理には対応していません。