大規模言語モデル(LLM、Large Language Model)の応答速度を左右する新しい研究成果が発表されました。現在主流のLLMは、直前までの単語をもとに次の1語を予測しながら順番に文章を作る自己回帰(AR、Autoregressive)方式を採用しており、出力が長くなるほど待ち時間が伸びる構造的な課題を抱えています。複数の研究機関に所属する研究者らは、画像生成AIで使われる拡散モデルの仕組みを組み合わせることで、出力の品質を落とさずに複数のトークン(文章を構成する単語や記号の単位)を同時に生成できる新手法「Uno」を発表しました。パラメータ数80億(8B)というコンパクトなモデルながら、既存の高速化手法を上回る速度と、より大型のモデルに匹敵する精度を両立しています。
背景と文脈
チャットボットやコーディング支援ツールの使い勝手は、LLMの応答速度とコストに大きく左右されます。ARモデルは1トークンずつ順番に計算する必要があるため、返答が長くなるほど時間がかかり、大量のリクエストをさばくサーバー側のコストも膨らみます。
この課題への対策として、これまでは小さな「下書き」モデルに候補の単語列を先に生成させ、本体モデルがまとめて検証することで高速化する投機的デコーディング(Speculative Decoding)が広く使われてきました。ただしこの方式は下書き用の別モデルを用意・運用する手間があり、候補が外れれば速度向上も限定的になります。
一方、画像生成でおなじみの拡散モデル(Diffusion Model、ランダムなノイズから段階的に元のデータを復元していく生成手法)をテキスト生成に応用し、一度に複数トークンをまとめて出力する「拡散LLM」も研究が進んでいました。DiffusionGemmaや商用サービスのMercuryといった例がありますが、従来のAR方式で訓練済みの大規模モデルとは別に、拡散方式専用のモデルを新たに用意する必要があり、既存の資産をそのまま活かしにくいという弱点がありました。
技術/ビジネス面
Unlocking Lossless Speedups in LLMs via Discrete Diffusionと題されたこの論文は、既存の訓練済みARモデルの上に軽量な「拡散用の重み」を追加するアプローチを取ります。ARモデル本体を一から再訓練するのではなく、追加した重みだけを短時間の学習で調整する「Diffusion Distillation」という工程を経ることで、比較的低コストで既存モデルを拡散対応に転用できる点が特徴です。
さらに、下書き用の別モデルを必要とせずに複数トークンを並列生成できる新しいサンプリング手法群「Ψ-Spec」も提案されています。この仕組みにより、出力の確率分布を元のARモデルと完全に一致させたまま並列化する「無劣化(lossless)」な高速化を実現しました。
検証の結果、8BのUnoモデルは最大のバッチサイズ(一度に処理するリクエストの塊の大きさ)で元のARモデル比最大3倍の速度を記録し、投機的デコーディングと比べても全てのバッチサイズでスループット(単位時間あたりの処理量)が上回りました。さらにUnoは、3倍以上のパラメータ数を持つ26BのDiffusionGemmaや商用の拡散LLM「Mercury 2」よりも、エージェント型のツール利用やコーディング、長文脈での推論を問うベンチマークで高い性能を示しています。
これからどうなるか
推論速度の向上はそのままサーバーコストの削減に直結します。特にコーディング支援エージェントのように、大量のトークンを生成しながら試行錯誤を繰り返す用途では、応答の速さがユーザー体験を大きく左右します。既存のAPI経由でエージェント型ツールを組み込んでいる開発者にとっては、バックエンドのモデルがこうした手法に置き換われば、体感速度の向上や従量課金の圧縮という形で恩恵が届く可能性があります。
また、既存のAR訓練済みモデルを流用できる設計は、モデル提供企業にとって導入のハードルを下げる要因になります。今後、大手プロバイダーのAPIに同種の高速化技術が組み込まれれば、エンドユーザーが意識しないところで応答速度とコストの両方が改善していくことが見込まれます。一方で、この手法がどこまで様々なモデルサイズや用途に一般化できるかは、今後の追試や実運用での検証が待たれます。
まとめ
研究チームは、既存のARモデルに軽量な拡散用の重みを加える新手法「Uno」を発表しました。出力品質を落とさない無劣化の並列生成により、最大3倍の速度向上とより大型モデルを上回る精度を両立しています。推論コストの低減という形で、開発者にも波及効果が期待される成果です。
