DiffusionGemma 26B — テキスト生成4倍速を達成

GoogleのDeepMindが2026年6月、拡散（diffusion）ベースの大規模言語モデル「DiffusionGemma 26B」を公開しました。masked discrete-diffusion（マスクを使った離散拡散）とMoE（Mixture of Experts、複数の小モデルに処理を分担させ入力ごとに必要な部分だけ動かす仕組み）を組み合わせた26Bパラメータモデルで、ベースとなるGemma-4オートレグレッシブ版と同等の精度を維持しながらテキスト生成速度を4倍に高速化しています。独立研究者によるarXiv論文も同時に公開されており、モデルの実際のトークン生成プロセスが明らかになっています。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

従来のLLM（Large Language Model、大規模言語モデル）はオートレグレッシブ（自己回帰型）方式でテキストを生成します。これはトークン（単語や文字の断片）を左から右へ1つずつ順番に確率的に選ぶ方式で、長いテキストを生成するほど時間がかかる構造的な制約があります。

一方、拡散モデルは2020年代前半に画像生成AI（Stable Diffusion等）で実用化された技術です。ランダムノイズから徐々に目的の出力を復元するプロセスをモデル化しており、画像領域では高品質な生成と多様性において実績を持ちます。これをテキストに応用するのが「離散拡散」の試みで、テキストの離散的な性質（文字は連続的な数値ではなく有限の語彙から選ぶ）への対応が技術的な課題でした。

DiffusionGemma 26Bが使うmasked discrete-diffusionは、テキストの一部をマスクして復元するプロセスを学習させる方式です。Gemma-4という実績あるモデルの上に構築することで、ゼロからの拡散モデル学習より効率的に高い性能を達成しています。MoEとの組み合わせにより、実際に活性化するパラメータを絞り込みながら大きなモデル容量を確保しています。

技術/ビジネス面

a computer monitor sitting on top of a desk — Photo by Fernando Hernandez on Unsplash

DeepMindが主張する「4倍高速化」の核心は、トークンを1つずつ生成する代わりに、複数のトークンを同時にバッチ処理で確定させる点にあります。独立研究者がarXiv（arXiv:2606.14620）で発表した分析によると、DiffusionGemma 26Bのトークン生成は「完全並列でも完全な逐次処理でもない」特殊な挙動を示します。モデルは大きなバッチでまとめてトークンを確定させますが、部分的に左→右の順序バイアスが存在し、タスクによって生成パターンが変わるとしています。

具体的には、JSON形式の構造化出力では順序がほぼ任意に近く、数学的推論タスクではまた異なるパターンを示すことが確認されています。モデルの精度は同等のオートレグレッシブ版Gemma-4と同水準で、精度を落とさずに速度を上げることに成功しています。この「速度と精度のトレードオフなし」という点が最も注目すべき成果です。

モデルはGemmaファミリーとしてオープンに公開される見込みで、既存のGemmaエコシステム（ライブラリ、推論サーバー、ファインチューニングツール等）との互換性が高いとされています。

これからどうなるか

DiffusionGemmaが示す「非逐次型テキスト生成」の可能性は、リアルタイム性が求められるアプリケーションで特に重要です。チャットボット・音声アシスタント・コード補完ツールなど、ユーザーが即座の応答を期待するシナリオでは、推論速度の向上が直接UX（ユーザー体験）に影響します。

開発者視点では、GemmaファミリーとしてAPIや推論フレームワークへの統合が進めば、推論コストの削減につながる可能性があります。既存のGemma-4ベースのパイプラインをDiffusionGemmaに切り替えることで、同等の出力品質をより低コストで得られるシナリオが見えてきます。ただし、非逐次生成の特性上、ストリーミング出力（生成しながらリアルタイムに表示する実装）への対応が従来と異なる可能性がある点は確認が必要です。