AMD、UCLA、Purdue大学の共同研究チームがarXiv（2606.20474）で「UltraQuant」を発表しました。AIエージェントのKVキャッシュ（Key-Valueキャッシュ：Transformerモデルが過去の計算結果を保存して再計算を省く仕組み）を4ビット精度に圧縮することで、多ターンの長文コンテキストを扱うエージェントワークロードにおいてFP8キャッシュ比でP50 TTFT（初回トークンが返るまでの時間の中央値）を3.47倍短縮、出力スループットを1.63倍向上させることを実証しています。LLMを使ったエージェントを本番環境で動かすエンジニアにとって、メモリコストと応答速度の両方に直接響く成果です。
背景と文脈
Transformer（自然言語処理や画像生成などに広く使われる深層学習の基本アーキテクチャ）は推論のたびに「アテンション（attention：入力のどの部分に注目するかを決める計算）」を行います。この計算に使うKey行列（注目すべき位置を示す情報）とValue行列（各位置の内容を表す情報）を毎回再計算するのは非常にコストが高いため、一度計算したKVペアをメモリ上にキャッシュして使い回します。これがKVキャッシュです。
ところがKVキャッシュのメモリ使用量はコンテキスト長に比例して増えます。短い1回の問い合わせなら問題ありませんが、多ターンで会話が続くエージェントワークロード——特に「長い前置き（システムプロンプトや会話履歴）を何度も使い回しながら短い追加ターンを重ねる」ようなパターン——ではGPUメモリを圧迫し、バッチサイズや同時処理数を制限する主要なボトルネックになります。
量子化（quantization：数値の精度を下げてメモリを節約する技術）はこの問題へのアプローチとして以前から研究されていますが、精度の損失と速度向上のトレードオフが課題でした。現在の実用的な基準はFP8（8ビット浮動小数点）KVキャッシュで、さらに4ビット整数への圧縮はタスク品質の低下が大きく難しいとされていました。
技術/ビジネス面
UltraQuantが精度劣化を抑えながら4ビット圧縮を実現している核心は「Walsh-Hadamard回転」の活用です。これは数学的な変換（値の分布を均一に再配置する行列演算）を適用することで、量子化しやすい分布に整えてから圧縮する手法です。Transformerのアテンション計算ではKeyとValueの数値分布が異なる性質を持つため、UltraQuantはKeyとValueを非対称に扱い（asymmetric K/V treatment）、それぞれに最適な量子化パラメータを適用します。
さらにAMDのGPU向けに最適化されたデコードアテンションカーネル（GPUで並列計算を行う低レベルプログラム）を実装し、圧縮率の改善が実際の推論速度向上に直結するよう設計しています。評価は「長いプレフィックスを複数の短いターンで使い回す」エージェントワークロードを軸に、タスク品質・キャッシュ残存量・サービングスループットを同時に測定しました。FP8比でP50 TTFTが3.47倍、平均TTFTが2.3倍、出力スループットが1.63倍という数字は、メモリ節約以上の恩恵をもたらしています。
これからどうなるか
UltraQuantの成果が示す最大のポイントは、4ビットKVキャッシュが実用水準に到達しつつあるということです。現状ではAMD GPU向けの実装が中心ですが、同様のアプローチはNVIDA GPUやTPUにも応用できます。vLLMなどの主要LLMサービングフレームワークへの統合が進めば、既存の推論インフラをそのまま使いながら高速化・低コスト化できる可能性があります。
開発者にとって実用的な意味合いは明確です。ユーザーごとに長い会話履歴を保持するチャットエージェント、大量のシステムプロンプトを毎リクエストで送るRAGパイプライン（RAG：Retrieval-Augmented Generation、外部情報を検索して組み合わせる手法）、並列で大量のAPIリクエストを処理するバッチエージェントなど、いずれも4ビットKVキャッシュによるメモリ削減の恩恵を受けやすいワークロードです。GPUコストが推論コストの大部分を占める今、こうした効率化は直接的なコスト削減につながります。
まとめ
AMDチームのUltraQuantは、Walsh-Hadamard回転と非対称K/V量子化によって4ビットKVキャッシュの精度問題を克服し、FP8比で初回応答を最大3.5倍速にする実験結果を示しました。長コンテキストの多ターンエージェントを運用するチームにとって、推論インフラの次の最適化候補として検討に値する論文です。
参考リンク
アイキャッチ画像: Photo by Akshar Dave🌻 on Unsplash
