研究チームが、RAG（Retrieval-Augmented Generation、検索拡張生成：外部文書を検索してAIの回答に反映させる仕組み）が読み込む検索文脈を16倍に圧縮する新手法「DEX-Comp」を発表しました。5つの質問応答ベンチマークで検証したところ、検索件数に応じて推論速度を最大24倍高速化しながら、圧縮前とほぼ同じ回答精度を維持しています。RAGを使ったアプリのコストと速度に直結する研究です。
背景と文脈
RAGは、LLM（Large Language Model、大規模言語モデル）に外部の文書データベースを検索させ、その内容を踏まえて回答を作らせる仕組みです。社内マニュアルへの質問応答や最新情報を扱うチャットボットなど、幅広い用途で使われています。ただしRAGには弱点があります。検索でヒットした文書をそのままプロンプトに詰め込むため、参照件数を増やすほど入力トークン数が膨らみ、応答速度とAPI利用料の両方が悪化してしまうのです。
この問題を解決する手段として近年注目されているのが「文脈圧縮」です。検索した文書をそのままの文章として渡すのではなく、意味を保ったまま短い表現に圧縮してからLLMに渡す手法で、embedding（エンベディング：文章の意味を数値の並びで表現したもの）の形に落とし込む「ソフト圧縮」という方式が有力視されてきました。ただし従来手法は、圧縮によって細部の情報が失われ、回答精度が落ちやすいという課題を抱えていました。特に検索件数を増やして参照範囲を広げようとすると、圧縮による情報の欠落がより目立ちやすくなり、精度と速度を両立させることが難しいままでした。
技術/ビジネス面
研究チームが発表した論文「Compression Beyond the Uncompressed: A Two-Stage Training Recipe for Soft Context Compression in RAG」では、DEX-Compという手法が提案されています。学習は二段階に分かれており、まず「Pure Distillation（純粋蒸留）」と呼ぶ段階で、圧縮していない通常のRAGが正しく答えられた事例だけを使い、圧縮モデルにその出力を模倣させて土台を作ります。distillation（蒸留：大きなモデルの出力を小さなモデルに学習させ、性能を引き継がせる手法）の考え方を応用したステップです。
次の「Hard Exploration」段階では、通常のRAGが間違えてしまった難しい質問だけを選び、強化学習（AIが試行錯誤を重ね、良い結果に近づくよう自分の振る舞いを調整していく学習方法）で圧縮モデルを鍛え直します。得意な問題は模倣で素早く身につけ、苦手な問題は自ら試行錯誤して克服するという役割分担により、5つの公開ベンチマークで検索件数を上位5件から30件まで変えても、圧縮なしのRAGと同等以上の正答率を保ったまま、最大24倍の推論高速化を達成しました。
これからどうなるか
文脈圧縮の技術が実用レベルに達すれば、RAGを使ったサービスのAPIコストは大きく下がる可能性があります。検索件数を増やしても入力トークンが膨張しにくくなるため、これまでコストを理由に参照文書数を絞っていたチャットボットやFAQシステムでも、より多くの文書を根拠にした回答が現実的になります。長い会話履歴を保持し続けるエージェント型のアプリケーションでも、文脈が肥大化しにくくなる恩恵は大きいでしょう。既存のRAGパイプラインを持つ開発者にとっては、検索精度を落とさずにコスト試算を見直せる余地が生まれる点が実務上のメリットです。
一方でDEX-Compはまだ研究段階の手法で、商用のRAG基盤にすぐ組み込めるわけではありません。二段階学習の実装コストや、対応する埋め込みモデルとの相性など、実運用に持ち込むまでには検証すべき点が残っています。また論文の評価は公開されている質問応答ベンチマークが中心で、社内文書のような専門性の高いデータでも同じ圧縮率と精度を維持できるかは今後の検証課題です。今後、主要なRAGフレームワークがこうした圧縮手法を標準機能として取り込んでいくかどうかが注目されます。
まとめ
新手法DEX-CompはRAGの検索文脈を16倍圧縮し、精度を保ったまま推論を最大24倍高速化しました。RAGのコストと速度を左右する研究として、今後の実装への応用が注目されます。
参考リンク
アイキャッチ画像: Photo by Microsoft Copilot on Unsplash
