AgenticRAG-FP、多段階RAGの障害特定で精度ゼロに

AI企業各社は現在、複数の情報源を検索しながら回答を組み立てる「エージェント型」のRAG（Retrieval-Augmented Generation、検索拡張生成：外部データベースを検索して得た情報をもとにAIが回答を作る仕組み）を製品に組み込み始めています。しかし新しい研究は、こうした多段階の検索プロセスで途中の失敗をどう特定するかという、地味だが重要な課題を突きつけました。研究者のLauren Pothuru氏は、検索の失敗が後工程でどう伝播するかを測る評価基盤「AgenticRAG-FP」を公開し、既存の診断手法が多段階になるとほぼ機能しなくなることを示しています。

gray and back circuit illustration — Photo by Mathew Schwartz on Unsplash

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

RAGは、LLM（Large Language Model、大規模言語モデル）が持たない最新情報や社内データを外部検索で補い、回答の正確性を高める手法として広く使われてきました。単純な一問一答であれば、検索結果とAIの回答を突き合わせるだけで正誤の判定がしやすいものです。

ところが最近のエージェント型AIは、1つの質問に答えるために複数回検索を繰り返す「マルチホップ」処理を行います。ある事実を調べ、その結果をもとに次の検索クエリを組み立て、さらに次の検索へとつなげていく流れです。この過程のどこか1カ所で検索が間違った情報を拾ってしまうと、その誤りは後段の推論に静かに混ざり込みます。厄介なのは、誤りが即座に間違った回答として表面化するとは限らない点です。3段階目の検索でたまたま正しい情報が補われ、最終的な回答は合っていても、途中の推論過程は破綻しているケースもあります。逆に、最初の検索は正しかったのに、後段の解釈ミスで誤答に至ることもあります。

例えば「ある映画の監督が生まれた都市の、現在の市長は誰か」という質問に答えるには、まず映画の監督を調べ、次にその出身都市を調べ、最後にその都市の市長を調べるという3段階の検索が必要です。1段階目で監督を取り違えれば、以降の検索がどれだけ正確でも答えは誤りになります。逆に途中の検索が的外れでも、最後の検索で偶然つじつまが合ってしまうこともあり、最終回答だけを見ていては何が起きたのか判別できません。

技術/ビジネス面

Pothuru氏が提案したWhen Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generationという論文では、意図的に特定の検索ステップへ「認定済みの誤り」を注入し、その後の処理をやり直させたうえで、既存の診断手法が誤りの発生箇所を正しく言い当てられるかを検証しました。

検証にはClaude Haiku 4.5を使い、複数の事実をたどって答える3ホップ形式のMuSiQueという質問セットから80問を使用しています。結果は明確でした。検索結果の網羅性だけを見る「カバレッジベース」の診断手法は、誤りが1段階目で起きた場合には91%の精度で言い当てられたものの、誤りが2段階目・3段階目で起きると精度はゼロまで落ち込みました。誤りが後段に進むほど、手がかりが後続の処理にかき消されてしまうためです。一方、途中の検索結果をあえて固定し直して比較する「反実仮想プローブ」という手法では、深さ2の誤りでも67%の精度で原因箇所を特定できています。単純な網羅性チェックでは太刀打ちできない領域があることを、この差が物語っています。

これからどうなるか

この結果は、社内文書検索やカスタマーサポートなどにRAGを組み込む開発者にとって他人事ではありません。マルチホップ構成のRAGパイプラインでは、最終回答だけをテストして「動いている」と判断すると、途中で起きている検索ミスを見逃したまま本番運用に入るリスクがあります。エラーの原因箇所を特定できないと、修正すべきはプロンプトなのか検索インデックスなのか判断がつかず、デバッグの手間も膨らみがちです。

今後は、単に最終回答の正誤を測るベンチマークだけでなく、途中経過の伝播深度まで含めた評価軸が、エージェント型RAGの品質保証で標準になっていくと見られます。自作のRAGパイプラインに反実仮想的なチェックポイントを仕込んでおけば、将来の障害調査がずっと楽になるはずです。実務では各検索ステップの中間結果をログに残し、後から特定のステップだけを固定し直して再実行できる仕組みを用意しておくと、この論文が示した反実仮想プローブに近い検証が自前の環境でも行えます。