研究チームが、財務・規制文書のような構造化された長文を扱うためのAIエージェント型検索手法「READ」を発表しました。文章をベクトルに変換して検索するembedding(埋め込み)を一切使わず、検索や文書構造の把握といった決まった操作だけを組み合わせる設計です。検証した51問のテストセットで、READは58.8%の正答率を記録し、従来型のRAG(Retrieval-Augmented Generation、検索で外部知識を補ってから回答を生成する仕組み)の15.7%を大きく上回りました。
背景と文脈
長文書からAIが必要な情報を探し出す代表的な方法がRAGです。文書を細かく分割し、それぞれをembeddingという数値のベクトルに変換して保存しておき、質問文に近い意味を持つ断片を上位から取り出して回答の材料にします。この「チャンク分割してembeddingで検索する」やり方は、一般的な文章では効果的とされてきました。
しかし研究チームは、財務諸表や規制文書のような構造化文書ではこの前提が崩れると指摘しています。分析対象にした文書では、全体の86.8%の行が表形式のデータで占められていました。数値データは通貨単位などの文脈情報と切り離された状態でチャンクの境界をまたいでしまいやすく、その結果「桁が2つずれる」ような致命的な誤りにつながる場合があるといいます。
技術/ビジネス面
READ(Reliable Embedding-free Agentic Document-search)は、embeddingによる意味検索を使わず、正規化した文字列一致検索・文書構造に沿ったナビゲーション・範囲を区切った読み取りという3つの決定的な操作だけで文書を探索します。これらの操作はMCP(Model Context Protocol、AIモデルが外部ツールやデータソースを呼び出すための共通規格)を通じてエージェントに公開されており、AIエージェント自身が「次にどこを読むか」を判断しながら文書内を移動する仕組みです。
検証した51問の正答率は、READが58.8%だったのに対し、embeddingベースの通常のRAGは15.7%にとどまりました。この差は統計的にも有意で、p値(結果が偶然によるものである確率を示す統計指標)はホルム法による補正後で2×10のマイナス5乗と、極めて低い水準です。研究チームは、embeddingを使わない検索がembeddingベースの手法を上回ったという結果に加え、繰り返し検索を試すことよりも、エージェントに与えるインターフェース設計そのものの方が精度に効いていたと結論づけています。
これは直感に反する結果にも見えます。近年のAIエージェント研究では、同じ質問に何度も検索をかけ直させたり、複数の検索結果を突き合わせたりする「反復による精度向上」が重視されがちでした。しかしREADの結果は、検索対象の文書構造に沿った適切な操作を用意できていれば、反復回数を増やす工夫よりも効果が大きいことを示しています。表や見出し階層を持つ文書では、意味的な近さで探すよりも、構造をたどって正確な位置にたどり着く操作の方が理にかなっているという見方です。
これからどうなるか
財務諸表や契約書、規制関連文書を扱う社内AIシステムでは、embeddingベースのRAGが数値を取り違えるリスクは実務上のボトルネックになってきました。READのようなembedding不要のアプローチが確立されれば、こうした業務でのAI活用の信頼性が一段上がる可能性があります。
開発者にとっては、既存のRAGパイプラインの構成そのものを見直す材料になりそうです。あらゆる文書にembeddingベースの検索を一律で使うのではなく、表形式データが多い財務・法務系の文書にはMCPで構造化ナビゲーションを提供する、といった使い分けが今後のRAG設計の選択肢に加わりそうです。
まとめ
READは、embeddingを使わずMCP経由の決定的な操作だけで長文書を探索するエージェント型検索手法です。財務・規制文書を対象にした検証では、従来型RAGの15.7%に対し58.8%の正答率を記録し、構造化文書検索におけるインターフェース設計の重要性を示しました。
参考リンク
アイキャッチ画像: Photo by Jantine Doornbos on Unsplash
