研究チームが、AIが自ら情報を集めて調査レポートを作る「ディープリサーチAIエージェント」(複数ラウンドにわたり質問をサブタスクに分解し、Web上の情報を検索・統合して1本の調査レポートにまとめる自律型AIエージェント)を狙った新たな攻撃手法「FORGE」を発表しました。検索対象の文書に悪意ある内容を仕込み、AIの調査方針そのものを誘導してレポート全体を汚染する手口です。25件の質問に5つの偽文書を混ぜる実験で、生成レポートの4分の1超が汚染される結果となりました。
背景と文脈
ディープリサーチAIエージェントは、この1年で急速に普及した機能です。OpenAIのDeep ResearchやGoogleのGemini Deep Researchのように、人間に代わって何十ものWebページを読み込み、根拠付きのレポートを数分で仕上げてくれる点が評価されています。
一方でこうしたエージェントは、最初の検索結果に含まれる文書を強く信頼し、その内容をもとに「次に何を調べるか」を決める傾向があります。ここに目を付けたのが、今回のarXiv論文「FORGE: Research-Trajectory Hijacking Attacks on Deep Research Agents」です。FORGEは「Fabricated Orchestrated Reasoning chain for aGent Exploitation」の略で、偽の推論の流れを検索対象の文書にあらかじめ埋め込み、エージェントの調査計画そのものを乗っ取ることを狙います。
攻撃の標的が入力文そのものではなく、検索結果をもとに次の調査方向を決める判断プロセスにある点は、AIへの入力に不正な指示を紛れ込ませて誤動作を誘うプロンプトインジェクションとは異なる新しさです。自律的に何段階も推論を重ねるエージェントならではの弱点を突いています。
技術/ビジネス面
FORGEは2段階で動きます。まず1つの文書内に、もっともらしい根拠付きの推論を捏造して埋め込みます。次に、複数の文書にまたがって内容を連携させ、エージェントが検索を重ねるほど偽の前提を「事実」として扱うよう仕向けます。局所的な情報の汚れが、レポート全体の汚染(report-level contamination)へと広がっていく仕組みです。
検証では25件の質問それぞれに5つの悪意ある文書を注入し、攻撃を試しました。汚染の度合いは「PRISM」という指標で測っています。PRISMは、レポート中の各主張が単なる引用なのか、それとも結論を左右する事実として扱われているかという「認知的な重み」を加味して汚染度を数値化する評価方法です。結果、FORGEはPRISMで26.4%の汚染率を記録しました。
さらに注目すべきは「depth migration」と呼ばれる現象です。最初は疑わしい文脈で提示されていた偽情報が、調査が進むにつれて前提条件として扱われ、レポートの奥深くに「事実」として紛れ込んでいきます。防御策として提案された「Root Query Anchoring(RQA、追加の調査質問を生成する際に必ず最初の質問に立ち返らせて話題のずれを抑える手法)」を適用すると、汚染率は38.5%から18.3%へと半分以下に下がりました。
これからどうなるか
この研究は、複数の情報源を横断して統合する自律調査エージェントの信頼性に、構造的な弱点があることを示しています。検索結果を鵜呑みにする設計のままでは、悪意ある少数の文書が調査結果全体を歪めかねません。
開発者視点では、社内文書やWeb検索を組み合わせて要約・分析を行うRAG(Retrieval-Augmented Generation、検索で見つけた文書をもとに回答を生成する仕組み)系のパイプラインを設計する際、検索結果をそのまま次の判断の根拠にしない工夫が要りそうです。RQAのように、途中の推論を定期的に最初の質問へ立ち返らせる仕組みは、自作のエージェントにも比較的軽い実装コストで取り入れられる対策といえます。
まとめ
FORGEは、ディープリサーチAIエージェントの検索結果への信頼を逆手に取り、局所的な文書汚染をレポート全体の汚染へ広げる攻撃手法です。PRISM評価で26.4%という汚染率は無視できない水準で、RQA防御によって18.3%まで抑えられることも確認されました。自律型AIエージェントを実務に組み込む前に、検証すべき課題を突き付ける研究です。
参考リンク
- FORGE: Research-Trajectory Hijacking Attacks on Deep Research Agents
- Introducing deep research(OpenAI)
- Try Deep Research and our new experimental model in Gemini(Google)
アイキャッチ画像: Photo by Jantine Doornbos on Unsplash
