米国防総省で今年春、AIチャットボットが作り出した虚偽の情報をもとに、中国船舶への武力行使が準備されていたことが分かりました。実際に軍用機が発進し攻撃態勢に入った後、情報に裏付けがないと判明し、作戦は直前で中止されています。発端は特殊作戦司令部のアナリストが機密情報の分析をAIチャットボットに任せたことでした。誤った分析はさらにAIの手で公式文書らしい体裁に整えられ、指揮系統を素通りしていきました。専門家はAIの不確実性を軍事判断に持ち込む危うさに警鐘を鳴らしています。
背景と文脈
今回の一件が起きたのは、米国がイランと交戦状態にあった今年春です。特殊作戦司令部に所属するアナリストが、公開情報と機密の信号情報（シギント：通信や電波を傍受して得る軍事情報）を組み合わせて分析する際、AIチャットボットを使いました。ところがチャットボットは、対象となった中国船舶が核兵器計画に関わる部品を積んでいるという、事実に基づかない情報を作り出してしまいます。いわゆる「AIハルシネーション（AIが実際には存在しない事実やデータを、もっともらしい形で生成してしまう現象）」です。
問題を深刻にしたのは、このアナリストが同じチャットボットを使い、虚偽の分析結果を公式文書らしい体裁の要約にまとめ直したことでした。体裁が整った報告書は本物の分析結果のように扱われ、指揮系統を通じて上層部まで伝わっていきます。最終的に軍用機が実際に発進し、攻撃態勢に入った段階になって、ようやく情報に裏付けがないことが判明しました。米CNNが2026年9月18日に報じたところによると、作戦は直前で中止され、中国との衝突には至りませんでした。
米軍はここ数年、情報分析の効率化を目的に生成AIの現場導入を急速に進めてきました。人手不足に悩む部隊にとって、大量の公開情報と機密情報を短時間で統合できるAIツールは魅力的な存在です。一方で、出力の正確さを人間が十分に検証しないまま意思決定に組み込めば、虚偽の分析が実際の軍事行動を左右しかねないというリスクが、今回の一件で現実のものとなりました。
技術/ビジネス面
この事案で特に注目すべきなのは、AIの誤りが単発で終わらず、二段階にわたって増幅された点です。1段階目はチャットボットが誤った分析を生成したこと、2段階目はその誤った分析を人間が疑わずに公式報告書の体裁へと整形させたことです。体裁が整った文書は、あたかも複数人の検証を経たような信頼性を帯びてしまい、読み手の警戒心を下げます。AI研究者の間では、この「もっともらしさが検証を素通りさせる」現象こそが、ハルシネーション対策における最大の難所だと指摘されてきました。
GovAI（Centre for the Governance of AI）の研究者でアメリカ陸軍退役軍人でもあるジェイク・ステックラー氏は、今回の件について、兵士たちが言語モデルに内在する不確実性を理解する必要があると述べています。特に標的選定や作戦立案のような、人命に関わる意思決定にAIを使う場面ではなおさらです。同氏はAIの軍事利用そのものを否定しているわけではなく、安全策を強化する方向を提案しています。スピードを優先するあまり検証の仕組みを省けば、かえって現場の兵士がAIシステムへの信頼を失いかねないと警告しました。
米軍に限らず、企業の意思決定支援にAIを使う場面でも、同じ構造のリスクは存在します。AIが生成した下書きを人間が「もっともらしいから」とそのまま採用し、上位の意思決定者に伝える過程で、誤りが検証されないまま伝播していくケースは十分に起こり得ます。今回の一件は、軍事という極端な文脈で表面化しましたが、AIの出力を最終判断に使う前に独立した裏付け確認を挟む仕組みの重要性を、業種を問わず示しています。
これからどうなるか
今回の事案を受けて、米軍内ではAIツールの利用手順を見直す動きが予想されます。具体的には、AIが生成した分析結果に対して、独立した人間または別のAIによるクロスチェックを義務付けたり、機密情報と公開情報を統合する際のログを残して検証可能にしたりといった対策が検討課題になりそうです。
開発者にとっても、この事案は他人事ではありません。社内向けにAIを使った要約・分析ツールを組み込む際、出力をそのまま最終成果物として扱わせるのではなく、根拠となった一次情報へのリンクを必ず添付させる設計にするだけで、今回のような「もっともらしい誤情報が独り歩きする」事態はかなり防げます。RAG（Retrieval-Augmented Generation、検索拡張生成：AIが回答を作る際に外部の文書を検索して根拠にする仕組み）を導入する際も、検索結果と生成結果を分けて表示し、どこまでが一次情報でどこからがAIの推測かを利用者が区別できるようにする設計が、今後さらに重視されていくでしょう。
まとめ
AIチャットボットが生成した虚偽情報が、米軍の対中国軍事作戦を直前まで進めてしまうという深刻な事案が明らかになりました。誤情報が生成と整形の二段階で増幅された今回のケースは、AIの出力を独立した検証なしに重要な意思決定へ組み込むことの危うさを浮き彫りにしています。軍事に限らず、AIの下書きを鵜呑みにしない仕組みづくりが、あらゆる現場に求められています。
参考リンク
- AI hallucination nearly triggers US military operation (TechCrunch)
- US military nearly launched operation based on AI-fabricated intelligence (CNN)
アイキャッチ画像: Photo by Solen Feyissa on Unsplash
