AI検索の分析サービスを手がけるTrakkrが、AIアシスタントが答えに使う統計の出どころを調べた結果を公表しました。ChatGPT、Perplexity、Gemini、Claude、GoogleのAI Overviewsの5つに数字を問う質問を投げ、出てきた統計の引用先を最大5段階までたどっています。元の研究に行き着き、内容も一致したのは全体の40%でした。根拠が見つからないまま広まり続ける数字を、Trakkrは「ゾンビ統計」と呼んでいます。AIの答えを資料作りに使う人が増える中、数字の扱い方を見直すきっかけになりそうです。
背景と文脈
AIアシスタントの多くは、Web検索を使って答えを作り、出典のリンクを添えるようになりました。リンクがあると、答えが裏付けられているように見えます。ところが、リンク先がさらに別のページを引用し、その先も孫引きという例は珍しくありません。人が書くブログやまとめ記事で昔から起きていた問題が、AIの答えにもそのまま入り込んでいる可能性があります。
Trakkrの調査「Zombie stats」は、この点を数で確かめた試みです。日常的な16分野の質問160問と、よく知られた統計を問う40問の計200問を用意しました。5つのアシスタントにWeb検索をオンにした状態で、米国からの利用として問い合わせています。集まった1,000件の回答には3,167件の統計が含まれ、そのうち2,419件に引用が付いていました。
この中から1,285件を無作為に選び、引用先のページを最大5段階までたどりました。判定はまずAIのモデルが行い、うち150件は人が手で確かめています。AIの判定だけでは「出典あり」が23%と低めに出たため、人の確認結果で補正した数字を発表しました。
技術/ビジネス面
結果を見ると、元の研究と同じ内容に行き着いた統計は40%でした。別の8%は研究にたどり着いたものの、数字や前提が変わっていました。40%は確かめられず、11%は行き止まりです。引用先のページには82%の確率でその数字が載っていました。しかし、引用先そのものが元の研究だったのは21%にとどまります。
アシスタント別では、ChatGPTが57%で最も高い結果でした。ChatGPTは1回答あたりの統計の数が1.3件と最も少なく、数字を控えめに使う傾向も見られます。Perplexityは46%、AI Overviewsは39%、GeminiとClaudeはともに38%でした。5つ全部が割合で答えた71問のうち28問では、4つか5つの異なる数字が出ています。
典型的なゾンビ統計の例も紹介されています。「営業担当の44%は1回の追客であきらめる」という数字は5つ全てが繰り返しました。しかし出どころは、フリーランスのライターが書いた見本記事で、裏付けの研究は見つかりませんでした。「第一印象の94%はデザインで決まる」は、2004年に英国の女性15人が健康情報サイトを評価した研究が元です。それが言い換えを重ねるうちに、Webサイト全般の話にすり替わりました。「生成AIの試験導入の95%が失敗」も、元のMIT NANDAの報告は「95%の組織が金銭的な見返りを得ていない」という内容で、意味が違います。
出典の種類にも差がありました。最初の引用先で最も多いのは企業ブログで54%を占め、そこから原典に届いたのは37%です。調査会社のページは62%、政府機関のページは61%が原典に届き、より頼れる出発点でした。ただ、調査会社のレポートはフォームの入力を求めるものが多く、中身を確かめられない例も目立ったといいます。
これからどうなるか
この調査が示すのは、AIの数字は「答え」ではなく「手がかり」として扱うべきだという点です。複数のAIが同じ数字を挙げても、同じ孫引きのページを読んでいるだけかもしれません。年、調べた人数、対象となった集団を確かめ、原典まで遡る手間は今後も欠かせないでしょう。
開発者にとっても無関係ではありません。RAG（Retrieval-Augmented Generation、検索拡張生成：外部の文書を検索して答えに使う仕組み）で引用付きの回答を返すアプリを作る場合、「リンクがある＝正しい」とは限らないからです。検索対象を一次資料や公式ドキュメントに寄せる、数字には取得日や調査年も添える、といった設計で信頼性を上げられます。社内向けの資料作成ツールなら、統計を含む回答に「原典を確認してください」と注記を出すだけでも効果があります。
情報を出す側への提案もあります。数字のすぐ横に、調査の規模や時期、原典へのリンクを置くこと。主要な結果と調査方法は、フォームの奥ではなく誰でも読めるページに出すこと。こうした工夫が、AI経由で広まる数字の質を左右することになりそうです。
まとめ
Trakkrの調査では、5つのAIアシスタントが挙げた統計のうち、原典まで遡れて内容も一致したのは40%でした。引用先が原典だった例は21%しかなく、根拠のない数字がAIを通じて繰り返されています。AIの数字は確かめる前提で使い、作る側も出典の質を意識した設計が求められます。
参考リンク
アイキャッチ画像: Photo by Bozhin Karaivanov on Unsplash
