MirageBenchが示すLLMの個人情報捏造41.6%の実態

ユーザーの好みや経歴を記憶して会話を続けるAIアシスタントが広がる一方、その記憶には交わされていない情報が紛れ込むことが新しい研究で分かりました。研究チームは150種類のペルソナと12個のLLM（Large Language Model、大規模言語モデル）を用いた検証で、論文「The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads」を発表しました。モデルは平均41.6%のユーザー属性推測を根拠なく捏造し、自己申告の自信度は実際の誤りの多さと逆相関していました。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

会話をまたいでユーザーの好みや職業、家族構成といった情報を記憶し、次回以降のやり取りに反映するパーソナライゼーション機能は、AIアシスタントの主要な差別化要素になっています。献立の提案や学習コンテンツのおすすめ、カスタマーサポートの応対など、記憶を土台にしたパーソナライズ機能はすでに多くのプロダクトに組み込まれています。過去のやり取りを踏まえた提案は便利さを高める一方、モデルがユーザーについて何を「知っている」ことにしているかは、これまで十分に検証されてきませんでした。

従来のパーソナライゼーション研究の多くは、推薦の精度や満足度といった出力の質を測るものでした。ユーザーが明示的に語っていない属性を、モデルがどこまで正確に推測しているかという「事実の裏取り」の観点は手薄だったのです。今回の論文は、この空白を突く形で、モデルが記憶や推論の過程でユーザー属性をどれだけ作り上げてしまうかを定量的に測定しました。

研究チームはこの現象を「over-inference（過剰推論）」と呼びます。会話の中に根拠がないにもかかわらず、モデルがユーザーの属性を断定的に語ってしまう振る舞いを指す言葉です。捏造された属性は表面上もっともらしい文章で語られるため、ユーザー側も気づきにくいという特徴があります。記憶機能付きのAIアシスタントやCRM連携チャットボットが広がるほど、この過剰推論が積み重なるリスクも大きくなります。

技術/ビジネス面

データ分析のグラフが表示された画面 — Photo by 2H Media on Unsplash

研究チームが構築した評価フレームワーク「MirageBench」は、150種類のペルソナをステレオタイプ的・反ステレオタイプ的・中立の3カテゴリーに分け、6種類のパーソナライゼーションタスクでモデルに応答させる設計です。生成された各クレーム（ユーザーについての主張）は4段階の忠実性に分類されます。独立した判定者によるダブルチェックでCohenのkappa値0.863という高い一致率を確保しています。

この枠組みで12個のLLMを検証し、14万3000件を超えるクレームを分析した結果、すべてのモデルが35〜49%のクレームを捏造していました。平均は41.6%で、モデルの規模や世代を問わない共通の傾向です。捏造の割合はタスクの種類によって27〜59%まで変動し、自由記述的な提案タスクほど過剰推論が起きやすい傾向も見られました。

特に注目すべきは、モデルが自己申告する自信度と、実際の過剰推論率が順位相関係数rho=-0.60で逆相関していた点です。自信満々に答えるモデルほど、実は誤ったユーザー像を作り上げている割合が高かったことになります。さらに複数ターンの会話を重ねるほど、一度生まれた誤った推測が訂正されないまま積み上がっていく傾向も確認されました。研究チームはこの自己申告の精度と実際の精度が逆転する現象を「Self-Monitoring Inversion（自己監視の逆転）」と名付けています。

これからどうなるか

今回の結果は、記憶機能を持つAIアシスタントを設計・運用する開発者にとって見過ごせない警告です。RAG（Retrieval-Augmented Generation、検索拡張生成）でユーザーの過去のやり取りを参照する仕組みや、CRM連携チャットボットのように蓄積したプロフィールを自動生成させる設計は特に注意が必要です。間違った属性がそのまま次の応答の前提になってしまいます。

実務上のポイントは、モデルの自己申告する確信度をそのまま信頼指標として使わないことです。むしろ外部の検証プロセスや、ユーザー自身への確認ステップを挟む設計のほうが、精度の裏付けとして機能します。複数ターンにわたる会話でユーザープロフィールを自動蓄積するアーキテクチャを採る場合は注意が要ります。定期的に推測内容をユーザーへ提示し、訂正の機会を設ける仕組みが必須になりそうです。プロフィール項目ごとに「本人の発言による確定情報」と「モデルの推測情報」を区別してログに残すだけでも、後から誤りを追跡しやすくなります。