ワシントン大学とAI2(Allen Institute for AI)の研究者らが、掲示板やコメント欄など第三者が自由に書き込めるWebページ経由で、LLM(Large Language Model、大規模言語モデル)の事前学習データに悪意あるコンテンツを注入できることを実証しました。著者のVictoria Graf氏らは、注入コンテンツがWebクロールとデータキュレーションを経ても生き残る確率を推定する新手法「HalfLife」を提案しています。第三者投稿を許すページ群が、LLM事前学習を狙う新たな攻撃経路になり得ると結論づけました。
背景と文脈
LLMの事前学習は、Common Crawlなど大規模Webアーカイブから集めたテキストを、ヒューリスティックフィルタや言語判定、品質分類器など複数段階でふるいにかけて作ります。近年はOLMoやDCLM、FineWebのように、収集からフィルタリングまでの手順を公開する「オープンデータ」の流れが広がっています。
透明性は再現性の面で歓迎される一方、攻撃者にとってパイプラインの弱点を把握しやすくなるという副作用もあります。2025年には、モデルの規模やデータ量によらずわずか250件程度の悪意ある文書でバックドアを仕込めると報告した研究が注目を集めました。ただしこの研究はファインチューニング(fine-tuning、既存モデルを追加データで再調整する手法)を想定したもので、事前学習そのものを狙う攻撃の実証例はまだ少ない領域でした。
今回のGraf氏らの研究は、編集者が内容を管理するWikipediaではなく、ブログのコメント欄やSNSの投稿欄のように誰でも書き込める「公開ディスカッションインターフェース」に着目した点が新しいところです。こうしたページはニュースサイトや個人ブログに広く組み込まれ、Common Crawlの収集対象にも大量に含まれています。研究チームはこの種のページを、組織的な情報操作を指す「コンピュテーショナル・プロパガンダ」の新たな標的と位置づけ、毒入りコンテンツが最終的な学習データにどれだけ残るかを定量的に検証しました。
技術/ビジネス面
研究チームが提案したHalfLifeは、あるWebページ経由で注入したコンテンツが最終的な学習データに含まれる確率を、3段階の掛け算で推定する手法です。まず対象ページが第三者投稿を許しているか(注入可能性)、次にWebクローラーが本文抽出時にそのコンテンツを保持するか(捕捉率)、最後にデータキュレーションの品質フィルタを通過するか(通過率)という3つの確率を順にかけ合わせます。
今回の論文によると、分析対象のCommon Crawlページのうちコメント機能を持つものは約3.4%でした。本文抽出処理を経ても残るコメントは71.9%、さらに品質フィルタを通過するものは5.5%にとどまり、最終的な包含確率は0.13%と算出されています。小さな値に見えますが、研究チームはこの割合がDolma 3に含まれるWikipedia由来データの比率(0.067%)を上回ると指摘し、掲示板経由の毒入りコンテンツが無視できない規模になり得ると示しました。
実際に毒入りデータを混ぜて学習させた実験では、6500万パラメータ・13億パラメータいずれのモデルでも、狙った誤情報を回答に反映させる効果が18〜19%程度確認されました。検出したコメント機能を持つプラットフォームの内訳ではWordPressが85.2%と大半を占め、Facebookコメントやフォーム形式のプラグインも一定数見つかっています。
これからどうなるか
今回の結果は、Webクロールを土台にした事前学習パイプラインを持つ開発者・企業全般に関わる問題です。データ構築手順を公開するオープンなモデル開発ほど、攻撃者が弱点を狙いやすくなる可能性があります。研究チームはコメント領域を区別して抽出する処理や、投稿フォームを持つページの重み付けを下げる出所認識フィルタリングなど、パイプライン側の対策を提案しています。
自社サービスにLLMを組み込む開発者にとっても他人事ではありません。RAG(Retrieval-Augmented Generation、検索で取得した外部文書を回答生成に利用する仕組み)でWeb上のコメントやフォーラム投稿を参照させる場合、同様の毒入れリスクが波及する可能性があります。外部データを取り込む際は出典の管理体制やフィルタリング精度を点検することが、実務上の防御策になりそうです。
低リソース言語はネット上のテキスト総量が少ないため、同じ注入量でも毒入りコンテンツの割合が相対的に高まりやすいという指摘もあります。大規模モデル開発企業がデータ収集元の管理をどこまで強化するか、今後の注視点になるでしょう。
まとめ
Graf氏らはHalfLifeという新手法で、掲示板やコメント欄経由のコンテンツがLLM事前学習データに紛れ込む確率を定量化しました。包含確率はわずか0.13%でも、Wikipedia由来データより高い比率になり得ると分かりました。第三者投稿を許すWebページ全般が、LLM開発を狙う新たな攻撃対象になり得ることを示した研究です。
参考リンク
- Pretraining Data Can Be Poisoned through Computational Propaganda
- Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples
- OLMo (AI2)
アイキャッチ画像: Photo by Shubham Dhage on Unsplash
