Google DeepMindのGitHubで、AIが書いた文章を見分ける検出器「DetectorScope」が公開されました。最大の特徴は、判定の理由を示せることです。「太字の見出しの後のコロン」「potentialという単語」のように、どの文の特徴が「AIっぽさ」を押し上げたかを、本文の位置とあわせて表示します。論文は10月25日開幕の自然言語処理の国際会議EMNLP 2026で発表され、コードはpipで入れて試せます。
背景と文脈
AI文章の検出器は、論文の査読や教育、入試などの場で使われ始めています。ただし今の検出器には大きな弱点があります。精度の高いものほど、なぜその判定になったのかを説明できません。
精度が高いのは、言語モデルをファインチューニング（既存モデルを特定の課題向けに追加学習させること）した分類器です。中身はニューラルネットの数値の集まりで、人が読める理由は出てきません。一方、文の長さや品詞の並びなど文体の統計を使う方式は説明しやすいものの、精度が大きく落ちます。
説明できない判定は、誤検出のときに深刻な問題になります。人が書いた文章を「AI製」とされても、本人は反論の手がかりを持てません。DetectorScopeは、この「当たるが説明できない」と「説明できるが当たらない」の間を埋める狙いで作られました。
技術/ビジネス面
仕組みの中心は、SAE（Sparse Autoencoder、スパースオートエンコーダ）です。モデル内部の数値を、少数だけが反応する「特徴」の集まりに分解する道具で、モデルが何に注目しているかを読み解くのに使われます。DetectorScopeはGemma-2-2bの内部をSAEで分解し、各特徴に自然言語の説明を付けます。
次に、その説明が本当に当たっているかを特徴の反応と照らして採点します。基準を満たした特徴だけを残し、最後に単純な線形分類器で判定します。判定スコアは各特徴の寄与の合計になるため、理由をそのまま並べて見せられます。
論文「Building Auditable AI Text Detectors with Sparse Autoencoders」には、見つかった「AIの癖」の例が載っています。GPT-4o製の査読文では「太字の見出しの直後のコロン」が強い手がかりでした。この特徴は人の文書では11件、GPT-4oの文書では5万4,000件超で現れています。Llamaでは「thorough」という単語、人間側では文頭の「I」や「seems」のようなぼかし表現が目立ちました。
精度も大きくは落ちていません。分野の違う文章で試すRAIDという評価セットでは、元の分類器のF1スコア（見逃しと誤検出の両方を反映する指標）89.3に対し、説明可能版は92.5でした。既存の検出手法Binocularsなどと比べても、分野外の文章で約8〜12ポイント上回ったとしています。
使い方はシンプルです。pip install detectorscopeで入れ、AuditableDetector.from_pretrained()で学習済みモデルを読み込みます。結果にはAIらしさの確率と、効いた特徴の一覧が返ります。ライセンスはApache 2.0です。
これからどうなるか
一方で、理由が見えることは裏返しの弱点にもなります。論文では、効いている特徴を狙って言い換えさせると、判定を60〜100%の確率でひっくり返せました。普通の言い換えでは最大8.7%しか変わらなかったため、癖を知れば検出を避けやすくなるわけです。
開発者にとっての使いどころは、判定そのものより「自社モデルの出力の癖を調べる道具」としての利用でしょう。たとえば生成したドキュメントやチャット応答に、特定の言い回しや記号の癖がどれだけ出ているかを数値で確かめられます。プロンプトや後処理の改善前後を比べる指標としても使えそうです。
なお、READMEは研究用の試作品だと明記しています。人が書いた文章でも誤判定するため、成績や採用など個人に関わる判断に使ってはいけないとしています。
まとめ
DetectorScopeは、AI文章の検出結果を「どの特徴がどこで効いたか」まで示す検出器です。SAEで解釈できる特徴だけを残し、精度をほぼ保ったまま説明できる形にしました。癖を知れば避けやすくなる弱点も示されており、判定の道具より分析の道具として使うのが現実的です。
参考リンク
- google-deepmind/detectorscope（GitHub）
- Building Auditable AI Text Detectors with Sparse Autoencoders（arXiv）
- DetectorScope デモ（Hugging Face Spaces）
アイキャッチ画像: Photo by Karen Sewell on Unsplash
