AI企業が自社モデルに設けたガードレール（不適切な出力を防ぐための制限機構）が、悪用を防ぐ目的とは裏腹に、正規のサイバーセキュリティ研究者の作業を妨げているとTechCrunchが報じました。脆弱性を探す通常業務でも「危険な行為」だと誤って判定され、応答を拒否される場面が相次いでいます。コードの脆弱性を解析したり、悪意あるソフトウエアの挙動を調べたりする作業は、攻撃側にも防御側にも必要な工程ですが、AIモデルはその区別を判断できず、一律に制限をかけがちです。研究者の一部は、制限のない海外製モデルへ乗り換え始めており、開発者やセキュリティ担当者にとっても看過できない動きです。
背景と文脈
OpenAIは信頼できるセキュリティ関係者向けに制限を緩和する「Trusted Access for Cyber」、Anthropicも同様の「Cyber Verification Program」を用意し、審査を通った研究者には比較的自由な利用を認めています。それでも対象外の研究者は多く、通常のガードレールがそのまま適用されます。審査には所属企業の証明や利用目的の申告が必要で、フリーランスの研究者や、審査プログラムを持たない中小のセキュリティ企業に所属する研究者は、そもそも対象から外れやすい構造になっています。この線引き自体が不透明だという指摘も少なくありません。
背景には、2026年6月に米政府がAnthropicのMythosとFableを輸出規制の対象に指定した経緯があります。ガードレールを回避すれば攻撃用のコードを生成できてしまうとの懸念が理由でした。この規制強化を受け、AI企業側はガードレールをより厳格に運用する方向に傾いており、結果として正規の防御目的の利用まで巻き込まれる事態が広がっています。
技術/ビジネス面
NCC Groupのセキュリティ研究者Chris Anley氏は、脆弱性の悪用コードを書かせるプロンプトの多くが、実際には防御目的だと説明します。「家を建てるのに金づちが要らないとは言えない」という比喩で、攻撃用にも防御用にも使える道具である以上、用途だけで危険と判定するのは無理があると指摘しています。一方で研究者のGiuseppe Cali氏のように、自分の作業範囲がリバースエンジニアリング（既存のソフトウエアの動作を解析し、内部の仕組みを読み解く作業）にとどまり、脆弱性そのものを新たに発見する用途ではないため、ガードレールにあまり困っていないという声もあり、影響の度合いは研究者の作業内容によって差があるようです。
別の研究者Chris Thompson氏は、ガードレールの挙動が日によって一貫しないため、本来の解析作業より前にトラブルシューティングに時間を取られると話します。具体的には、前日まで応答していたマルウェア解析やパッチ差分のレビューといった依頼が、翌日には理由の説明なく拒否されるケースがあるといいます。TechCrunchの取材に対し、セキュリティ企業Crowdfenseの研究者Paolo Stagno氏はAI企業側の姿勢を「子供扱いされているようだ」と表現しています。審査プログラムの対象から外れたスマートフォンメーカー所属の研究者は、匿名を条件に「ツールがほとんど使い物にならない」と証言しました。
これからどうなるか
この状況が続けば、正規のセキュリティ研究者ほど制限の少ない中国製のオープンウェイトモデル（重みが公開され誰でも動かせるモデル）などへ移行する動きが強まる可能性があります。Chris Thompson氏はこの傾向について、米国のサイバーセキュリティ能力そのものが不利になりかねないと警鐘を鳴らしています。
開発者にとっても、自社プロダクトの脆弱性診断やコードレビューでAIを使う場面は増えており、ガードレールの誤判定によって作業が止まるリスクは他人事ではありません。審査プログラムへの参加可否や、複数モデルを使い分けられる体制を事前に整えておくことが、実務上の備えになりそうです。特に自動化されたセキュリティ診断パイプラインにAIを組み込んでいる場合は、拒否応答が発生した際のフォールバック処理をあらかじめ設計しておかないと、診断そのものが無言で欠落するリスクがあります。
まとめ
AI企業のガードレールが、悪用防止の一方で正規のセキュリティ研究者の作業を妨げているとTechCrunchが報じました。判定の一貫性のなさや過剰な制限への不満が広がり、制限の緩い海外モデルへの移行も進んでいます。安全対策と実務の両立が問われる中、審査プログラムの対象拡大や判定基準の公開が今後の課題になりそうです。
参考リンク
アイキャッチ画像: Photo by Elena Mozhvilo on Unsplash
