チャットサービスのDiscordは2026年7月7日、AIを使った自動モデレーション(投稿内容の監視・取り締まり)システムの不具合により、2カ月間で8000人を超えるユーザーを誤ってBAN(アカウント停止処分)していたと明らかにしました。表計算シートやチェス盤の画像など、無害なファイルが原因でした。
背景と文脈
問題は2026年5月に始まり、7月7日に原因が特定されて修正されました。誤BANされたのは表計算シート、チェス盤、ゲームのテクスチャ画像、白や灰色の透過背景、正方形の格子模様を含む画像をアップロードしたユーザーです。直近の週末だけでも追加で200人が誤って処分される事態になっていました。
Discordの自動モデレーションは、既知の有害コンテンツのデータベースと照合し、似た画像を検出する「類似性マッチング」という手法を使っています。今回のバグは、この類似性マッチングが誤検知(本来は問題のないものを誤って有害と判定すること)を起こした際、本来は人間のモデレーターが確認してから処分するはずの手順を飛ばし、即座にアカウントを停止してしまう仕組みになっていたことが原因です。
Discordは世界的に多くのユーザーを抱える大規模サービスで、投稿・共有される画像も膨大な量にのぼります。人間の目視だけで全件を確認するのは現実的ではないため自動判定に頼らざるを得ませんが、その分、判定ロジックのわずかな欠陥が数千人規模の被害に直結しやすい構造だったといえます。
技術/ビジネス面
なぜチェス盤や格子模様が引っかかったのか。ユーザーの間では、正方形の格子模様が過去に児童性的虐待コンテンツ(CSAM)を検出システムから隠すために悪用された例があり、その名残でシステムが格子模様全般に過敏になっていたのではないかと推測されています。Discord自身はこの点について明言を避けていますが、単純な画像パターンの一致だけで有害性を判定する仕組みの限界を示す事例といえます。
Discordは誤BANされたアカウントをすべて復元すると表明し、「同じことが二度と起きないよう、より良いセーフガードに取り組んでいる」とコメントしています。あわせて、人間のモデレーターによる確認を経てから処分する運用に戻すことも認めました。
この手のトラブルは画像分類AI(画像を見て種類やカテゴリを判定するAI)に共通するリスクでもあります。学習データに含まれた表面的な模様や色合いだけを手がかりに判定してしまい、人間が見れば明らかに無関係な画像を誤って拾ってしまうケースは珍しくありません。
これからどうなるか
自動モデレーションはSNSやチャットサービスの規模拡大に欠かせない仕組みですが、今回のケースは「AIの判定を人間の確認なしに即実行する」設計がどれほどのリスクを持つかを浮き彫りにしました。児童保護のような重大な目的のための仕組みほど、誤検知への配慮とのバランスが難しくなります。
ユーザー投稿を扱うプロダクトを開発している場合、自動判定と人間によるレビューをどこで切り分けるかは他人事ではありません。特に自動処分が即座にアカウント停止のような重い結果につながる設計では、誤検知が起きた際の被害が大きくなりやすいため、人間による確認を挟む余地を残す設計が安全弁になります。BANのような不可逆に近い処分の前段に、異議申し立てや一時停止といった緩衝ステップを挟む設計は、今回のような事態の再発防止に直結します。
まとめ
Discordの誤BAN問題は、AIモデレーションの精度だけでなく、判定後の運用設計の甘さが引き起こしたトラブルでした。アカウント復元と人間確認の復活で当面は収束しますが、大規模サービスにおける自動処分のあり方に一石を投じています。
