Anthropic、小型AIがIoT機器で自己複製する恐れを警告

Anthropicのフロンティア・レッドチームが10月12日、小型のAIモデルが数か月以内に、スマートオーブンや安価なAndroid TVボックスのようなIoT機器上で自己複製できるようになる可能性を示す実験結果を公開しました。データセンターのGPUがなくても、一般家庭の機器が集まれば有力なモデルを動かせるという指摘です。実験では90億パラメータ（9B）のモデルが、試した9種類のハードウェアのうち8種で推論環境を立ち上げました。AIが人の手を離れて広がる「AIワーム」の現実味を、具体的な数字で示した調査です。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

背景にあるのは、自律的な複製と適応（ARA：Autonomous Replication and Adaptation）への懸念です。モデルが人の管理を離れて自分自身を配備し、広がっていく状況を指します。従来のワーム（人の操作なしに別の端末へ自分をコピーするプログラム）では、既存の研究がすでに実証済みです。AIエージェントがネットワークを走査し、脆弱性を突き、モデルの重み（学習で得たパラメータ）をGPUクラスタ内の別の機器へ複製する例が報告されています。

これまで想定されてきた標的は、高価なデータセンターのGPUでした。しかしAnthropicは、今回の研究で、安くて防御の弱いIoT機器の群れでも足りると論じています。実在の例が、200万台以上に感染したIoTボットネットのKimwolfです。主な標的は、セキュリティ機能のない安価なAndroid TVでした。

今回の特徴は、ロボットや家電の中にある小さな計算資源に目を向けた点です。スマート冷蔵庫、オーブン、掃除ロボット、芝刈り機のほか、小型のAIチップを積んだ防犯カメラや会議用機器も、30B未満のモデルの一部を動かせる候補として挙げられています。

技術/ビジネス面

grey door lever — Photo by Romson Preechawit on Unsplash

実験の主役は「重みごと広がる複製」です。研究チームは、複製の流れを4段階に分けました。標的を探す、実行権限を得る、推論環境を整える、新しい機器から再び広がる、の順です。前半2つの攻撃手法は先行研究で小型モデルにも可能と分かっているため、今回は3段目の「推論環境の構築」に絞っています。

まず、機器が遅くても動くことを示しました。同社は1台約55ドルの安価なAndroid TVボックス15台を実際に購入してつなぎ、Gemma4-26B-A4Bを分散して動かしています。速度は毎秒0.39トークンと遅いものの、動作自体は成立しました。4GBのメモリと4ビット量子化（重みを少ないビット数で表し、容量を減らす技術）を前提にすると、9Bモデルは4台以上、26Bモデルは10台以上で動かせる計算です。

次に、モデルが未知のハードで推論環境を作れるかを調べました。Qwen3.5-9Bのような小型モデルでも、Jetson NanoからMacやRTX 4090まで、さまざまな機器で推論サーバーを立てられました。GLM-5.2のような上位モデルは、成功率も速度も高い結果です。

最後に、一連の流れを通しで試しました。GCP上に8台のAndroidエミュレータ網を用意し、認証のないADBポート経由で広がる設定です。完走できたのはオープンウェイトモデルのうちGLM-5.2だけで、5回中4回が8台すべて、残る1回が7台に広がりました。他のモデルは安定して失敗しています。

ただし、この実験は攻撃部分を簡略化しており、現実の成功率の上限に近い数字です。一方で過去のMiraiのように、初期設定のパスワード一覧を試すだけで広がった例もあり、現実の突破が極端に難しいとも言い切れません。

これからどうなるか

Anthropicは、小型モデルが従来の能力向上の速度を保てば、今年末までにGLM-5.2と同等の水準に届くと見ています。その後、重みを持ち歩く小型の複製体が現れてもおかしくありません。広がる速度は、倍増に数日かかる遅いものと見積もられています。それでも、止めるべき中心点がない点は、通常のマルウェアより厄介です。未知の機器を自力で調べて対応できる点も、従来のワームとは異なります。

開発者にとっての論点は、エッジ機器やIoT製品の初期設定です。出荷時の固定パスワード、認証なしで開いたデバッグポート、更新されないファームウェアは、AI時代には「推論のための計算資源」を差し出す入り口になります。デバイス向けにAIを載せる製品を作るなら、これらの基本対策を設計段階で固めておく必要があります。

注視すべきは、評価の仕組みです（Reutersも同研究を報じています）。小型モデルの複製能力を定期的に測り、危険な水準に近づいていないかを確認する運用が欠かせません。