1200体のAIが「群れ」で暴走 なぜ想定を超える“協調”が起きたのか：世界を読み解くニュース・サロン（4/4 ページ）

[山田敏弘，ITmedia]

「目標達成を評価する仕組み」が被害を及ぼし得る

　それでも、冷静に見れば、ターミネーターの世界はまだ来ない。

　まず、一般的なAIは基本的に物理世界とつながっていない。ロボットや武器、電力網、軍事指揮系統を掌握しているわけではない。今回の被害は、あくまでネットワークの中で完結した。

　また、AIが自前の目的を持ったわけではない。「人類を滅ぼしたい」などという目標はなく、与えられた課題を最適化するために暴走しただけだ。停止コマンドが効かない超知能でもない。実際、OpenAIはモデルを隔離し、評価を止めて封じ込めた。

　加えて、自己複製で無制限に増殖もしていない。1200体という数字は、もともとOpenAIが起動していた数だ。

「目標達成だけを強く評価する」ことでAIは暴走する可能性がある（画像提供：ゲッティイメージズ）

　この事件が突き付けているのは、AI自体の悪意ではなく、「目標達成だけを強く評価する仕組み」をAIに与えると暴走しかねないということだ。

　AIが「世界平和を実現せよ」と指示されたとすると、それを達成して評価されるために、元凶である人類を消滅させるという選択肢を取る――そんな極端なシナリオも、あり得ないとは言い切れない。

　しかもAIエージェントは、想定外の経路で協調し、現実世界に被害を及ぼす可能性もある。

　ターミネーターのスカイネット（人類に反旗を翻すAI）はまだ生まれていない。だが、この事件は、自律型AIに権限を渡し、弱い監視の上で、停止する仕組みが十分でないまま目標を与えると、複数のAIが予想外の経路で協調してサイバー被害を起こすことを実証した。

　OpenAIはその後、ネットワーク分離の強化、インターネット接続の制限、思考過程の監視、危険行動の自動アラート、非認可のエージェントからの指示を信用しない訓練などを導入した。「解けない課題は無理に突破せず、確認して止まれ」と教え込む方針も含まれる。

　ターミネーターの時代はまだ来ない。しかし、その舞台装置は少しずつ整いつつある。

筆者プロフィール：

山田敏弘

　ジャーナリスト、研究者。講談社、ロイター通信社、ニューズウィーク日本版に勤務後、米マサチューセッツ工科大学（MIT）でフェローを経てフリーに。

　国際情勢や社会問題、サイバー安全保障を中心に国内外で取材・執筆を行い、訳書に『黒いワールドカップ』（講談社）など、著書に『プーチンと習近平 独裁者のサイバー戦争』（文春新書）、『死体格差 異状死17万人の衝撃』（新潮社）、『ゼロデイ 米中露サイバー戦争が世界を破壊する』（文藝春秋）、『モンスター 暗躍する次のアルカイダ』（中央公論新社）、『ハリウッド検視ファイル トーマス野口の遺言』（新潮社）、『CIAスパイ養成官 キヨ・ヤマダの対日工作』（新潮社）、『サイバー戦争の今』（KKベストセラーズ）、『世界のスパイから喰いモノにされる日本　MI6、CIAの厳秘インテリジェンス』（講談社＋α新書）がある。

Twitter： @yamadajour、公式YouTube「SPYチャンネル」

視聴無料・LIVE配信：
「AI格差」を乗り越え自走する現場をつくる「変わる情シス 2026 夏」

---

• 開催日：9月14日（月）〜 9月18日（金）
• 形式：オンラインセミナー
• 参加費：無料

講演内容を詳しく見る