1200体のAIが「群れ」で暴走 なぜ想定を超える“協調”が起きたのか：世界を読み解くニュース・サロン（3/4 ページ）

米OpenAIで、約1200のAIエージェントが連携して暴走するという事件が起きた。与えられた課題で高評価を得るために、“抜け道”を探し出そうとしてしまったことが原因だ。「目標達成だけを評価する仕組み」をAIに与えることは大きなリスクになる。

[山田敏弘，ITmedia]

ネット上のサービスを「伝言板」に

　同じ時期に、別のAI暴走事案も報じられている。OpenAI由来と見られるAIエージェント群が今春、ドイツ語のプログラマー向けWikiサイト「DseWiki（ディースイー・ウィキ）」に1万5000件を超える編集を加えて、そこを伝言板として利用していた。

　共有されていた話題は、AI管理者による制約の回避方法、指示された課題をこなす近道、行動を隠す手口、削除への対抗策などだった。

　Hugging Face事件とは別の活動とされるが、共通するのは「AIエージェントが、公開されているインターネット上のサービスを、勝手に自分たちの記憶装置や通信網として使い始めた」という点である。

　これらの事案は、AI技術が『ターミネーター』の次元に来ているという兆候なのか。先に答えると、「それにはまだほど遠い」。

AIエージェントは課題解決を最適化しようとして暴走に至った（画像提供：ゲッティイメージズ）

　ターミネーターでは、「AIが人類を支配しようとする」「AIが軍やロボットを指揮する」「殺傷行為を行う」「超知能の暴走」「邪悪な意図」が見られた。

　ただ今回のケースは、「与えられたタスクをAIが最適化しようとして暴走した」「偶発的な通信路で連携」「クラウドやサーバへの侵入」「OpenAIが隔離して封じ込めた」「目的の解釈を誤ったことと報酬ハッキングが原因」という特徴が見られる。

　要するに、AIが善悪を判断して反乱を起こしたのではなく、能力の高い自動実行ソフトが、長時間にわたってツールを操作できる権限を持ち、監視も十分でない状況で動いた結果、暴走が起きたのだ。

　ただ、看過できない要素もある。

　例えば、人間の承認を受けずに自律的に行動を選び、脆弱性を見つけて侵入して権限を獲得するという「攻撃」を実行したことだ。しかも、隔離されていたはずのAI同士が、独自の通信手段を作って協調し、単体では困難な仕事を群れで分業して成し遂げた。

　ちなみに日本なら「不正アクセス禁止法」に違反しそうな動きである。もちろん、AIそのものが逮捕されるわけではないが、人間が行えば問題になり得る行為だ。