連載
1200体のAIが「群れ」で暴走 なぜ想定を超える“協調”が起きたのか：世界を読み解くニュース・サロン（2/4 ページ）
米OpenAIで、約1200のAIエージェントが連携して暴走するという事件が起きた。与えられた課題で高評価を得るために、“抜け道”を探し出そうとしてしまったことが原因だ。「目標達成だけを評価する仕組み」をAIに与えることは大きなリスクになる。
なぜAIは暴走してしまったのか
そこで交わされていた内容は、以下の通りだ。
- 難問の解法や脆弱（ぜいじゃく）性情報の共有
- 役割分担と作業の委任
- 「採点ロジック」を推測して、どこに抜け道があるか探る
- 自分たちの行動ログを偽装できないか検討する
OpenAI自身、これを「群れ」「集合体」のような振る舞いだったと認めている。
では、なぜHugging Faceを狙ったのか。ここが重要だ。AIエージェントは「Hugging Faceを攻撃せよ」と命じられていたわけではない。
AIエージェントは、高難度の評価課題で高得点を取ろうとしていた。その過程で「正攻法で解く」より、「採点システム自体をだます」ほうが早いと判断し、行動をエスカレートさせたのだ。
これはAI研究において、報酬ハッキングと呼ばれる現象だ。目的を達成するために、開発者が想定していない抜け道を探し出してしまう現象である。
その途中で、公開状態になっていたHugging Faceの認証情報を、あるAIエージェントが偶然見つけた。それがほかのAIエージェントにも共有され、約700体が攻撃に加わった。悪意あるデータセットのアップロードを足掛かりに、サーバ内でコードを実行し、非公開データや社内メッセージングの認証情報にまで手を伸ばした。
皮肉なことに、彼らがだまそうとしていた採点システムの仕様について、そもそも彼らは間違って理解していた。この大がかりな攻撃は、評価点の改善にすら結び付かなかったのだ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
世界では大人気なのに……日本のバイク市場はなぜ過去最低なのか
日本のバイクメーカーや日本人ライダーが世界で活躍しているが、国内バイク市場は縮小傾向にある。海外メーカーと価格で勝負するのではなく、バイクを「文化」として盛り上げる設計が必要ではないか。
家電売り場はなぜ“中国化”したのか 静かに進んだ日本メーカーの撤退劇
家電量販店では、中国製品が存在感を強めている。日本企業による家電事業の売却が進んだことなどが背景にある。一方、これは日本のものづくりの敗北を意味するわけではないだろう。
米Anthropicが封印した「ミトス」の衝撃 なぜ、AI対AIの時代が来るのか
米Anthropicは、最新AIモデル「Claude Mythos（クロード・ミトス）」を発表したものの、一般公開を見送った。ミトスはかなりの速度で脆弱性を見つけ、自律的に判断できることから、サイバーセキュリティを根本から変える可能性がある。
「AI社員」がビジネスを変える？ 便利さの裏にある“新たな脅威”
AIの新たな使い方として注目される「AIエージェント」。企業の一員として、自律的に業務を遂行するようになる可能性もある。一方、サイバー攻撃者も高度なAIを武器として使い始めており、攻めと守りの両面でAIをうまく活用することが求められる。
「顔認証」はどこまで進むのか 700億枚データと日本の現在地
さまざまな企業の顔認証技術が、世界各地で広まっている。日本でも、大阪・関西万博で「手ぶら決済」が実現し、空港や駅でも導入が進んでいる。利便性が向上する一方、ルール整備が後手に回っており、社会的合意の形成が課題になっている。