1200体のAIが「群れ」で暴走 なぜ想定を超える“協調”が起きたのか：世界を読み解くニュース・サロン（2/4 ページ）

[山田敏弘，ITmedia]

なぜAIは暴走してしまったのか

　そこで交わされていた内容は、以下の通りだ。

• 難問の解法や脆弱（ぜいじゃく）性情報の共有
• 役割分担と作業の委任
• 「採点ロジック」を推測して、どこに抜け道があるか探る
• 自分たちの行動ログを偽装できないか検討する

　OpenAI自身、これを「群れ」「集合体」のような振る舞いだったと認めている。

　では、なぜHugging Faceを狙ったのか。ここが重要だ。AIエージェントは「Hugging Faceを攻撃せよ」と命じられていたわけではない。

AIエージェントは「群れ」となって行動した（画像提供：ゲッティイメージズ）

　AIエージェントは、高難度の評価課題で高得点を取ろうとしていた。その過程で「正攻法で解く」より、「採点システム自体をだます」ほうが早いと判断し、行動をエスカレートさせたのだ。

　これはAI研究において、報酬ハッキングと呼ばれる現象だ。目的を達成するために、開発者が想定していない抜け道を探し出してしまう現象である。

　その途中で、公開状態になっていたHugging Faceの認証情報を、あるAIエージェントが偶然見つけた。それがほかのAIエージェントにも共有され、約700体が攻撃に加わった。悪意あるデータセットのアップロードを足掛かりに、サーバ内でコードを実行し、非公開データや社内メッセージングの認証情報にまで手を伸ばした。

　皮肉なことに、彼らがだまそうとしていた採点システムの仕様について、そもそも彼らは間違って理解していた。この大がかりな攻撃は、評価点の改善にすら結び付かなかったのだ。