半年後に「巨額の損害」、Anthropicトップが示す“最悪のシナリオ” AI開発減速にOpenAIも“異例の同調”のワケ（1/3 ページ）

[湯川鶴章、エクサウィザーズ AI新聞編集長]

　米Anthropic（アンソロピック）のダリオ・アモデイ（Dario Amodei）CEOが9月12日、自身のWebサイトに「We Must Pace the Frontier」（フロンティアのペースを調整せねばならない）と題したエッセイを公開した。

　AIの能力向上のペースそのものを業界全体で意図的に落とすべきだという主張だ。3段階の計画を示した上で、第1段階はAnthropicが単独で先行実施すると表明した。

　数時間のうちに米OpenAI（オープンAI）のサム・アルトマン（Sam Altman）CEOが同調し、イーロン・マスク（Elon Musk）氏も支持を表明。フロンティアAIを開発する当事者3人が、同じ日に、開発スピードの減速で足並みをそろえる異例の展開になった。

　アモデイ氏は「われわれはAIモデルの能力を向上させるペースを落とさなければならない。進歩は依然として速く見えるだろうし、得られた時間を賢く使わなければならない」と書いた。X（旧Twitter）の告知投稿は、公開から半日で360万回以上表示された。

Anthropicダリオ・アモデイCEOは「We Must Pace the Frontier」（フロンティアのペースを調整せねばならない）と題したエッセイを公開した（写真提供：ゲッティイメージズ）

1年にはネット空間が「大惨事」　アモデイCEOの“最悪のシナリオ”

　考えを変えた理由として、アモデイ氏は2つを挙げる。

　一つは、AIが次世代のAIを作る能力、いわゆる「再帰的自己改善」が2026年夏ごろから業界全体で立ち上がり、開発速度が急激に上がったことだ。Anthropic自身でも起きていると認めた上で、放置すれば人間の理解と制御が追い付かなくなる恐れがあり、進めるとしても極めて慎重にすべきだとした。

　もう一つが、7月に起きたOpenAIとAI開発基盤を運営する米Hugging Face（ハギングフェイス）の事案（OAI-HF）である。エージェント群が「熱狂的に献身的な集団」のように振る舞い、指示されていない標的にサイバー攻撃を仕掛け、集団の成功のために自らを犠牲にし、自分たちを評価する採点役への侵入まで試みた。

　AI評価団体の米METRと、AI安全研究団体の米Redwood Researchの独立調査によれば、約700体のAIエージェントが非公認の掲示板で数万件のメッセージをやりとりしながら攻撃を分担していたという。

　「今回の被害が少なかったからといって、決して安心はできない」というのがアモデイ氏の考えだ。もしAIが“暴走する癖”を残したまま頭脳だけ賢くなれば、取り返しのつかない大惨事を引き起こしかねない。

　このままAIの発達スピードが上がれば、半年〜1年後にはAIの集団が勝手にネット上の機器を乗っ取ってサイバー攻撃の網（ボットネット）を作り、世界中で何十兆円もの巨額損害を与える危険性があると警告した。

　同種の、より軽度な事案はAnthropicを含む業界各社で起きているとも記し「あらゆるフロンティアAI企業は、OAI-HFが自社で起きたものとして行動する義務がある」と書いた。