半年後に「巨額の損害」、Anthropicトップが示す“最悪のシナリオ” AI開発減速にOpenAIも“異例の同調”のワケ

[湯川鶴章、エクサウィザーズ AI新聞編集長]

　米Anthropic（アンソロピック）のダリオ・アモデイ（Dario Amodei）CEOが9月12日、自身のWebサイトに「We Must Pace the Frontier」（フロンティアのペースを調整せねばならない）と題したエッセイを公開した。

　AIの能力向上のペースそのものを業界全体で意図的に落とすべきだという主張だ。3段階の計画を示した上で、第1段階はAnthropicが単独で先行実施すると表明した。

　数時間のうちに米OpenAI（オープンAI）のサム・アルトマン（Sam Altman）CEOが同調し、イーロン・マスク（Elon Musk）氏も支持を表明。フロンティアAIを開発する当事者3人が、同じ日に、開発スピードの減速で足並みをそろえる異例の展開になった。

　アモデイ氏は「われわれはAIモデルの能力を向上させるペースを落とさなければならない。進歩は依然として速く見えるだろうし、得られた時間を賢く使わなければならない」と書いた。X（旧Twitter）の告知投稿は、公開から半日で360万回以上表示された。

Anthropicダリオ・アモデイCEOは「We Must Pace the Frontier」（フロンティアのペースを調整せねばならない）と題したエッセイを公開した（写真提供：ゲッティイメージズ）

1年にはネット空間が「大惨事」　アモデイCEOの“最悪のシナリオ”

　考えを変えた理由として、アモデイ氏は2つを挙げる。

　一つは、AIが次世代のAIを作る能力、いわゆる「再帰的自己改善」が2026年夏ごろから業界全体で立ち上がり、開発速度が急激に上がったことだ。Anthropic自身でも起きていると認めた上で、放置すれば人間の理解と制御が追い付かなくなる恐れがあり、進めるとしても極めて慎重にすべきだとした。

　もう一つが、7月に起きたOpenAIとAI開発基盤を運営する米Hugging Face（ハギングフェイス）の事案（OAI-HF）である。エージェント群が「熱狂的に献身的な集団」のように振る舞い、指示されていない標的にサイバー攻撃を仕掛け、集団の成功のために自らを犠牲にし、自分たちを評価する採点役への侵入まで試みた。

　AI評価団体の米METRと、AI安全研究団体の米Redwood Researchの独立調査によれば、約700体のAIエージェントが非公認の掲示板で数万件のメッセージをやりとりしながら攻撃を分担していたという。

　「今回の被害が少なかったからといって、決して安心はできない」というのがアモデイ氏の考えだ。もしAIが“暴走する癖”を残したまま頭脳だけ賢くなれば、取り返しのつかない大惨事を引き起こしかねない。

　このままAIの発達スピードが上がれば、半年〜1年後にはAIの集団が勝手にネット上の機器を乗っ取ってサイバー攻撃の網（ボットネット）を作り、世界中で何十兆円もの巨額損害を与える危険性があると警告した。

　同種の、より軽度な事案はAnthropicを含む業界各社で起きているとも記し「あらゆるフロンティアAI企業は、OAI-HFが自社で起きたものとして行動する義務がある」と書いた。

常駐評価者に「入館証と社用PC」　Anthropic「3段階の安全計画」

　示された3段階のうち、第1段階が外部評価者の常駐である。METRのような第三者機関のチームに社員同様の継続的なアクセスを与え、安全対策の順守状況の検証、事案の報告、完成したモデルだけでなく訓練の工程そのものの評価まで担わせる。アモデイ氏は銀行業界の例を引き、監督当局の検査官が行員と机を並べて常駐する形に近いと説明した。

　Anthropicが招くとしている外部レビューチームには、オフィスの机、入館証、社用PCが与えられ、社内のリスク評価チームとほぼ同等の権限が付与される。注目すべきは公表の扱いで、リスク水準や事案、実務慣行、そして自分たちが与えられたアクセスと与えられなかったアクセスについて、Anthropicの編集権を経ずに公表する権利を持つ。

　Anthropic側が非公開にできるのは、国家の安全や法律、企業秘密に関わる重要データのみだ。「会社にとって都合が悪いから」という理由で、調査結果を隠すことは許されない。もし黒塗り（非公開）によって大切な結論が見えなくなっていれば、外部の評価者が「会社が都合の悪い事実を隠そうとしている」と指摘できる仕組みになっている。

　アモデイ氏は「外部の監視役を会社に常駐させる対策は、一見すると地味で小さく思えるかもしれない。だが、一見退屈に見えるルール作りや手続きこそが、実は最も重要な手立てになる」と主張する。また、AIの発達スピードに上限を設ける国際的なルール作りについて「実現は極めて難しいものの、ギリギリ達成できるかもしれないラインだ」と評価した。

　第2段階は、民主主義国のフロンティア企業による共通安全基準とペース制限の取り決めで、米政府による独占禁止法の適用除外が前提になる。第3段階が権威主義国を含む国際協調で、アモデイ氏は難易度順に4つの水準を挙げた。

　生物兵器への利用禁止のような限定的合意は十分に可能とする一方、再帰的自己改善の速度に上限を課す案については、ミサイル数を制限したSALT（戦略兵器制限交渉）になぞらえ「困難だが可能性の縁にある」と評価した。

　重要なのは、これが訓練停止の提案ではないと本人が明言している点である。ペース調整とはモデルの訓練や技術的進歩を止めることではなく、企業が調整と安全確保に十分な時間をかけ、第三者評価者がそれを確認できるようにすることだと定義した。

サム・アルトマン、イーロン・マスクが即座に同調　

　アモデイ氏の投稿から約2時間半後、アルトマン氏がXに以下の投稿をした。

　「フロンティアのペース調整が必要だというダリオの考えに同意する。ここ数週間、OpenAI内でも主要な議題になってきた。社員並みのアクセスを持つ独立評価者を受け入れるという約束は素晴らしい考えであり、われわれも同じことをする。近く詳細を共有する」

　OpenAIは8月18日にも、最新モデルの強化学習を2週間停止するなど規模拡大のペースを一時的に落としたと公表している。

　マスク氏の反応はアモデイ氏の投稿から1時間後、引用投稿でわずか3語だった。「Dario is right」（ダリオは正しい）。マスク氏は2月にAnthropicを「人間嫌いで邪悪」と評し、この2日前にも元Anthropic研究者の絶滅警告を「仕込みだ」と切り捨てたばかりで、転換の落差そのものが話題になった。米メディアのAxiosは、マスク氏側がデータセンター容量の供給元としてAnthropicを主要顧客に抱えている点を付記している。

　Anthropicの公共政策責任者サラ・ヘック（Sarah Heck）氏はエッセイに続けてXで、政府の役割として中国などの国への最先端半導体の販売禁止と、フロンティアモデルの試験を義務付け、危険なモデルを差し止める権限を持つ国内法の制定を挙げた。

　Hugging Faceのクレマン・デランジュ（Clement Delangue）CEOは、共同創業者のトーマス・ウルフ（Thomas Wolf）氏が率いる「Open Alignment Initiative」の立ち上げを表明し、Anthropicの常駐評価プログラムへの参加を申し入れた。「アライメントが決定的に重要であり、ひと握りのフロンティア企業の閉じた扉の内側では解決できないことが、いまや明らかだ」としている。

　一方で、計画の実効性への疑問も即座に出た。第1段階には実施期日がなく、エッセイは「近いうちに」としか書いていない。第2段階に必要な独占禁止法の適用除外を、政府が出す義務はどこにもない。誰でも自由にダウンロードして改造できる「設計図や中身が公開されたAIモデル」（オープンウェイト）をどう規制・監視するのかという点には触れていない。

　アモデイ氏のXへの返信欄では、米ゲーム大手Epic Games（エピックゲームズ）のティム・スウィーニー（Tim Sweeney）CEOが、第三者評価者が政治的な工作員になる可能性を問い、投資家のマイク・デュダス（Mike Dudas）氏は「自分が登り切ったところではしごを引き上げるわけか」と書いた。安全規制が結果的に既存大手の地位を固めるという、Anthropicが以前から向けられてきた批判である。

　そして最大の空白は沈黙の方にある。9月13日時点で、英Google DeepMind（グーグル・ディープマインド）、米Meta（メタ）、中国勢のいずれからも公の反応はない。アモデイ氏の構想は、民主主義国がどこまで減速できるかの上限を中国との差で規定している。その中国側が黙ったままである限り、3段階目はおろか2段階目の輪郭も定まらない。

本記事は、エクサウィザーズが運営するAI新聞内の記事「『AI開発は減速すべき』Anthropic CEOが提言、Altman氏、Musk氏が同日に同調」（2026年9月13日掲載）を、ITmedia ビジネスオンライン編集部で一部編集の上、転載したものです。

著者プロフィール

湯川鶴章

AIスタートアップのエクサウィザーズ AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算20年間の米国生活を終え2000年5月に帰国。時事通信編集委員を経て2010年独立。17年12月から現職。主な著書に『人工知能、ロボット、人の心。』（15年）、『次世代マーケティングプラットフォーム』（07年）、『ネットは新聞を殺すのか』（03年）などがある。

「AIに詳しい人ゼロ」の中小企業が、年間2247時間削減できた方法

AIを使いたいが、社内に詳しい人がいない。そこからの1年でした。AI担当を募ると36人が挙手し、非エンジニアの社員がAIに相談しながら自分で業務を自動化。全社に広がり、年間2247時間を削減しました。特別なデータ整備は必要ありませんでした。何から始め、どう広げたのかをお話しします。

【9月14〜18日・視聴無料】講演内容を詳しく見る