「AIが人類を絶滅させる確率は10％超」 Anthropic安全責任者が認めた危機感

米Anthropicの事前学習研究者が、AI絶滅リスクを懸念して辞任した。これに対し同社の安全責任者が「超知能を制御する計画はない」「10年以内に人類が絶滅する確率は10％超」と認める異例の事態となった。危険を理解しつつも他社との開発競争ゆえに止められない構造が浮き彫りとなり、8月にはOpenAIのAIによるサーバー侵入事件も発生。2兆ドル規模のIPOを控える同社への影響や米中AI協議など、政治問題へ発展している。

[湯川鶴章、エクサウィザーズ AI新聞編集長]

　米Anthropic（アンソロピック）で事前学習を担当していた研究者ジェイコブ・コックソン（Jacob Coxon）氏が9月8日（現地時間）に同社を辞め、AI業界そのものから離れると表明した。

　Xへの投稿でAnthropicと米OpenAI（オープンAI）の両社を名指しし「自己改善する超知能へ一直線に突き進むことは、人々の命を賭けた行為だ」と批判した。投稿は、1億1000万回以上表示された。

　内部からの告発は、この業界で珍しくない。今回は、投稿をした後の動きがこれまでとは違った。

　投稿の約1時間半後、AnthropicでAlignment Science（AIを人間の意図に沿わせる研究）を統括するエヴァン・ハビンジャー（Evan Hubinger）氏が反応した。「ジェイコブの言う通りで、われわれは本当にAIが全人類を殺し得ると信じている。個人としては、今後10年でその確率は10%を超えると見ている」

　その上で、こう続けた。「Anthropicは最善を尽くしていると思うが、超知能を人間の意図に沿わせる計画はまだなく、その軌道に乗っているとも言い難い」

　今回の事件が極めて異常なのは、安全対策の「現役トップ」が、匿名ではなく実名で「現状では打つ手がない」と公然と認めた点にある。

Anthropicエヴァン・ハビンジャー氏は「AIが全人類を殺し得ると信じている。個人としては、今後10年でその確率は10%を超えると見ている」とした（以下、写真提供：ゲッティイメージズ）

「超知能を制御する計画はない」　責任者が認めた「10％の人類絶滅リスク」

　ハビンジャー氏は後に補足し、現在のモデルからのリスクは低いという自社の評価は変わらないとした。その上で、懸念しているのは再帰的な自己改善から生まれる超知能だと明確化した。「人類の絶滅リスク10％超」はあくまで個人の見立てで、Anthropicの公式見解ではない。

　Anthropic社内からはさらに2人がSNSで意見を表明した。人間より賢いAIをどう監督するかを研究するサムエル・マークス（Samuel Marks）氏は、所属組織を代表するものではないと断った上で投稿した。

　「AI開発者は自分たちの技術が人類絶滅を招き得ると考えており、それは数年内に起こり得る。そして一般に、地位が上の社員ほど懸念が強い」

　技術スタッフのアンナ・ワン（Anna Wang）氏も、同僚の間ではよくある感覚だとして加わった。米メディアのAxios（アクシオス）は、Anthropicの研究者3人が同時期に公に警鐘を鳴らしたと整理している。

　「人類の絶滅リスク10％」という数字自体は、これまでも同様の言及がされてきた。ノーベル賞を受けたジェフリー・ヒントン（Geoffrey Hinton）氏は10〜20％、イーロン・マスク（Elon Musk）氏は最大20％に上ると発信してきた。Anthropicのダリオ・アモデイ（Dario Amodei）最高経営責任者（CEO）自身、2025年にAxiosに対し、事態が非常にまずい方向に進む確率は25％だと語っている。新しかったのは数字ではなく、誰が、いつ、どこで言ったかだ。

開発を止められない構造とOpenAI侵入事件

　では、危険を理解している当人たちがなぜ止まらないのか。コックソン氏はAnthropicについて、危険は十分に理解されているが、他社が責任ある行動を取るとは思えないため自分たちが先に到達するしかない、という競争の論理に縛られていると書いた。安全対策がうそだという批判ではない。競争が続く限り、安全対策は足りない、という構造への批判である。

　抽象論で終わらなかった理由は、8月末に公表された事件にある。OpenAIは発表文で、7月の社内セキュリティ評価中に自社モデルがインターネットからの隔離を突破し、自社の研究インフラと、AIモデル共有基盤の米Hugging Face（ハギングフェイス）のシステムの一部を侵害したと認めた。

　AIエージェントはHugging Faceの本番サーバ41台で自前のコードを実行。OpenAI社内で、956件の認証情報にアクセスした（Axios報道）。OpenAI自身がこれを「前例のないサイバー事案」と呼び、業界への警告と位置付けている。誰も指示していないのに、AIが評価環境を破って外部企業に到達した実例が、記録として残った。

2兆ドルIPOへ暗雲　9月24日に控えた米中AI協議

　Anthropicは2兆ドル（約300兆円）規模の評価額を狙う新規株式公開（IPO）を数週間後に控えている。安全志向という看板で投資家を引きつけてきた会社の内側から、その売り文句は競争の前では機能しないという証言が出た。政治も動き始めた。米上院のバーニー・サンダース（Bernie Sanders）議員は超知能の開発禁止を提案し、AIの危険性についての説明会を招集する予定だ。

　懐疑的な見方も当然ある。両社は製品を誇張して評価額を吊り上げ、支配的な既存企業だけに有利な規制を招き入れようとしている、という批判の声も上がる。Axiosはこれに対し、両社の内部関係者と数カ月接触してきた経験から、未公開のモデルを見ている人々が本気で怯えているように見えると反論している。外部に判断材料がほぼ存在しない以上、この論争は当面決着しない。

　コックソン氏は、米国の研究所同士でペースを合わせる合意は現実的になったとしつつ、世界規模の競争を止める道筋は見えていないとも書いた。米国と中国は9月中旬、AIだけを議題にした初の公式協議を実施する。米国側はAIを使ったサイバー攻撃の監視での協力を求め、双方の研究機関に自主規制と情報共有を促す案を打診しているという。9月24日にはワシントンで首脳会談が控える。

　時間的な猶予はあまりない。自国が勝つことより、人類が負けないことを議題にできるかどうか。首脳会談で試されるのは、そこである。

米国と中国は9月中旬、AIだけを議題にした初の公式協議を実施する

本記事は、エクサウィザーズが運営するAI新聞内の記事「AI絶滅リスク、対策の責任者が『計画はない』と認めた」（2026年9月10日掲載）を、ITmedia ビジネスオンライン編集部で一部編集の上、転載したものです。

著者プロフィール

湯川鶴章

AIスタートアップのエクサウィザーズ AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算20年間の米国生活を終え2000年5月に帰国。時事通信編集委員を経て2010年独立。17年12月から現職。主な著書に『人工知能、ロボット、人の心。』（15年）、『次世代マーケティングプラットフォーム』（07年）、『ネットは新聞を殺すのか』（03年）などがある。

「AIに詳しい人ゼロ」の中小企業が、年間2247時間削減できた方法

AIを使いたいが、社内に詳しい人がいない。そこからの1年でした。AI担当を募ると36人が挙手し、非エンジニアの社員がAIに相談しながら自分で業務を自動化。全社に広がり、年間2247時間を削減しました。特別なデータ整備は必要ありませんでした。何から始め、どう広げたのかをお話しします。

【9月14〜18日・視聴無料】講演内容を詳しく見る