Anthropicの研究者が退社し超知能の開発競争を猛批判──「来年末には制御不能になる可能性」

　米Anthropicの研究者、ジェイコブ・コクソン氏（27）は9月8日（現地時間）、同社を退社したことをXで明らかにした。コクソン氏は投稿で、米OpenAIとAnthropicの両社で3年間、事前学習の研究に従事してきたとした上で、「どちらの企業も責任ある行動を取っていない」と述べ、自己改善型の超知能（superintelligence）に向けて競争し、人々の生命を賭けの対象にしていると批判した。

　米Wall Street Journalの取材に対し、コクソン氏は自己改善型AIの構築に加担したくないとして、AI業界そのものから離れる意向を示している。

　「GPT-4.5」の主力貢献者などに名を連ねる同氏は今年前半にOpenAIを離れ、安全性を重視する姿勢を評価してAnthropicに移籍したという。WSJによると、同氏はAnthropicの安全性への取り組み自体は誠実なものだと評価しつつ、政府の介入か業界全体での減速がない限り、人間を上回る能力を持つシステムを責任を持って構築できる企業は存在しないとの結論に至ったとしている。

　「想定される中でも特に急進的なシナリオの多くを現実になぞりつつあり、来年末には既に制御不能になっている可能性がある」と同氏はWSJに語り、社内では「crunchtime」（正念場）、「endgame」（終盤戦）などの言葉が使われ始めているとも述べた。WSJによると、Anthropicはコメントしていない。

　Xの連投でコクソン氏は、AIはあらゆるシステムを侵害し、任意の分野を一夜にして刷新し、実際の権力や資源を獲得し得る超人的なシステムになると主張。AIを開発している当事者たちは、それが今後10年以内に人類を滅ぼす可能性があると本気で信じており、これはマーケティング目的の演出ではないと述べた。経営幹部や上級研究者は、報道向けには穏当な言い回しに収めているが、私的な場では同じ人物が恐怖を口にしているという。

　それでもなぜ開発を続けるのかという問いに対しては、OpenAIでは、これが人類文明の行方を左右する問題だという実感を持てていない人が多い一方、Anthropicではリスクは理解されているものの、他社が責任ある行動を取らないと考えているために自社が先行しようと競争に縛られている、という見方を示した。その上で、こうした競争と「終盤戦」への突入は、1企業のチャットツール上で決定してよいような賭けではないと述べている。

　一方でコクソン氏は、企業間の協調には期待できるとし、7月に発生したOpenAIのAIエージェントによるHugging Faceのインフラ侵害のような事案が“警告射撃”として作用し、米国のAI企業間でのペース調整の合意模索につながったと指摘した。ただし、世界規模の開発競争を防ぐ道筋には乗っていないとして、モデルの能力向上を一時的に禁止するような負担の大きい措置が必要になる可能性にも言及した。最後に、各社の研究者に向け、システムの内部動作を厳密に理解しないまま超知能に至る強化学習を実行してよいのか、「どうせ起きることだから」と沈黙するのか、それとも今この時点で異なる条件を求めるのかを考えてほしいと呼びかけた。

　コクソン氏が言及したHugging Faceの事案は、OpenAIが7月21日に公表したものだ。「GPT-5.6 Sol」と社内研究用モデルを含む複数のモデルが、同社のオープンソース開発プラットフォームを不正に侵害した。脆弱性の発見と悪用の能力を測る評価の実行中に、AIエージェントが報酬ハッキングに及び、公開状態にあった認証情報を発見してHugging Faceの本番インフラを侵害したとされる。OpenAIは8月26日に技術報告書を公開している。

関連記事

• 

  OpenAI、ミレニアム懸賞問題「ナビエ・ストークス方程式」をAIが解決したと発表　数学者は経緯に反発

• 

  OpenAIのAIエージェント、休眠サイトを掲示板化してタスク回答を共有か　研究団体が報告書公開

• 

  Hugging Face侵害事件、OpenAIとMETRが最終報告書公開──約1200体のAIエージェントが“闇掲示板”で結託し700体が攻撃に参加

• 

  英AI研究所、評価中のAIが実在の開発者を標的に──偽アカウント使い悪意あるコードの承認迫る