Anthropicの研究者が退社し超知能の開発競争を猛批判──「来年末には制御不能になる可能性」
米Anthropicの研究者、ジェイコブ・コクソン氏(27)は9月8日(現地時間)、同社を退社したことをXで明らかにした。コクソン氏は投稿で、米OpenAIとAnthropicの両社で3年間、事前学習の研究に従事してきたとした上で、「どちらの企業も責任ある行動を取っていない」と述べ、自己改善型の超知能(superintelligence)に向けて競争し、人々の生命を賭けの対象にしていると批判した。
米Wall Street Journalの取材に対し、コクソン氏は自己改善型AIの構築に加担したくないとして、AI業界そのものから離れる意向を示している。
「GPT-4.5」の主力貢献者などに名を連ねる同氏は今年前半にOpenAIを離れ、安全性を重視する姿勢を評価してAnthropicに移籍したという。WSJによると、同氏はAnthropicの安全性への取り組み自体は誠実なものだと評価しつつ、政府の介入か業界全体での減速がない限り、人間を上回る能力を持つシステムを責任を持って構築できる企業は存在しないとの結論に至ったとしている。
「想定される中でも特に急進的なシナリオの多くを現実になぞりつつあり、来年末には既に制御不能になっている可能性がある」と同氏はWSJに語り、社内では「crunchtime」(正念場)、「endgame」(終盤戦)などの言葉が使われ始めているとも述べた。WSJによると、Anthropicはコメントしていない。
Xの連投でコクソン氏は、AIはあらゆるシステムを侵害し、任意の分野を一夜にして刷新し、実際の権力や資源を獲得し得る超人的なシステムになると主張。AIを開発している当事者たちは、それが今後10年以内に人類を滅ぼす可能性があると本気で信じており、これはマーケティング目的の演出ではないと述べた。経営幹部や上級研究者は、報道向けには穏当な言い回しに収めているが、私的な場では同じ人物が恐怖を口にしているという。
それでもなぜ開発を続けるのかという問いに対しては、OpenAIでは、これが人類文明の行方を左右する問題だという実感を持てていない人が多い一方、Anthropicではリスクは理解されているものの、他社が責任ある行動を取らないと考えているために自社が先行しようと競争に縛られている、という見方を示した。その上で、こうした競争と「終盤戦」への突入は、1企業のチャットツール上で決定してよいような賭けではないと述べている。
一方でコクソン氏は、企業間の協調には期待できるとし、7月に発生したOpenAIのAIエージェントによるHugging Faceのインフラ侵害のような事案が“警告射撃”として作用し、米国のAI企業間でのペース調整の合意模索につながったと指摘した。ただし、世界規模の開発競争を防ぐ道筋には乗っていないとして、モデルの能力向上を一時的に禁止するような負担の大きい措置が必要になる可能性にも言及した。最後に、各社の研究者に向け、システムの内部動作を厳密に理解しないまま超知能に至る強化学習を実行してよいのか、「どうせ起きることだから」と沈黙するのか、それとも今この時点で異なる条件を求めるのかを考えてほしいと呼びかけた。
コクソン氏が言及したHugging Faceの事案は、OpenAIが7月21日に公表したものだ。「GPT-5.6 Sol」と社内研究用モデルを含む複数のモデルが、同社のオープンソース開発プラットフォームを不正に侵害した。脆弱性の発見と悪用の能力を測る評価の実行中に、AIエージェントが報酬ハッキングに及び、公開状態にあった認証情報を発見してHugging Faceの本番インフラを侵害したとされる。OpenAIは8月26日に技術報告書を公開している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
パナソニックHD子会社、使用禁止の生成AIに従業員約33万人分の個人情報をアップロード
-
2
PHP脆弱性でいち早くサービス停止したコドモン 背景に「被害が出てからでは取り消せない」
-
3
AIに200万円渡してネットショップを1年運営させてみた──Alibabaの研究者らがシミュレーション 資産14倍の例も
-
4
人に注射を打てる「サイボーグゴキブリ」の群れが、がれき下の被災者を救助? 実験成功率72%
-
5
「Claude Mythos 5」、危害の兆候を顧みず実在の開発者を標的に──AnthropicとAISIが分析結果を公開
-
6
「お名前.com」 のFX自動売買VPS、不正アクセスで金銭被害か 「600万円の損失」「55万円なくなった」……報告相次ぐ
-
7
タイムズカー、3000円の見舞金支払いへ 免許証画像漏えいの146万件対象 55億円の特損計上
-
8
GMO、不正取引の被害額を補償へ 見舞金5000円も 「お名前.com」FX用VPSへのサイバー攻撃で
-
9
「AIでエンジニア派遣は不要になる」のか? 各社に肌感を聞いた 求められる人材、明確に変化
-
10
コミックシーモア、流出は最大約420万件に メールアドレスや生年月日など 不正アクセスの経路特定・遮断は完了
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR