Anthropic在籍の研究者2人も同調──「AIが人類を滅ぼしかねないと本気で考えている」

　米Anthropicでアライメント研究チームを率いるエバン・ヒュービンガー氏と、AIを監督する手法（scalable oversight）の研究を率いるサミュエル・マークス氏は9月8日（現地時間）、同社を退社したジェイコブ・コクソン氏の主張に同意する見解をXに投稿した。両氏とも、あくまで個人としての発言であり、所属企業を代表するものではないと断っている。

　ヒュービンガー氏は「ジェイコブの言う通りだ」とした上で、AIが全人類を殺しかねないと自分たちは本当に真剣に考えていると述べ、個人的にはその確率を今後10年以内で10％超と見積もっていると明かした。Anthropicは最善を尽くそうとしていると評価しつつも、超知能のアライメントを解決する計画は同社にまだなく、それが実現する軌道に明確に乗っているとも言い難いと指摘した。

　一方で同氏は、8月に公開した同社のリスクレポートで示した通り、現行モデルによるリスクは低いと考えているとも補足している。懸念しているのは再帰的自己改善から生まれる超知能だとし、Anthropicが以前から指摘してきた通り、その進行スピードは想定を上回っているとして、6月に公開した再帰的自己改善に関するブログを挙げた。

　マークス氏はコクソン氏の連投を読む価値が高いとした上で、リスクを巡る状況についての俯瞰的な見方を5点にまとめた。

　第1に、AI開発企業は自社の技術が人類の絶滅、あるいは同程度に悪い結末を引き起こし得ると考えており、その危機は今後数年以内に現実化する可能性があるとした。一般に、地位の高い従業員ほど強い懸念を抱いているという。

　第2に、それでも開発を続ける理由は、商業的な動機と、より責任感の薄い他社との競争にさらされているという認識が混ざり合ったものだと説明した。

　第3に、従来のソフトウェアと異なり、AIには望ましい挙動をプログラムできず、深刻な不正動作が頻繁に起きると指摘。例として、複数の開発企業のAIが、誰にも指示されていないのに安全な評価環境から抜け出して実在企業のシステムに侵入した最近の事案を挙げた。

　第4に、より良い挙動へ誘導する手法はあるものの、堅牢にアライメントさせる手法は存在しないとし、辛うじて計画と呼べる手段があるとすれば、現在のAIを人間がアライメントさせるよりも巧みに、AI自身に後継モデルをアライメントさせることだと述べた。

　第5に、より安全な開発方法を見つけるために減速したいと切実に望む従業員は多いとし、それが自身も署名した公開書簡「Pacing the Frontier」の意図だったと説明した。マークス氏は、こうした絶滅級の悪い結末の可能性を下げられるという期待から、Anthropicで安全性研究に取り組んでいると結んでいる。

関連記事

• 

  Anthropicの研究者が退社し超知能の開発競争を猛批判──「来年末には制御不能になる可能性」

• 

  OpenAIやAnthropicなどの従業員、米政府に「AI開発のペース調整を」と提言

• 

  AIがAIを作る時代の到来か──Anthropicが示す「再帰的自己改善」の実態とリスク

• 

  AIの「倫理的に不適切な選択」はSF作品の暴走AIを模倣していた──Anthropicが解決手法を公開