OpenAIを「限界点に達した」と退社したライケ氏、競合Anthropicで安全チーム結成へ

OpenAIが安全性を軽視していると批判して退社したヤン・ライケ氏が競合のAnthropic入りし、製品の安全性を監視するチームのトップになる。

[ITmedia]

　「Anthropicに参加し、スーパーアラインメントミッションを継続できて嬉しい」──米OpenAIを退社したばかりのヤン・ライケ氏は5月28日（現地時間）、Xにこうポストした。

　ライケ氏はOpenAIで、人間より賢いAIの制御を目指すSuperalignmentチームのトップをチーフサイエンティストだったイリヤ・サツケバー氏と共同で務めていた。サツケバー氏は14日に、ライケ氏は17日に退社を発表している。

ヤン・ライケ氏

　ライケ氏は退社の際、OpenAIが「安全性が輝かしい製品の開発より後回しになっている」と批判した。両氏の退社後、Superalignmentチームは解散したが、OpenAIは28日、理事会メンバーが率いる新たな安全およびセキュリティ委員会の設立を発表した。

　ライケ氏はポストで、「私の新しいチームは、スケーラブルな監視、弱い一般化から強い一般化への移行、自動化されたアライメントの研究に取り組む」と語った。

　AhtrhopicのClaudeによると、「弱い一般化から強い一般化への移行」とは、「機械学習モデルが訓練データに過剰に適応するのを防ぎ、より一般的な問題に対処できるようになることを意味し」、「自動化された整列研究」は「AIシステムが人間の価値観や倫理観と整合するように設計されるプロセスを自動化すること」という。

　Anthropicの求人広告によると、このチームは「Alignment Science」チームになるようだ。

　Anthropicは2021年創業のカリフォルニア州サンフランシスコに拠点を置く非公開企業。共同創業者でCEOのダリオ・アモディ氏は米Googleでディープラーニング関連の研究者を経て2016年に米OpenAI入りし、GPT-3開発担当の副社長を務めた後、Anthropicを立ち上げた。共同創業者のトム・ブラウン氏はOpenAIでGPT-3開発の中心的存在だったエンジニアだ。アモディ氏は、OpenAIの商業重視をめぐる意見の相違からOpenAIを去ったと報じられている。

Anthropicの企業目標