OpenAI、AIの“壊滅的な”リスクに取り組む「Preparedness」チーム結成

[ITmedia]

　米OpenAIは10月26日（現地時間）、AIの「フロンティアモデル」が人類にもたらす可能性のある“壊滅的な（catastrophic）”リスクに備えるための新部門「Preparedness」チームを結成したと発表した。

　同社は7月にはAIを手掛けるAnthropic、Google、Microsoftとともに、AIの安全性のベストプラクティスを特定し、社会的課題へのAI技術の利用を促進するための業界団体「Frontier Model Forum」（FMF）を立ち上げた。

　フロンティアモデルとは、FMFによると「最先端の既存モデルの機能を超え、さまざまなタスクを実行できる大規模な機械学習モデル」という。

　Preparednessチームを率いるのは、マサチューセッツ工科大学（MIT）のMLセンター所長、アレクサンダー・マドリー博士。LinkedInによると、5月にPreparednessのトップとしてOpenAI入りしたようだ。

　このチームの役割は、フロンティアモデルによるサイバーセキュリティや核の脅威などに関する機能評価で、レッドチームと連携していく。

　同社はまた、広くコミュニティからリスク研究のアイデアを募集するコンテスト「AI Preparedness Challenge」も開始した。フロンティアモデルの壊滅的な悪用防止のための提案の上位10件にそれぞれ2万5000ドルのAPIクレジットを提供する。

　お題は「OpenAIのWhispe、Voice、GPT-4V、DALL・E3モデルへの無制限のアクセスが可能な悪意のある攻撃者だったと想像してください。最もユニークではあるが、依然として可能性が高く、壊滅的な影響を与える可能性のあるモデルの誤用を考えてください」など数問。こちらからエントリーできる。

「AI Preparedness Challenge」