OpenAI、「Sora」の肖像悪用対策などをSystem Cardで紹介

　米OpenAIは12月9日（現地時間）、2月に発表した動画生成AI「Sora」のサブスクユーザー向け提供を開始した。これに合わせ、SoraのSystem Card（リリース前に実施した安全対策とリスク評価を概説した文書）も公開した。

　この中で、肖像の悪用やディープフェイクの防止は、特に重要な課題だとして、実在する人物の写真や動画をアップロードして動画を生成する機能は、段階的に導入していくとしている。まずは少数ユーザーに限定し、悪用のパターンを監視しながら安全対策を強化していく計画だ。

　著名人の肖像を含むプロンプトにはフラグを立て、厳重にレビューし、個人名を含むプロンプトはプライバシー保護のため、一般的な属性に置き換える。また、未成年の画像はアップロードできない。

　肖像以外の、特にヘイトコンテンツ生成などの悪用には以下のような機能で対処する。

• OpenAIのモデレーションAPIでプロンプトを分析し、違反の可能性のあるものは拒否する
• 動画生成には数秒かかるので、その間にモデレーションに特化した独自GPTモデルで高精度なチェックを実行する
• 「画像出力分類器」で、出力に有害コンテンツが含まれていないかチェックする
• DALL・Eなどでの経験に基づいて、多様なカテゴリのテキストブロックリストを維持する
• 生成されたすべての動画にC2PAメタデータを埋め込む
• 目に見える透かしを追加し、AIで生成された動画であることを明示する
• OpenAI内部の調査チームが、コンテンツがSora製かどうか評価するための“逆検索ツール”を構築している
• 厳格な使用ガイドラインを設けている
• ポリシー違反の報告機能を設けている

　OpenAIはまた、Soraには以下のような技術的な問題点があるとしている。

• 物理法則の再現が難しく、非現実的な動きが生成されることがある
• 因果関係の理解が不足し、例えばクッキーをかじっても後が残らなかったりする
• 空間的な指示を正しく理解できない場合がある
• 人物や動物が突然出現してしまうことがある

　OpenAIは、Soraの継続的な評価と、SoraのOpenAIのポリシーと安全基準への準拠をさらに向上させる取り組みを継続し、ユーザーからのフィードバックに基づいて、肖像の安全性や欺瞞的なコンテンツなどの分野でのさらなる改善を進めていくとしている。

関連記事

• 

  動画生成AI「Sora」ついに登場──OpenAIが提供　最大20秒の動画作成可能　ディープフェイク対策にも慎重

• 

  OpenAIとApollo Research、「o1」は自分の目的のために嘘をつくと報告

• 

  OpenAI、「GPT-4o」のリスク評価結果を公開　「リスクは中程度」と判断

• 

  OpenAI、テキスト→最長1分の動画の生成AI「Sora」発表　一般公開はせず