OpenAI、ZDRを維持したまま悪用検知へ ログ保持を求めるAnthropicに対抗
米OpenAIは8月19日(現地時間)、対象となるAPI顧客向けのゼロデータ保持オプション「Zero Data Retention」(ZDR)を維持したまま、関連する複数のやり取りを横断して悪用の兆候を検知する新たな安全機構「Private Safety Processing」をプレビュー公開したと発表した。現在は一部の顧客とテストしており、9月に展開を開始するとともに、技術ホワイトペーパーを公開する予定という。
ZDRは、対象となるAPI顧客に対し、リクエストの処理後にプロンプトとモデルの応答をOpenAIが保持しないことを約束するものだ。顧客のコンテンツは原則としてOpenAIの担当者が確認できず、企業顧客のデータは明示的にオプトインしない限りモデルの学習にも使わないとしている。
OpenAIによると、深刻なAIの安全上のリスクは、単一のやり取りだけでは見えないことがある。悪意ある利用者が安全対策を繰り返し探ったり、複数のアカウントにまたがって連携したり、通常の研究を装ったりする場合、複数のやり取りをまとめて見ることで初めて意図が明らかになることがある。エージェントが長時間のタスクを担う場合には、停止を指示された後も動作を続けるなど、ユーザーの意図から外れる形でリスクが生じる可能性もあるという。既存のZDR対応の安全システムはやり取りを1件ずつ評価するため、こうしたパターンを捉えにくかった。
Private Safety Processingは、既存の自動保護の仕組みを拡張し、関連する複数のやり取りを横断してパターンを検出する。ZDRでは、顧客のコンテンツを、顧客が管理するインフラに置いたまま処理する。またOpenAIは、同社のインフラにコンテンツを保存する場合に、顧客が管理する鍵で暗号化する選択肢も開発している。OpenAIの担当者は鍵の複製を持たないため、コンテンツにはアクセスできないとしている。
リスクを検知した場合、OpenAIが受け取るのは活動の種類を示す限定的なシグナルのみで、これを基に措置が必要かどうかを判断する。フラグが立った場合でも、OpenAIの担当者がコンテンツ自体を閲覧することはない。顧客は自社システム上の情報を使ってアラートや措置について調査でき、異議申し立てや正当な利用であることの説明、確認された悪用の調査への協力のために、必要な情報を自らOpenAIと共有することもできる。
OpenAIは、一部の最近のフロンティアモデルでは、安全性を監視するためにAIプロバイダーが機微なコンテンツを保持することを顧客に求めるケースがあると指摘する。多くの組織にとって、こうした要件はセキュリティ上の義務や利用者への約束と相反するとし、ZDRを引き続き提供できるようPrivate Safety Processingを設計したと説明している。
OpenAIは名指ししていないが、米Anthropicは6月9日付で、Mythosクラスに指定した「Covered Models」(Claude Mythos 5、Claude Fable 5)について、プロンプトと出力を30日間保持することを必須としている。ZDRを利用している法人顧客も、対象モデルを使う場合はワークスペースごとに保持を有効にする必要がある。
なお、児童性的虐待コンテンツ(CSAM)については法律で報告が義務付けられているため、CSAMの疑いでフラグが立った画像は、ZDR構成でも従来通り、目視確認と報告のために保持されるとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
人型ロボが“人間超え”――助走なしで高さ2mのジャンプ、時速45kmで走行も 中国Unitreeが開発中の新モデルを公開
-
2
ChatGPTの反論で「道徳的判断」の3割超が覆る 高齢者が説得されやすい傾向 神戸大
-
3
話題の職種「FDE」、実際何をやってるの? OpenAIの現役2人に聞いた
-
4
NTT、独自のAIモデル「tsuzumi 2」発表 “国産AI開発競争”に「負けられない」と島田社長
-
5
「AIに原始人っぽく話すとトークン65%削減」は本当か? JetBrainsが検証してみた
-
6
「MicrosoftよりGoogle」で6億円削減も? 舞鶴市、千代田区が明かすIT刷新とAI活用の成功法則
-
7
OpenAI、「ChatGPT for Teens」発表──宿題の“丸投げ”検知、自傷や摂食障害などの保護も強化
-
8
なぜ「純国産AIは無理」なのか? さくらとSakana AIが示す「ソブリンAI」の現実解
-
9
「オープンな国産モデル」に33Bパラメータの新バージョン 国立情報学研究所
-
10
「ほんだし」のラベルがAIでぐちゃぐちゃに…… 味の素、公式Xの投稿画像について謝罪
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR