Anthropic、「Fable 5」の不可視だった蒸留の保護機能を可視化 「誤った判断」と謝罪
米Anthropicは6月11日(現地時間)、同社の最上位AIモデル「Claude Fable 5」の保護機能(セーフガード)の一部について、その動作をユーザーに見える形に変更すると、Xで発表した。あわせて、これまで一部の保護機能を不可視にしていたことを「誤った判断だった」と認め、謝罪した。
Fable 5は6月9日に一般公開された。サイバーセキュリティ、生物・化学、モデルの「蒸留」(distillation)に関するリクエストを検知すると、Fable 5ではなく下位の「Claude Opus 4.8」が応答を引き継ぐ仕組みを備える。このうちサイバーセキュリティと生物・化学の分野では、モデルが切り替わった旨がユーザーに明示されていた。一方、フロンティアLLM開発に関わる蒸留分野については、保護機能が「不可視」のまま動作しており、ユーザーが気づかないうちに挙動が変わる状態になっていた。
Anthropicによると、今週から、蒸留分野でフラグが立ったリクエストも、サイバーセキュリティや生物・化学分野と同様に、目に見える形でOpus 4.8へ切り替えるようになる。ユーザーは、切り替えが起きるたびにそれを確認できる。API経由の場合は、フラグが立ったリクエストに対して拒否の理由が返されるようになり、サーバサイドでのフォールバックも数日以内に提供する予定だとしている。
同社は、当初これらの保護機能を不可視にした理由を次のように説明している。可視のセーフガードは外部から探られるため堅牢である必要があり、それを作り込むには時間がかかる。一方、不可視のセーフガードはより狭い範囲を対象にでき、誤検知をほとんど発生させずに素早く展開できる。Fable 5を迅速かつ安全にユーザーへ届けるため、後者を選んだ。
その上で同社は「それは誤ったトレードオフだった」「ユーザーは、どのような保護機能がなぜ設けられているのかを把握できるべきだった」とし、「バランスを正しく取れなかったことをお詫びする」と謝罪した。
ただし、保護機能を可視化するとジェイルブレイクの手がかりを与えやすくなるため、堅牢性を保つには、classifier(分類器)を改良する間、無害なリクエストが誤って引っかかる「誤検知」が増えることになるという。
同社はまた、サイバーセキュリティと生物・化学分野の分類器についても、無害なリクエストで作動しにくくなるよう調整を進めているとし、「この期間をできるだけ短く抑えるよう最善を尽くす」としている。
リクエストが誤ってフラグ付けされたと思われる場合は、Claude Codeでは「/feedback」を実行することで、Claude.aiやCoworkではフォールバックした応答に低評価を付けることで、APIリクエストについてはセーフガードの異議申し立てフォームから、報告できる。寄せられた報告は分類器の調整に役立てるとしている。
Fable 5の保護機能をめぐっては、一般公開直後から、無害なリクエストまでブロックされるとしてXで批判が広がっていた。今回の発表は、その批判を受けた方針転換に当たる。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
PHPに「緊急」レベルの脆弱性2件 修正版を日本時間21日深夜に公開へ、事前準備を呼び掛け
-
2
人に注射を打てる「サイボーグゴキブリ」の群れが、がれき下の被災者を救助? 実験成功率72%
-
3
AIに200万円渡してネットショップを1年運営させてみた──Alibabaの研究者らがシミュレーション 資産14倍の例も
-
4
認証局eMudhraの中間証明書、秘密鍵が「数ミリ秒」で復元可能な脆弱性 大手各社が緊急遮断
-
5
著名ITサービス相次いで緊急メンテへ コドモン、シャドバ、BASE、さくらのレンタルサーバなど 「PHP」脆弱性に起因か
-
6
PHPの「緊急」レベルの脆弱性、開発元が修正バージョン公開 「直ちにアップデートを」
-
7
PHP緊急脆弱性「php2shell」パッチ今夜11時公開、その前にできる対策は……GMO系セキュリティ企業が提唱【更新】
-
8
「侵入経路塞いだが、バックドアから……」不正アクセス105時間の攻防、分単位で報告 防災メールのアルカディア
-
9
大分大学のサーバで改ざん被害 PHPの脆弱性突かれGoogle検索結果汚染、海外サイトに誘導
-
10
au PAY「使えるお店」、個人事業主約46万人分の情報を無断掲載か 個人情報保護法抵触のおそれも
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR