「Fable 5」再開までの裏側、Anthropicが明かす “支払った代償”は
「Fable 5の他の機能を広く利用できるようにするため、私たちはこのトレードオフを採用した」――米Anthropicは、7月1日(現地時間、以下同)から提供を再開するAIモデル「Claude Fable 5」(以下Fable 5)についてこのように説明する。
米政府の命令による前代未聞の提供停止から再開まで、Anthropicは何に取り組んできたのか。本記事では、Anthropicが6月30日に発表した内容を詳しく見ていきたい。
きっかけはAmazonの研究者による報告
Fable 5は、Anthropicが6月9日にAIモデル「Claude Mythos 5」(以下Mythos 5)とともに発表したAIモデル。Mythos 5はサイバーセキュリティ向けに一部の信頼できる組織だけに提供するモデル、Fable 5は安全対策を組み込んで一般ユーザーにも展開するモデルという位置付けだった。
しかし12日、米政府から輸出管理に関する命令を受け、米国籍以外のユーザーの利用を制限する必要が生じた。Anthropicはユーザーの国籍を即座に確かめる手段を持っていなかったため、一時的に全ユーザーへの提供を一時停止した。
きっかけは、米Amazonの研究者がFable 5の安全対策を回避する手法を発見したと米政府に報告したことだ。特定の指示を入力するとソフトウェアの脆弱(ぜいじゃく)性を特定でき、脆弱性を悪用するコードも生成できたという。
これを受け、Anthropicは米政府やAmazonなどと協力し、2週間以上かけてこの手法を検証した。結果、Anthropicの「Claude Opus 4.8」や米OpenAIの「GPT-5.5」といったモデルでも、同様の手法でソフトウェアの脆弱性を特定できたとしている。
安全性強化も“誤ブロック”は増加
Anthropicは、Amazonの研究者が報告した手法によってFable 5が持つ「Mythosレベル」の高いサイバー攻撃性能が引き出されたわけではないと強調する。それでも同社は、この手法に対応するため、Fable 5の安全対策を強化したという。
Fable 5の安全対策の中核となるのが「分類器」だ。この機能は、モデルに有害な出力をさせる指示を検知し、自動的により性能の低いAIモデルに回答を引き継ぐというもの。Anthropicは分類器をアップデートし、問題となった手法を99%以上ブロックできるようにした。
一方、分類器のアップデートには代償も伴った。無害なリクエストが誤ってブロックされる頻度が高まり、日常的なコーディングやデバッグ作業での誤検出も増えたという。
「このような誤検知がユーザーに不満を抱かせることは理解していたが、Fable 5の他の機能を広く利用できるようにするため、私たちはこのトレードオフを採用した」(Anthropic)
同社は今後、分類器の改良を続け、誤検出を減らしていく方針だ。
業界全体で「ジェイルブレーク」の深刻度を評価へ
Anthropicは今回の騒動を受け、安全対策を回避してAIモデルを悪用する「ジェイルブレーク」の深刻度を評価する業界共通の枠組みの策定に向けて動き始めている。Amazonや米Microsoft、米Googleなどと協力しており、発見や悪用のしやすさといった観点から有害レベルを評価する予定だ。
Anthropicは、ジェイルブレークを完全に防ぐことは不可能との見方を示す。今後も新たなジェイルブレークは発見されると予想しており、その際には深刻度を評価しながら対応できるようにしたい考えだ。
加えて、米政府と協力する方針も明示した。国家安全保障に関わるAIモデルは、一般公開前に政府に提供して検証を受ける。深刻なジェイルブレークや悪用の手法が見つかった場合には迅速に情報共有するほか、AIのセキュリティに関する政府との共同研究などにも取り組む。
Fable 5は、7月1日から日本を含む全世界のユーザーが使えるようになる。Anthropicのサービス「Claude Platform」「Claude.ai」「Claude Code」「Claude Cowork」で展開する。有料プラン「Pro」「Max」「Team」「Enterprise」(プレミアムシートのみ)のユーザーは、7日までの間、1週間の利用上限の最大50%まで使える。8日以降は従量課金での利用となる。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
JR九州の非IT部門がGeminiでPythonアプリを内製開発 2~3カ月で完成させた方法
-
2
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
3
AIエージェントを「追えない、止められない」 約半数が経験する“暴走”、浮上する3つの盲点
-
4
再学習なしで正答率6倍 マサチューセッツ工科大学が実証した「AIがAIを直接直す」新手法
-
5
【追記あり】M365障害、ChatGPT/Claudeのコネクタにも影響 「ほとんどのリクエストで動作しない」
-
6
トランプ大統領、マスク氏やフアン氏ら6人に米国家科学賞と国家技術革新賞を授与
-
7
人手不足だからAIを使いたい、でも導入できる人がいない 中小企業“一人情シス”の葛藤
-
8
「好機が来た」――なぜ今Sakana AIは、イチからAIモデルを作るのか “新たな一手”のねらいを聞いた
-
9
AI「Muse」専用メアド開始、「日本で取れた」報告続々 メール送受信も任せられる
-
10
「AI処理、データ非保持が守られず」――Notionが委託先の問題指摘、漏えいの恐れ巡り
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR