「Claude Fable 5」の性能が落ちた? 提供停止前後で比べた結果 米AI企業2社がそれぞれ報告
7月1日(現地時間)に提供を再開した米AnthropicのAIモデル「Claude Fable 5」(以下Fable 5)。提供停止前後で性能に変化はあるのか。米AI企業2社がそれぞれ調査結果を報告している。
AIエージェントサービスなどを開発する米BridgeMind AIは7月2日、「Fable 5が弱体化して戻ってきた」と公式Xに投稿した。
同社が手掛けるコーディング向けベンチマーク「BridgeBench」では、デバッグ性能のスコアが86.2から25.9に、リファクタリングは73.6から38.4に、ハルシネーション対策は75.9から61.7に低下した。モデルそのものの性能は落ちていないものの、搭載された安全機能の強化に伴いスコアが低くなったと分析する。
一方、AIモデルの性能をユーザーが評価するWebサイト「Arena」(旧LMArena)を運営する米Arena.aiは同日、Fable 5の性能は提供停止前後でほとんど変わっていないと報告した。Arena上の数千件の評価を集計した結果、テキストや画像処理など複数の項目でおおむねスコアを維持しているという。
なお、Arena.aiは今回のスコアを暫定値としており、より多くのデータを集めて詳細な分析結果を公開する予定だ。
Fable 5は、Anthropicが6月9日に公開したAIモデル。脆弱(ぜいじゃく)性が見つかったとの報告をきっかけに、12日に米政府の命令によって提供を一時停止し、7月1日に再開した。
同モデルは、有害な出力をさせる指示を検知し、自動的により性能の低いAIモデルに回答を引き継ぐ「分類器」という安全機能を備える。Anthropicによると、提供の再開にあたり、見つかった脆弱性に対応するために分類器をアップデートした。これに伴い、日常的なコーディングやデバッグ作業における無害なリクエストを誤検出する頻度も増えたという。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
2
OpenAI、児童性的虐待コンテンツ(CSAM)検出ツールを公開 ChatGPTで探すと24時間アカウント停止の警告も
-
3
「AI処理、データ非保持が守られず」――Notionが委託先の問題指摘、漏えいの恐れ巡り
-
4
MUFG、松尾豊教授ら設立のAIスタートアップと提携 「遍在型AGI」活用へ
-
5
「Gemini 4 Hydrogen」とは 性能とユースケースまとめ Googleの「誰でも使える」最新モデル
-
6
ジェンスン・フアン氏退任は「NVIDIAバブル崩壊」の序章か? どうなる今後の半導体業界
-
7
Googleの“人気AI講座”、先着1万人に無料提供 リスキリング推進団体
-
8
フリーランス市場、受注者の約8割がAIを利用 自発的に開示は1割弱、両者に意識差 IBMリサーチなど調査
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR