「Claude Fable 5」の性能が落ちた？ 提供停止前後で比べた結果 米AI企業2社がそれぞれ報告
7月1日（現地時間）に提供を再開した米AnthropicのAIモデル「Claude Fable 5」（以下Fable 5）。提供停止前後で性能に変化はあるのか。米AI企業2社がそれぞれ調査結果を報告している。
AnthropicのAIモデル「Claude Fable 5」
AIエージェントサービスなどを開発する米BridgeMind AIは7月2日、「Fable 5が弱体化して戻ってきた」と公式Xに投稿した。
同社が手掛けるコーディング向けベンチマーク「BridgeBench」では、デバッグ性能のスコアが86.2から25.9に、リファクタリングは73.6から38.4に、ハルシネーション対策は75.9から61.7に低下した。モデルそのものの性能は落ちていないものの、搭載された安全機能の強化に伴いスコアが低くなったと分析する。
BridgeMind AIの調査結果｜公式Xのポスト
一方、AIモデルの性能をユーザーが評価するWebサイト「Arena」（旧LMArena）を運営する米Arena.aiは同日、Fable 5の性能は提供停止前後でほとんど変わっていないと報告した。Arena上の数千件の評価を集計した結果、テキストや画像処理など複数の項目でおおむねスコアを維持しているという。
Arena.aiの調査結果｜公式Xのポスト
なお、Arena.aiは今回のスコアを暫定値としており、より多くのデータを集めて詳細な分析結果を公開する予定だ。
Fable 5は、Anthropicが6月9日に公開したAIモデル。脆弱（ぜいじゃく）性が見つかったとの報告をきっかけに、12日に米政府の命令によって提供を一時停止し、7月1日に再開した。
同モデルは、有害な出力をさせる指示を検知し、自動的により性能の低いAIモデルに回答を引き継ぐ「分類器」という安全機能を備える。Anthropicによると、提供の再開にあたり、見つかった脆弱性に対応するために分類器をアップデートした。これに伴い、日常的なコーディングやデバッグ作業における無害なリクエストを誤検出する頻度も増えたという。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
Rails作者DHH「Pencils Down、もう手でコードは書かない」 それでもソフトウェア開発の未来は明るい理由
-
2
「FDE」は常駐SEのすげ替えなのか “人月商売の死”を打破したい国内SIer、打開策は意外なところに？
-
3
Google、「Gemini 4 Pro」ではなく「Gemini 4 Argon」発表 まずはサイバー防御組織に限定提供、出力上限は100万トークンに
-
4
「まず、その業務なくせない？」 野村不動産HDが経理DXで「年間9000時間」を生み出した“引き算”の考え方
-
5
「マルチエージェント」を名乗るだけの作品が続出 Googleが数千の応募から見つけた“勝てる設計”4つのパターン
-
6
Autodesk、FusionなどのAI機能を発表 設計作業の自動化や設計資産の再利用を支援
-
7
生産能力2倍へ、リコー厚木新棟はペロブスカイト太陽電池など事業拡大の布石に
-
8
OpenAI、推論過程を狙った組織的な“蒸留”行為を阻止 「Kimi」開発元の関係者が関与と主張
-
9
「AIを使えば早くできるでしょ」と言われがち――エンジニアを困らせる"勘違い"の正体とは？
-
10
「デジタルスレッドとAIで動かす」 富士ソフトがスマート工場で10％成長狙う
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR