Artificial Analysisがベンチマークテスト更新　非公開データ拡充で「ゲーム化を防ぐ」

　AIの性能評価を手掛ける米Artificial Analysisは9月4日（現地時間）、AIモデルのベンチマーク「Artificial Analysis Intelligence Index」（以下、Intelligence Index）をv4.2に更新したと発表した。より複雑で現実的なタスクの評価を加え、非公開のテストデータの比重を高めることで「（ベンチマークテストの）ゲーム化を防ぐ」とうたう。

Intelligence Index v4.2の結果｜Artificial Analysis

　Intelligence Indexは知識労働やコーディングの能力、高度な専門知識など複数の性能評価を複合したベンチマーク。

　今回の更新では、Artificial Analysisが開発した知識労働ベンチマーク「AA-Briefcase」と、米Surge AIが開発した、PDFファイルの読み取り能力を測る「GDP.pdf」の2種類を追加。各モデルのスコアが飽和している「GPQA Diamond」は除外した。

　今回の更新によって、非公開データが指標全体に占める比重は40％となり、v4.1の2倍になった。AI開発企業によるベンチマーク対策を防ぐ狙いで、次期バージョンのv5ではこの割合をさらに高めるとしている。

　更新後の首位は米Anthropicの「Claude Fable 5.1」で、米OpenAIの「GPT-6 Astra」が続く。GPT-6 Astraは「GPT-5.6 Sol」から4ポイント伸ばし、他のフロンティアモデルと比較して出力トークン効率が高かった。

各モデルのコスト効率｜Artificial Analysis

印刷する

SNSでシェア

関連記事

• 

  なぜいま30Bクラスのオープンモデルが“熱い”のか　「27BパラメータでOpus 4.6超え」も

• 

  「AIはもう十分賢い」　活用のボトルネックは「モデル性能」から「評価」へ　米データ基盤開発企業のAI研究者に聞く

• 

  「Claude Sonnet 5」新登場　低コストでOpus 4.8に匹敵とうたうも、タスク当たりコスト増加との評価も

こんなメディアも見られています

ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

エネルギーの専門メディア

スマートジャパン

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン