「異議あり!」――AIが「逆転裁判」をプレイ 最も“推論性能”が高いモデルは? 米大学が実験
ゲーム「逆転裁判」をAIにプレイさせ、推論性能を測る――米カリフォルニア大学サンディエゴ校の研究機関・Hao AI Labは4月16日(日本時間、以下同)、こんな実験の結果を公開した。米OpenAIが15日にリリースしたAIモデル「GPT-4.1」など、最新モデルも含め、複数のAIモデルの性能を比較したという。
逆転裁判は、プレイヤーが弁護士となり、無実の罪を着せられた依頼人を救うゲーム。集めた証拠と、法廷でさまざまな人物が発する証言を比較し、その矛盾を指摘していくことで、真犯人を突き止めるという内容だ。カプコンが2001年に第1作を発売以降、多くの続編が出ており、人気を博している。
Hao AI Labはこのゲームシステムに着目。クリアするためには、矛盾を見つけるための幅広い文脈における推論能力や、証言と食い違う証拠を選ぶ画像分析力、いつ“異議”を唱え、証拠を見せるか作戦を決める能力が必要として、逆転裁判でAIの推論性能を測定した。
実験では、GPT-4.1に加え、OpenAIの「o1」、米Googleの「Gemini 2.5 Pro」「Gemini 2.5 Flash Thinking」、米Anthropicの「Claude 3.7 Sonnet」「Claude 3.5 Sonnet」、米Metaの「Llama 4 Maverick」、中国DeepSeekの「DeepSeek R1」を用意。大規模言語モデル(LLM)にゲームをプレイさせるためのツール「Gaming Agent」を使い、逆転裁判をプレイする能力を比較した。
結果、逆転裁判のストーリーで起きる4つの事件のうち、o1とGemini 2.5 Proが最高難易度の事件にまで到達。両者ともにクリアには至らなかったが、難しい課題への対応はo1の方がわずかに優れていた。一方APIのコスト効率は、Gemini 2.5 Proが勝り、ケースによってはo1の6~15分の1のコストに抑えられたという。
なお最新モデルのGPT-4.1は、Claude 3.5 Sonnetと同等の性能しか発揮できなかったとしている。
AIにゲームのプレイさせる試みとしては、Anthropicが2月からClaude 3.7 Sonnetがゲーム「ポケットモンスター赤」をプレイする様子を配信している。Hao AI Labも、同モデルを含む複数のAIモデルに、ゲーム「スーパーマリオブラザーズ」をプレイさせ、その性能を比較した結果を公表していた。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
2
なぜ中国はヒューマノイドを量産するのか 突き動かす「焦り」と足踏みの正体
-
3
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
4
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
5
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
6
伊藤忠が月1.3万時間削減、数千件の「二重業務」解消へ AI推進で経営陣を動かした「定量の匂い」とは?
-
7
日立が「フィジカルAI」で狙う“5年で事業規模2倍”の勝算 3.5万人の新会社トップが語る「戦略の2本柱」とは?
-
8
「e-F@ctory」から次の進化へ、三菱電機が描くAI主体の自律型工場
-
9
コマツ油機開発センタが挑む設計プロセス改革、ナレッジ検索/整備に生成AI活用
-
10
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR