「異議あり！」――AIが「逆転裁判」をプレイ 最も“推論性能”が高いモデルは？ 米大学が実験

[ITmedia]

　ゲーム「逆転裁判」をAIにプレイさせ、推論性能を測る――米カリフォルニア大学サンディエゴ校の研究機関・Hao AI Labは4月16日（日本時間、以下同）、こんな実験の結果を公開した。米OpenAIが15日にリリースしたAIモデル「GPT-4.1」など、最新モデルも含め、複数のAIモデルの性能を比較したという。

AIが「逆転裁判」をプレイする様子（全4枚）

　逆転裁判は、プレイヤーが弁護士となり、無実の罪を着せられた依頼人を救うゲーム。集めた証拠と、法廷でさまざまな人物が発する証言を比較し、その矛盾を指摘していくことで、真犯人を突き止めるという内容だ。カプコンが2001年に第1作を発売以降、多くの続編が出ており、人気を博している。

　Hao AI Labはこのゲームシステムに着目。クリアするためには、矛盾を見つけるための幅広い文脈における推論能力や、証言と食い違う証拠を選ぶ画像分析力、いつ“異議”を唱え、証拠を見せるか作戦を決める能力が必要として、逆転裁判でAIの推論性能を測定した。

　実験では、GPT-4.1に加え、OpenAIの「o1」、米Googleの「Gemini 2.5 Pro」「Gemini 2.5 Flash Thinking」、米Anthropicの「Claude 3.7 Sonnet」「Claude 3.5 Sonnet」、米Metaの「Llama 4 Maverick」、中国DeepSeekの「DeepSeek R1」を用意。大規模言語モデル（LLM）にゲームをプレイさせるためのツール「Gaming Agent」を使い、逆転裁判をプレイする能力を比較した。

AIが「逆転裁判」（英語版）をプレイする様子（1/3、画像は公式Xがポストしか動画と画像より、以下同）

AIが「逆転裁判」（英語版）をプレイする様子（2/3）

AIが「逆転裁判」（英語版）をプレイする様子（3/3）

　結果、逆転裁判のストーリーで起きる4つの事件のうち、o1とGemini 2.5 Proが最高難易度の事件にまで到達。両者ともにクリアには至らなかったが、難しい課題への対応はo1の方がわずかに優れていた。一方APIのコスト効率は、Gemini 2.5 Proが勝り、ケースによってはo1の6〜15分の1のコストに抑えられたという。

　なお最新モデルのGPT-4.1は、Claude 3.5 Sonnetと同等の性能しか発揮できなかったとしている。

実験における各AIモデルの性能の比較

　AIにゲームのプレイさせる試みとしては、Anthropicが2月からClaude 3.7 Sonnetがゲーム「ポケットモンスター赤」をプレイする様子を配信している。Hao AI Labも、同モデルを含む複数のAIモデルに、ゲーム「スーパーマリオブラザーズ」をプレイさせ、その性能を比較した結果を公表していた。