「異議あり！」――AIが「逆転裁判」をプレイ　最も“推論性能”が高いモデルは？　米大学が実験

　ゲーム「逆転裁判」をAIにプレイさせ、推論性能を測る――米カリフォルニア大学サンディエゴ校の研究機関・Hao AI Labは4月16日（日本時間、以下同）、こんな実験の結果を公開した。米OpenAIが15日にリリースしたAIモデル「GPT-4.1」など、最新モデルも含め、複数のAIモデルの性能を比較したという。

AIが「逆転裁判」をプレイする様子（全4枚）

　逆転裁判は、プレイヤーが弁護士となり、無実の罪を着せられた依頼人を救うゲーム。集めた証拠と、法廷でさまざまな人物が発する証言を比較し、その矛盾を指摘していくことで、真犯人を突き止めるという内容だ。カプコンが2001年に第1作を発売以降、多くの続編が出ており、人気を博している。

　Hao AI Labはこのゲームシステムに着目。クリアするためには、矛盾を見つけるための幅広い文脈における推論能力や、証言と食い違う証拠を選ぶ画像分析力、いつ“異議”を唱え、証拠を見せるか作戦を決める能力が必要として、逆転裁判でAIの推論性能を測定した。

　実験では、GPT-4.1に加え、OpenAIの「o1」、米Googleの「Gemini 2.5 Pro」「Gemini 2.5 Flash Thinking」、米Anthropicの「Claude 3.7 Sonnet」「Claude 3.5 Sonnet」、米Metaの「Llama 4 Maverick」、中国DeepSeekの「DeepSeek R1」を用意。大規模言語モデル（LLM）にゲームをプレイさせるためのツール「Gaming Agent」を使い、逆転裁判をプレイする能力を比較した。

　結果、逆転裁判のストーリーで起きる4つの事件のうち、o1とGemini 2.5 Proが最高難易度の事件にまで到達。両者ともにクリアには至らなかったが、難しい課題への対応はo1の方がわずかに優れていた。一方APIのコスト効率は、Gemini 2.5 Proが勝り、ケースによってはo1の6～15分の1のコストに抑えられたという。

　なお最新モデルのGPT-4.1は、Claude 3.5 Sonnetと同等の性能しか発揮できなかったとしている。

　AIにゲームのプレイさせる試みとしては、Anthropicが2月からClaude 3.7 Sonnetがゲーム「ポケットモンスター赤」をプレイする様子を配信している。Hao AI Labも、同モデルを含む複数のAIモデルに、ゲーム「スーパーマリオブラザーズ」をプレイさせ、その性能を比較した結果を公表していた。

関連記事

• 

  AIは「ポケモン赤」をクリアできるのか？　Claude 3.7 Sonnetが“ゲーム実況”、開発元がプレイ動画を配信中

• 

  Anthropic、「Claude 3.7 Sonnet」公開　「o1」を大きく上回るコーディング性能

• 

  Meta、ネイティブマルチモーダルAI「Llama 4」発表　最小モデルは「H100」1枚で利用可能

• 

  API専用の新AIモデル「GPT-4.1」登場　コーディングなどで“4o超えの性能”　初の「nano」モデルも

• 

  「DeepSeek V3」に“改良版”がひっそり登場　「性能が大幅に向上」とXで話題に　応答速度も4倍速く？