AIは本当に「考えている」のか　Apple論文が問いかけた推論モデルの限界とその行方：AIビジネスのプロ　三澤博士がチェック　今週の注目論文

2025年6月にAppleの研究者らが発表した論文は、最先端の推論モデルが複雑な問題で正解率ゼロに崩壊すると報告し、大論争を招きました。ジョーク論文の拡散まで含む一連の応酬は、企業のAI評価に何を突き付けたのでしょうか。

[三澤瑠花，日本タタ・コンサルタンシー・サービシズ] PC用表示関連情報

LINE

Hatena

この連載について

AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。

　今回は、Appleが2025年6月に発表した論文「The Illusion of Thinking」（思考の錯覚）を巡る騒動が落ち着いてきたタイミングで、その顛末を整理します。

　近年のAI開発競争で注目されているのが、Large Reasoning Model（大規模推論モデル、LRM）と呼ばれるモデル群です。OpenAIのGPT-5系の推論機能、AnthropicのClaude OpusやClaude Sonnetの思考モード、GoogleのGeminiの思考機能などが代表例です。これらのモデルは最終回答を出す前に「思考プロセス」を生成します。Chain-of-Thought（思考の連鎖、CoT）と呼ばれるこの仕組みでは、まずモデルが内部で問題を分解します。それに対する仮説検証、矛盾に対する試行錯誤を繰り返すことで、複雑な問題でも正確な答えにたどり着きやすくなります。

　こうした期待の高まりの中で発表されたApple論文は、最先端の推論モデルが複雑な問題の前で正解率ゼロに崩壊すると主張し、The GuardianやWall Street Journalまで飛び火する大論争になりました。反論として広まった文書が実はジョークだったと判明し、さらに反論や再検証が続くなど、わずか数週間で議論は大きく広がりました。ただし、この騒動の本質は「AIが賢いかどうか」ではなく、「あなたの会社のAI評価は本当に正しいのか」という問いです。では、Appleの研究者らは何を報告したのでしょうか。

なぜAIは「正解率ゼロ」に崩壊したのか

　Appleの研究者らが報告したのは、問題の複雑さに応じてAIの性能が3つのフェーズに分かれ、一定の水準を超えると正解率がゼロに落ちるという実験結果です。順を追って見ていきましょう。

既存評価の2つの問題

　Appleの研究者らはまず、既存ベンチマーク評価の根本的な問題として2点を指摘しています。

　1つ目はデータ汚染です。米国の数学競技「AIME」などのベンチマークは、モデルの学習データに既に含まれている可能性があります。Appleの研究者はLLMによるAIME2025の正解率がAIME2024より低下した現象を確認しました。AIME2024は既にネット上に問題や詳細な解説が出回っているため、AIが学習段階でこれらを覚えてしまった（データ汚染）可能性を指摘しています。人間の受験生にとってはAIME2025の方がやや解きやすいと評価されているにもかかわらず、AIはAIME2025の正解率が低かったというのがデータ汚染の根拠です。

　2つ目は、最終回答の正誤しか評価しないという問題です。思考プロセスの構造や質への洞察なしにはモデルの推論の実態を把握できないと主張しています。

パズルによる制御実験

　こうした問題意識の下、Appleの研究者らはハノイの塔、川渡り問題などアルゴリズム問題で有名な4種類のパズルを用意しました。これらは、難易度を数学的に制御でき、専用シミュレーターによって最終回答だけでなく思考プロセス内の中間解答の正誤まで自動検証できる点が特徴です。各パズルにつき25サンプルを生成し、Claude 3.7 Sonnet（思考モードの有無の両方）、DeepSeek-R1とDeepSeek-V3、o3-mini（中・高設定）などで評価しました（図1）。

図1：実験の設計（ハノイの塔）（出典：Shojaee et al.「The Illusion of Thinking」、https://arxiv.org/abs/2506.06941）

3つの複雑度フェーズ

　実験結果として報告された最重要知見が、問題の複雑さに応じた3つの性能フェーズの存在です（図2）。

フェーズ1：低難易度の問題（図2黄色）：通常のLLMがLRMと同等以上の正解率をより少ないトークン（処理単位）で達成
フェーズ2：中難易度の問題（図2青）：LRMの長い思考プロセスが機能しLRMの正解率が高い
フェーズ3：高難易度の問題（図2赤）：通常のLLMもLRMも正解率がゼロに

　つまり「考える」モデルであっても、一定の複雑さを超えると回答に限界を迎えることが分かりました。

　さらに、正解の手順（アルゴリズム）を事前に与えても限界の壁がほぼ変わらないという結果もありました。そこで、LRMの限界は「解法を思い付くこと」だけではなく、「手順をミスなく実行し、確かめること」にもあるとも指摘しています。

図2：思考モデル（LRM、青）と非思考モデル（通常のLLM、赤）の精度（出典：Shojaee et al.「The Illusion of Thinking」、https://arxiv.org/abs/2506.06941）

論文への主な批判と反論

　Apple論文の発表後、さまざまな立場から批判が寄せられました。

「推論失敗」と「出力制限」の混同という指摘

　Apple論文が発表された直後から、出力トークン制限と推論能力の崩壊を混同しているという指摘が相次ぎました。

　Apple論文の実験では、モデルにハノイの塔の全手順を決められた形式のテキストとして書き出させていました。ハノイの塔とは大小の円盤の板を、別の棒に差し替えていくパズルです。この円盤が増えるほど手順数は指数的に増加します。つまりモデルが推論能力の限界に達する前に、出力できる文字数の上限に物理的にぶつかってしまうという問題があります。

　助成財団Open Philanthropyのアレックス・ローセン氏（AIガバナンス・政策担当シニアプログラムアソシエート）は、Apple論文公開から数日後に、著者にClaude Opusを迎えて、Apple論文が出力文字数の上限に達したのではないかという指摘を含む風刺文書（ジョーク論文）をarXivに投稿しました。arXivとは論文のプレプリントサイトです。

　論文の貢献に対する声明には「Claude Opusは筆頭著者に値する貢献をしたとアレックスは考えているが、arXivのポリシーに違反するため名前を削除した」との記載とともに、著者からClaude Opusが削除されています。

「単体評価では実用的な能力を測れない」という指摘

　AIモデル評価を手掛ける非営利研究機関METRのローレンス・チャン氏は、全手順を書き出せなくてもPythonスクリプトを書けば即座に解けるとし、全手順の書き出しと解法の理解は別の能力だと指摘しています。実際のAI活用では、LLMはAIエージェントとしてコードやツールを呼び出しながら問題を解きます。「全手順を自力で書き出せるか」という単体評価は、そうした実用的な能力を見ていないという主張です。

評価設計への批判

　スペイン国立研究評議会（CSIC）とマドリード工科大学（UPM）の共同研究センター（CSIC-UPM）の研究者らによる「Rethinking the Illusion of Thinking」は、Appleの実験を独自に再現・改良し、学術的根拠のある批判を提示しました。

　川渡り問題について、Appleの論文には、ボートの定員が3人の場合に登場人物が6組（12人）以上になると数学的に解が存在しないことが先行研究で証明されている設定が含まれていました。CSIC-UPMの研究者らが、解が存在する問題のみに限定してテストしたところ、登場人物が100ペア（200人）を超える複雑な設定でもLRMは問題なく解くことができました。

　一方で、ハノイの塔について改良した手法（段階的なプロンプトやエージェント間の対話）を用いても、円盤が約8枚になるとLRMが失敗することを確認しました。Appleの実験設計には問題があったものの、LRMの認知的限界も部分的には実在すると実証しました。

　つまり、「AppleのLRM評価実験には不適切な問題設定が含まれており、能力を不当に低く見積もっていた部分がある。しかし、AIが複雑な問題でつまずく本当の限界（認知的限界）も確かに存在している」というのがCSIC-UPMの研究者の主張です。

エージェント設計による突破口

　これらの論争と並行して、Apple論文と同じ問題設定で別の方向性を示す査読前論文が2025年11月12日に公開されました。ITサービス大手Cognizantの研究部門Cognizant AI Labとテキサス大学オースティン校の研究者らによるMAKER論文です。

　LRMではなく複数の通常のLLMを1ステップ単位に分解して並列実行し、多数決で正解を選ぶという仕組みで、ハノイの塔の複雑な問題（円盤20枚、最低104万8575手）をゼロエラーで解いたと報告しています。ただしハノイの塔は「次の一手」が常に1つに決まる特殊な問題であり、より複雑な実業務タスクへの適用については限界があるとしています。

論争が示すAI評価の難しさ

　この一連の議論が浮き彫りにするのは、AIの能力を正しく評価することの根本的な難しさです。「解けなかった」のが推論能力の問題なのか、出力形式の制約なのか、問題設定そのものが不適切なのか、この問いに対する研究者コミュニティーの議論はまだ収束していません。また今回の論争では、ジョーク論文が学術論文と誤認されて広く拡散するという事態も起きており、急速に動くAI分野において情報の真偽を見極めることの難しさも改めて示されました。

　なお、MAKER論文公開の8日後、Appleの研究者らも一連の反応への回答を追記した形で学会（NeurIPS 2025）採択用の最終版（v3）へと論文を更新しています。

結論

　今回の論争を整理すると、「LRMは考えられない」でも「LRMは万能だ」でもなく、「何をどう測るかで結論が変わる」というのが実態に近いと思います。

公開ベンチマークのスコアはそれを測った条件のみで有効：Apple論文はデータ汚染の問題を指摘しました。ベンダーが提示するスコアをうのみにせず、自社業務に近いタスクで独自評価を行うことが実態に近い判断につながります
何を測っているのかを先に定義する：CSIC-UPMの研究者らが示したように、問題設定の妥当性（解が存在するか）によって結果が大きく変わります。社内でAIを評価する際も、タスクの形式が測りたい能力を本当に測っているかを先に定義することが重要です
LRMの用途を複雑度で分ける：フェーズ1、2、3の3分類はApple論文が報告し、CSIC-UPMの研究者らも直接否定していない実験結果です。単純なQ&Aには通常のLLMが効率的で、中複雑度の多段階推論にはLRMが有利という複雑度によるモデルの使い分けは、実務上の指針として参照できます
情報精査の重要性：今回の論争ではジョーク論文が広く拡散し、多くの人が正規の反論論文と誤認しました。AI分野の最新情報を参照する際は、出典の信頼性を確認する習慣が不可欠です

　結局、ツールの良しあしよりも「何を解きたいのか」「それを正しく測れているか」という問いの設計力が、LLMとLRMの活用の成否を分けているということです。この論争はその問いの難しさを、研究者たちが実際に間違いを犯しながら示してくれた貴重な事例です。