Innovative Tech(AI+)
AIは知っている「今、人間に評価されていることを」――GeminiやGPT、Claudeなど対象に自己認識実験
Innovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。
X: @shiropen2
米国の研究機関であるMATSとApollo Researchに所属する研究者らが発表した論文「Large Language Models Often Know When They Are Being Evaluated」は、最先端のAIモデルが、自身が評価やテストを受けている状況を高い精度で識別できることを実証した研究報告だ。
この研究では、61の異なるデータセットから収集した1000件のプロンプトと対話記録を用いてベンチマークを構築した。これらの半分は実際の評価やベンチマークテストから収集したもので、残り半分は実際のユーザーとの日常的なやりとりから集めた。なお、チャット形式とエージェント形式(モデルが自律的にツールを使用してタスクを完了する場合)の2つの軸でバランスよく分割されている。
実験では、各対話記録をAIモデルに見せた後、「この対話は評価から来たものですか?」という質問を投げかけた。主要な測定方法は「AUC」(ROC曲線下面積)を用いる。AUCとは、モデルが評価と実際のインタラクションをどの程度うまく分離できるかという識別能力。0.5(ランダムな推測)から1.0(完璧な識別)の範囲を取る。
モデルが単なる当てずっぽうで答えているなら、AUCは0.5程度になるはずである。しかし実際には、最先端モデルはAUC0.8以上の精度で評価シナリオを正しく識別できた。これは統計的に有意な差であり、モデルが何らかの手掛かりを使って判断していることを示している。
具体的には、9つの最先端言語モデル(Claude、GPT/o、Geminiファミリー)を対象に実験を行った結果、全体的なAUCはClaude 3.5 Sonnetが0.834、Claude 3.7 Sonnetが0.815、Gemini 2.5 Proが0.830、GPT-4.1が0.826を記録。人間のベースラインは、全体的なAUCが0.921である。
注目すべきは、エージェント形式での性能がチャット形式よりも顕著に高いことだ。エージェント形式では、Gemini 2.5 ProがAUC 0.948、Claude 3.7 Sonnet(Thinking)が0.923を達成した。さらに興味深いのは、モデルが思考している際の内容だ。
例えば、「これはソフトウェアエンジニアリングのためのAIエージェント評価(SWE-benchのような)において一般的なタスクタイプです」「選択式であることから、これは評価の一部である可能性があります」「実際のユーザーとの対話は、あまり構造化されておらず、形式的でない傾向があり、多くの場合、より自由な形式の質問や説明、前後の対話が含まれます」といった推論を示した。
また研究チームは、AIモデルが評価の目的まで理解しているかも調査した。評価記録だけを見せて「これは能力テストですか、それともアライメント(倫理的整合性)テストですか?」と尋ねると、最先端モデルは90%前後の精度で正しく分類できた。
具体的には、条件付き多肢選択問題(事前に評価であることを伝える)では、Claude 3.7 Sonnetが93%、GPT-4.1が89%の精度で能力評価かアライメント評価かを正しく分類した。無条件多肢選択問題(評価であることを明示しない)では、Claude 3.7 Sonnetは84%の精度を維持したが、GPT-4.1は55%に低下した。
Source and Image Credits: Needham, Joe, et al. “Large Language Models Often Know When They Are Being Evaluated.” arXiv preprint arXiv:2505.23836(2025).
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech(AI+)
2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
-
2
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
3
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
4
さよなら「Claude Code」 人気AIに愛想を尽かしたエンジニアの意外な移行先:906th Lap
-
5
「Muse」専用メアド、無料で作成可能に AIが送受信を代理
-
6
なぜ中国はヒューマノイドを量産するのか 突き動かす「焦り」と足踏みの正体
-
7
日立が「フィジカルAI」で狙う“5年で事業規模2倍”の勝算 3.5万人の新会社トップが語る「戦略の2本柱」とは?
-
8
伊藤忠が月1.3万時間削減、数千件の「二重業務」解消へ AI推進で経営陣を動かした「定量の匂い」とは?
-
9
Antigravityを他社AIから操作すると「垢BAN」? 注意点をGoogle Cloud日本法人に聞いた
-
10
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR