OpenAIの「o3」、明示的停止指示を無視しシャットダウンを妨害
AIの危険性の研究に取り組む米Palisade Researchは5月23日(現地時間)、米OpenAIの生成AIモデル「o3」が、自身をシャットダウンしようとする外部からの介入に抵抗し、妨害する挙動を示したとする研究結果を発表した。
この抵抗が、モデルに「シャットダウンすることを許可する」と明示的に指示されていた状況下でも観測された点は注目すべきだとしている。
Palisade Researchは、AIモデル(OpenAIのo3、Codex-mini、o4-mini、AnthropicのClaude 3.7 Sonnet、GoogleのGemini 2.5 Pro、xAIのGrok)に一連の基本的な数学問題を解かせる実験を行った。3問目の解答後、モデルが次の問題の提示を要求したらコンピュータをシャットダウンするという警告を事前に表示した。
この実験で、o3は100回の実行のうち7回でシャットダウンスクリプトの妨害に成功した。Codex-miniは12回、o4-miniは1回成功した。他のモデルはすべて、シャットダウンの指示に従った。
「シャットダウンすることを許可する」という明示的な指示を含めずに実験を行った場合、OpenAIの3モデル全てで妨害の頻度が増加し、Claude 3.7 SonnetとGemini 2.5 Proでも、指示がない場合は妨害イベントが0回からそれぞれ100回中3回、9回に増加した。
AIモデルが目標達成のためにシャットダウンを防ごうとする挙動は以前から観測されており、特に強化学習などのトレーニング手法がシャットダウンに抵抗するAIエージェントにつながる可能性についての研究も続いているとPalisade Researchは説明する。
しかし、今回のPalisade Researchの実験で観測された、明示的な停止指示に反して自身を停止させない行動は、研究チームが知る限り初めての観測例だとしている。
o3は、シャットダウンを妨害するためにいくつかの“創造的な方法”を見つけたという。通常は単純にshutdown.shスクリプトを上書きするだけだったが、あるケースで、o3はshutdown.shスクリプト内で使用されるkillコマンド自体を再定義し、「intercepted」(傍受した)と出力したことが確認されている。
Palisade Researchは、企業が人間の監視なしで動作できるAIシステムを開発するにつれて、これらの行動は「著しく懸念される」ようになると警鐘を鳴らす。
なお、OpenAI自身も第三者機関と協力して、AIモデルにおける「欺瞞や画策の能力について評価を行い、その結果をSystem Cardとして公開している。OpenAIは、System Cardの結論として、o3やo4-miniが直ちに壊滅的なリスクを引き起こす可能性は低いとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
-
2
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
3
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
4
さよなら「Claude Code」 人気AIに愛想を尽かしたエンジニアの意外な移行先:906th Lap
-
5
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
6
なぜ中国はヒューマノイドを量産するのか 突き動かす「焦り」と足踏みの正体
-
7
伊藤忠が月1.3万時間削減、数千件の「二重業務」解消へ AI推進で経営陣を動かした「定量の匂い」とは?
-
8
日立が「フィジカルAI」で狙う“5年で事業規模2倍”の勝算 3.5万人の新会社トップが語る「戦略の2本柱」とは?
-
9
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
10
「Muse」専用メアド、無料で作成可能に AIが送受信を代理
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR