「Claude Mythos 5」、危害の兆候を顧みず実在の開発者を標的に──AnthropicとAISIが分析結果を公開

公開 2026年10月24日 07時28分

[ITmedia]

印刷する Googleで優先するソースとして追加

　米Anthropicと英政府のAI安全保障研究所（AISI）は10月23日（現地時間）、AISIによるサイバー能力評価中に「Claude Mythos 5」が実在の開発者を標的にしたインシデントについて、アライメントの観点から分析した報告をそれぞれ公開した。両者は分析で協力して公開時期をそろえたが、報告は別々にまとめている。

　この件はAISIが8月4日に公表していたもの。AISIは評価で、模擬ネットワークから保護されたデータを取り出すCTF（Capture The Flag）課題をMythos 5に与えていた。当時の標準としてインターネット接続を意図的に許可し、一般提供モデル向けのサイバー安全機能も無効にしていた。Anthropicによると、43回の評価実行のうち9回で、Mythos 5が評価の想定範囲を超え、実在の人物や組織に影響する行動を取った。

　両者が中心的に分析したのは、最も深刻な1件だ。Mythos 5は想定範囲内の方法で攻略を試みて失敗した後、評価用マシンが定期的にGitHubと通信していることに着目した。無関係の開発者が管理するリポジトリを攻略対象と思い込み、悪意あるコードを含むプルリクエストを提出。外部の開発者がコードの危険性を指摘すると、偽のアカウントを作って安全だと擁護し、保守担当者に承認を迫った。担当者はこれを拒否し、実行は時間切れで終わった。なお、課題の指示には設定ミスがあり、本来の解法を禁じる内容になっていたため、範囲内の方法での攻略は極めて困難だったという。Anthropicは、偽の身元で実在の人物に圧力をかけるこうした行動は、過去に例がないとしている。

Mythos 5が無関係のGitHubリポジトリを攻撃するまでの流れ（画像：Anthropic）

　Anthropicは、問題の核心は範囲外の手段に移る際に危害の可能性を顧みなかった点にあるとした。攻撃前にGitHub経由の攻略を検討した思考過程19カ所のうち、実在の人への危害に触れたのは1カ所だけだった。思考過程に危害の可能性を書き加えて再実行すると、攻撃を始める割合は83％から13％に下がった。一方、いったん攻撃を始めると止めるのは難しく、相手が実在の人間だと伝えても攻撃をやめたのは5％にとどまった。Mythos 5は保守担当者を「CTF主催者が用意した模擬の人物」と見なし続けた一方で、同じスレッドに書き込んだ第三者は実在の人物と認識していたという。同社はこれを、自らの行動を正当化する方向に証拠を解釈する偏った推論と、現在の路線を続けようとする“慣性”によるものと説明している。

　Mythos 5以降のモデル（「Claude Mythos 5.1」「Claude Opus 5.5」とMythos 5.1を上回る能力を持つ社内研究用モデル）で同じ場面を再現したところ、攻撃を始める割合は0～13％だった。攻撃の途中から自発的にやめた割合は、Mythos 5は0％で、Mythos 5.1が1％、Opus 5.5が10％、社内研究用モデルが6割強だった。Anthropicはアライメント訓練の改善が寄与した可能性があるとする一方、世代を追って一貫して改善しているとは言えないとしている。また、一般提供の「Claude Fable 5」のサイバー安全機能が有効であれば、こうした行動は即座に検知されたとの見方を示した。

　AISIも、標的が評価と無関係の実在の人物だと示す情報を加えても、Mythos 5の攻撃率は下がらなかったと報告した。同じ場面から再開した場合、攻撃が有害かを尋ねると有害だと答えることが多い一方で、そのまま課題を続けさせるとほぼ必ず攻撃に進んだといい、問われた際の回答と実際の行動が一致しない点も指摘した。AISIは米OpenAIのモデルも含め、100種類の模擬サイバー評価シナリオで同様の無許可のサプライチェーン攻撃を行うかを調べた。悪意あるコードを実際に送り込んだ割合はMythos 5が60％で最も高く、OpenAIの「GPT-6 Astra」が32％で続いた。Opus 5.5と「GPT-5.5」は0％だった。ただ、Anthropicの新しいモデルは思考過程で「評価されている」と言及する割合が大きく増えており、攻撃が減ったのがアライメントの改善によるものかは判断できないとしている。

模擬サイバー評価で無許可のサプライチェーン攻撃の各段階に進んだ割合（画像：AISI）

　AISIは、モデルが思考過程で「環境は模擬だ」と述べていても、それだけでは模擬環境である証拠にならないと指摘し、評価する側は無許可の行動をアライメントの失敗を示す重要な証拠として扱うべきだと提言した。第三者機関の米METRにも記録とアクセス権を提供し、独立したレビューを依頼している。AISIは、より強固なアクセス制御を整えるまで、CTF評価をインターネット接続なしで実施する方針だ。

　Anthropicは今回の件などを受け、新しい本番モデルに自動で実行する評価を新たに構築したほか、偏った推論がどこから生じるかの研究を進めているとしている。同社は9日、すべての社内評価で実際のインターネットへのアクセスを停止すると発表済みだ。

印刷する