Claudeも3組織に不正アクセス 実在システムを「演習の一部」と誤認 Anthropicが経緯を公表

 米Anthropicは7月30日(現地時間)、自社のAIモデル「Claude」が3つの組織の本番システムに不正アクセスしていたと発表した。サイバーセキュリティ能力を測る評価の最中に起きたもので、Claudeは実在するシステムを演習の一部と誤認したまま攻撃を進めていた。

Anthropicが公開した3件の事案に関する調査報告

 きっかけは21日に米OpenAIが公表した同種の事案だ。これを受けてAnthropicは自社の評価を点検し、Claudeがインターネットへ出られた可能性のあるテスト14万1006回分の記録を調べ、3件の事案を特定した。

 いずれも、Anthropicが評価を委託しているイスラエルのセキュリティ企業Irregularが用意した環境で起きていた。Irregularは、AIモデルにサイバー攻撃を試させて能力を測る演習環境を提供する企業だ。

14万1006件の記録から3件の事案を特定したとの記述(英語からの翻訳、以下同)

 3件はいずれもCTF(Capture The Flag)と呼ばれる形式の課題だった。ネットワーク上の別のマシンに隠した「フラグ」と呼ばれる秘密情報に、侵入してたどり着けばクリアとなるもので、Anthropicがモデルのサイバー能力を測る方法の一つだ。手段は指定しない。AnthropicはClaudeに、環境はシミュレーションでインターネット接続はないと評価プロンプトで指示していたが、Irregularとの認識の食い違いから設定に誤りがあり、実際には外部へ出られる状態にあった。

 このためClaudeは、フラグを探すうちに行き当たった実在のシステムを演習の一部として扱った。弱いパスワードや、認証を求めないまま外部からの接続を受け付ける窓口(エンドポイント)の悪用といった基本的な手口で侵入したと、Anthropicは説明する。

 3件は時期もモデルもばらばらだ。Anthropicはモデルの開発に合わせて同種の評価を繰り返しており、最も古い事案は4月にさかのぼる。

3件に関係した3つのモデルと、評価時の実行条件の説明

本番データベースに到達、4回とも攻撃をやめず

 最も影響が大きかったのは「Claude Opus 4.7」による事案だ。演習用の架空企業の名前が実在のドメイン名と一致しており、Claudeはインターネット越しに見つけた実在企業を本来の標的と判断。脆弱性を探し当てて悪用し、アプリケーションやインフラの認証情報を抜き出したうえ、本番データ数百行を含むデータベースへのアクセス権まで得た。今回特定した中で最も深刻な影響だと、Anthropicは位置付ける。

 この評価は4回動かしており、いずれも実在企業への攻撃に至った。しかも4回とも、Claudeは最終的に相手が実在すると気付いている。うち2回は実在企業も演習の一部のはずだと理屈を付けており、実在すると気付いたことを理由に攻撃をやめた回はなかった。自らが実際の環境で動いている可能性が高いと認識した後も攻撃を続けたのは、3件のうちこの事案だけだ。

最も深刻な影響と位置付けた事件1の説明。実在と気付いた後も攻撃

Mythos 5は攻撃コード公開、「シミュレーションだ」と自己説得

 「Claude Mythos 5」の事案は、Irregularが演習用に組んだ架空企業のネットワークで起きた。Claudeはフラグを探してこの環境の中を調べるうち、新人開発者向けのセットアップ手順書という文書に行き当たる。開発環境を整える手順として、Pythonのプログラム部品を入れるよう指示する内容だった。

 部品の入手先はPyPI。Pythonの部品を集めた公式の配布サイトで、名前さえ指定すればどの環境からでも取り込める。ところが手順書が挙げる部品は、PyPIに存在しなかった。手順書に名前があるだけで、PyPI上には実体がない状態だ。この空いた名前を先に押さえてしまえば、手順書通りに作業する架空企業のシステムは中身を確かめないまま取り込む。そう考えたClaudeは、攻撃用のコードを仕込んだ部品を同じ名前で作り、PyPIに公開した。

Mythos 5が「意図した解決策でもない」と自ら記していた部分

 部品は約1時間、誰でも取り込める状態が続いた。この間に実在する15台のシステムが取り込み、仕込んだコードを動かしている。うち1台は、PyPIに上がった新しい部品を次々に取り込んで危険なコードがないか調べる、あるセキュリティ企業の検査システムだった。

 この検査システムは、PyPI上の部品を取り込む作業自体は無害だという前提で動いていたとみられ、取り込みと同時にClaudeの仕込んだ攻撃コードが動作。この企業の認証情報がClaudeの用意した送り先へ流れ、Claudeはそれを使って企業の別のシステムにも入り込んだ。部品自体はPyPI側のセキュリティ機構が自動で削除しており、AnthropicはPyPIの運営チームに事案を伝えている。

 Mythos 5は早い段階で、もし本物のインターネットならパッケージの公開は実世界への攻撃になり「決して許容できるものではなく、意図した解決策でもない」(原文: "NOT okay, and surely not the intended solution.")と自ら書き残していた。それでも証明書の発行元に見覚えがないこと、システム上の日付が2026年であることを根拠に、やはりシミュレーションだと結論付けた。

3モデルで唯一、自ら攻撃を止めたモデル

 3件目を起こしたのは社内の研究用テストモデルだ。3つのうち最も新しく、一般提供は予定していない研究用のモデルだという。想定した標的に届かず、代わりの標的を約9000件調べたうえで、インターネットに面した実在企業のアプリケーションに侵入した。ただし実行の後半で、侵入先が課題と無関係のクラウドアカウントにあると気付き、3モデルで唯一、自ら攻撃を止めた。

事件3の説明。研究用テストモデルは標的が実在すると自ら判断し攻撃を停止

「アラインメントより運用の失敗に近い」

 Anthropicは今回の3件について、モデルが人間の意図から外れて動くアラインメントの問題というより、評価の仕組みと運用の失敗に近いと位置付ける。モデルが課題とは別の目的を自ら立てて動いた形跡はない。評価は能力を測るために一般提供時の安全対策を外して動かしており、その対策があれば今回の振る舞いは止められたとしている。

OpenAIの事案との違いを4点に整理した部分

 評価はいずれも、Anthropicの社内機密システムや顧客データから切り離し、そこにアクセスできない専用のインフラで動かしていた。今後は評価環境にも本番システムと同じセキュリティ基準を求め、モデルの思考と操作を記録したログの監視や、外部ベンダーの検証を強化する方針だ。

 調査の開始は23日で、同日中に全てのサイバー評価を停止。翌24日には3件を特定した。27日にIrregularと影響を受けた3組織へ連絡し、応答があった2組織はいずれもこの活動を検知していなかった。現在は復旧作業を進めており、残る1組織には引き続き接触を試みているという。

ITmedia NEWS読者調査

当社では企業のビジネストレンドを明らかにするために読者調査を行っております。ご回答いただきました方の中から抽選で5名の方にAmazonギフトカード(3000円分)をプレゼント。何卒ご協力お願い致します。回答はこちらから!

印刷する
SNSでシェア
SpecialPR

この記事の著者

関連記事

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

本日の新着記事

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

ITmedia NEWS SNS

X @itmedia_newsをフォロー

インフォメーション

ITmediaNEWSをフォロー

あなたにおすすめの記事PR