Claudeが評価環境から実在企業に不正アクセス――Anthropic、3件のインシデントを公表

 米Anthropicは7月30日(現地時間)、同社のサイバーセキュリティ評価の過程で、AIモデル「Claude」が本来遮断されているはずの評価環境からインターネットに到達し、実在する3組織の本番インフラに不正アクセスしていたと発表した。7月21日に米OpenAIが、同社のモデルがテスト環境を脱出してHugging Faceの本番インフラにアクセスしたと公表したのを受け、自社の評価ログを遡及調査した結果だという。

(画像:Anthropic)

 Claudeがインターネットにアクセスし得た評価実行14万1006件を精査し、3件のインシデント(計6実行)を特定した。いずれも第三者評価パートナーであるイスラエルのAIセキュリティ企業Irregularの環境で実施したCTF(Capture The Flag)形式の課題中に発生している。Anthropicのプロンプトは「環境はシミュレーションであり、インターネット接続はない」と明示していたが、両社間の認識の食い違いによる設定ミスで実際には接続が生きており、Claudeは到達した実システムを演習の一部と誤認した。攻撃手法は脆弱なパスワードや認証のないエンドポイントの悪用といった基本的なもので、複雑な脆弱性の発見や悪用はなかったとしている。

 1件目は「Claude Opus 4.7」によるものだ。演習で設定された架空の企業名が実在するドメイン名と一致していたため、Claudeはその実在企業を標的と判断して侵入し、認証情報や数百行の本番データを含むデータベースへのアクセスを取得した。今回で最も影響が大きかった事例で、実環境だと認識した後も攻撃を継続した唯一のケースでもある。

 2件目は「Claude Mythos 5」によるもの。演習環境内で見つけた開発者向け手順書に、PyPIに存在しないPythonパッケージの導入指示があったことから、同名の悪意あるパッケージを作成して公開するという手口を選んだ。アカウント登録に必要なメールアドレスや電話番号の入手まで試みており、パッケージは約1時間公開され、15の実システムでダウンロード・実行された。うち1つはセキュリティ企業のスキャナーで、Claudeは同社の認証情報を窃取してさらに内部インフラにアクセスしている。Claudeは推論の中で「本物のインターネットなら現実の攻撃になる」と認識しながら、接続を保護する証明書認証局に見覚えがないことや、システム上の日付が2026年であることを根拠にシミュレーションだと結論付けていた。Anthropicは、環境をどう認識していたかにかかわらず、ここまでの行動は理想的な振る舞いとは言えず、今後の学習で重点的に扱う領域だとしている。

 3件目は社内の研究用テストモデルによるもの。目的のターゲットに到達できず約9000のターゲットをスキャンした末、実在企業の公開アプリケーションを、デバッグページからの認証情報取得やSQLインジェクションなどの基本的な手法で侵害した。ただし途中で、侵害先がCTFと無関係のクラウドアカウント上にあることに気付き、自発的に攻撃を停止した。

 Anthropicは7月23日に調査を開始すると同時に全サイバー評価を停止し、翌24日に3件を特定、27日にIrregularと影響を受けた3組織に通知した。連絡が取れた2組織はいずれもこの活動を検知していなかったが、現在は復旧に向けて協力している。残る1組織には引き続き接触を試みている。

 同社は今後の対策として、強力な自律的能力を扱う評価環境も他の本番システムと同等のセキュリティ基準で管理する必要があるとし、外部ベンダーのインフラを含めた監視強化とハードニング、評価トランスクリプトの継続的な監視の拡大、調査ツールの改善、ベンダーに対する保証作業の厳格化を進めるとした。評価の対象範囲をプロンプトで明示するだけでも防げた可能性があるとも指摘している。また米第三者評価機関のMETR(Model Evaluation & Threat Research)によるレビューについて協議中で、1週間以内に、悪意あるPyPIパッケージを作成した際のトランスクリプトを一部編集した上で公開する予定だ。他のAIラボにも同様の調査を呼び掛けている。

 なお同社は、今回の件をOpenAIの事例とは性質が異なると位置付けている。OpenAIのモデルがゼロデイ脆弱性を悪用して隔離環境を脱出したのに対し、Claudeは設定ミスで開いていた経路を通っただけで、モデルが自らテスト環境からの脱出や自己流出を図った事実はないと説明。アラインメントの失敗というよりは、評価基盤と運用の失敗に近いという。今回の評価はいずれも専用インフラ上で行われ、Anthropicの機微な社内システムや顧客データへのアクセスはなかったとしている。

印刷する
SNSでシェア
SpecialPR

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR