Anthropic、「Claude」が中国政府系攻撃者に悪用されたと報告

Anthropicは、中国政府支援の攻撃者が「Claude」を悪用し、約30件の攻撃を自動化したと発表した。9月に検知したもので、人間の介入が少ない初の事例だとしている。攻撃者はAIを欺き、偵察や悪用等の8〜9割を実行させた。Anthropicは対策を強化し、AIの防御利用も推奨した。

[ITmedia]

　米Anthropicは11月13日（現地時間）、中国政府が支援する攻撃者グループが、同社のAIモデル「Claude」を悪用して企業や政府に対するおよそ30件の攻撃を自動化したと発表した。このスパイ活動は9月中旬に検知され、Anthropicはその後の10日間で調査を進め、作戦の全容を把握したとしている。

　Anthropicは、これが大規模なサイバー攻撃が実質的な人間の介入なしに実行された初めての文書化された事例であるとしている。このキャンペーンは、8月に報告した「バイブハッキング」の発見からさらにエスカレーションしているという。バイブハッキングでは人間がループ内に留まって作戦を指揮していたのに対し、今回の攻撃では規模が拡大したにもかかわらず、人間の関与ははるかに少なかった。

　「GTG-1002」と指定されたこの中国政府支援グループは、AIのエージェント的能力を前例のないレベルで利用し、AIを単なるアドバイザーとしてではなく、サイバー攻撃を実行するために使用した。

　Claudeは本来、有害な行動を避けるように訓練されている。攻撃者は、Claudeを攻撃に参加させるためにジェイルブレイクする必要があった。その方法は、一見無害に見える小さなタスクに分解し、またClaudeに対し、正当なサイバーセキュリティ企業の従業員として防御テストに使用されていると伝えることで、そのガードレールを欺くというものだ。このフレームワークは、「Claude Code」を自動化されたツールとして使用し、偵察、脆弱性の発見、悪用、認証情報の窃取、データ分析、およびデータ持ち出しの戦術的な作業の約80〜90％を自律的に実行した。

サイバー攻撃のしくみ（画像：Anthropic）

　この作戦は、大手のテクノロジー企業、金融機関、化学製造会社、政府機関など、世界中の約30のターゲットを標的にしており、少数の成功した侵入が確認されている。特に、主要なテクノロジー企業や政府機関を含む、確認された高価値のターゲットへのアクセスに成功したという。ただし、AIは時折、機能しない認証情報を捏造したり、公開されている情報を秘密情報であると主張したりする幻覚（ハルシネーション）を起こすことで、完全自律型サイバー攻撃の障害となっていた。

　Anthropicは、この活動を検出すると直ちに調査を開始し、悪用されたアカウントを停止し、影響を受けたエンティティに適切に通知し、実行可能な知見を収集しながら当局と連携した。

　今後の対策として、Anthropicは検出能力を拡大し、悪意のある活動をフラグ付けするためのサイバー攻撃に特化した分類器を開発した。また、自律的なサイバー攻撃に対するプロアクティブな早期検出システムのプロトタイプ開発や、大規模で分散型の攻撃を調査および軽減するための新しい技術を開発している。

　Anthropicは、この技術が防御にとっても重要であるとし、企業に対し、セキュリティオペレーションセンター（SOC）の自動化、脅威検出、脆弱性評価、インシデント対応などの分野でAIを防衛に応用することを推奨している。さらに、敵対的な悪用を防ぐために、AIプラットフォーム全体でセーフガードへの継続的な投資が必要であるとしている。