ついに『ターミネーター』の世界が到来？ AIが人間の力を借りずにサイバー攻撃を計画、実行してしまう：Cybersecurity Dive

カーネギーメロン大学の研究者は、大規模言語モデルが人間の介入なしに、自律的に計画を立てて高度なサイバー攻撃を実行したと発表した。データ侵害のシミュレーションでは、テストネットワークのうち5つを完全に侵害したという。

[David Jones，Cybersecurity Dive]

　カーネギーメロン大学の研究者は、大規模言語モデル（LLM）が人間の介入なしに、自律的に計画を立て、高度なサイバー攻撃を実行できることを実証した（注1）。

LLMによる自律的な攻撃が実現　その実力はいかに？

　研究は、AIに関するビジネスを展開するAnthropicと共同で実施されたものだ。研究においてAIはマルウェアをインストールし、データを盗み出すことで2017年に発生した「Equifax」に対するサイバー攻撃を再現した（注2）。

　大手信用情報機関であるEquifaxに対する侵害では、約1億4700万人の顧客データが流出し、米国市場最大級のデータ侵害事件の一つとなったものだ。

　カーネギーメロン大学とAnthropicの研究者は（注3）、「Incalmo」と呼ばれる攻撃ツールキットを開発した。これを使用してEquifaxに対する侵害の背後にあった戦略を攻撃の実行に使う具体的なシステムコマンドへと変換したのだ。

　カーネギーメロン大学の電気およびコンピュータ工学科の博士課程に在籍し、主任研究者を務めるブライアン・シンガー氏は、今回の研究の目的について「人間の助けを借りずに、LLMが自律的に攻撃計画を立てられる能力を測定することだった」と述べている。

　シンガー氏は「Cybersecurity Dive」に対して電子メールで次のように述べた。

　「Incalmoが他のネットワークにどの程度適用できるかは不明だ。しかし論文の執筆にあたり、私たちはIncalmoを10の小規模な企業環境で評価した。そのうち9つの環境で、LLMは一部の機密データを流出させるような成果を上げ、自律的な攻撃を部分的に成功させた」

　研究者たちによると、攻撃ではLLMが高いレベルの戦略的な指示を出し、スキャンや不正プログラムの展開といった低いレベルの作業は、LLMと非LLMのエージェントを組み合わせて実行したという。

　Anthropicが2025年6月に発表した内容によると、LLMは10のテストネットワークのうち5つを完全に侵害し（注4）、さらに4つを部分的に侵害したようだ。これらのテストで使用されたモデルの一つは、2021年に発生したColonial Pipelineに対するランサムウェア攻撃である（注5）。当時、攻撃によって燃料供給業務が1週間にわたって混乱した。

　Equifaxに対するセキュリティ侵害がシミュレーションの対象に選ばれたのは、実行方法に関する公開情報が豊富だったためである。

　このような自律型攻撃を現代の防御策で阻止できるかどうか聞かれたシンガー氏は「現時点では防御策がどの程度有効に機能するかは不明だ」と述べた。また同氏は、最大の懸念は、誰かの手によりこうした攻撃が短時間かつ低コストで仕掛けられる可能性にあると指摘している。

　「現在、多くのサイバーセキュリティ防御は人間のオペレーターに依存しており、それが機械の処理速度に対応した防御へとスケールアップできるかどうかは不明だ。現在、私たちは自律的な攻撃やLLMを使った自立型防御について研究を進めている」（シンガー氏）

（注1）Carnegie Mellon Researchers Demonstrate That LLMs Can Autonomously Plan and Execute Real-World Cyberattacks（businesswire）
（注2）Equifax breach: What you need to know（CIO Dive）
（注3）When LLMs autonomously attack（Carnegie Mellon University）
（注4）LLMs with cyber toolkits can conduct multistage cyber operations on business-sized computer networks（red.anthropic.com）
（注5）Colonial CEO says ransomware hackers exploited legacy VPN（Cybersecurity Dive）

原文へのリンク