自社のAIが攻撃者のアシスタントに？ 「LLM Jacking」の深刻なリスク：コンサル視点で見るサイバー空間の脅威最前線

攻撃トレンドが“侵入からログイン”へ移行する中、企業のAIリソースを乗っ取って悪用する「LLM Jacking」の脅威が拡大しています。単なる高額な利用料の発生にとどまらず、侵入先のRAG環境などを悪用して「企業の機密情報を効率的に分析・奪取」する、AI時代の新たな攻撃実態とその深刻なリスクを解説します。

[村上純一（PwCコンサルティング合同会社），ITmedia]

　これまでの連載で、攻撃のトレンドが“侵入からログイン”に変化していることを紹介し、その中でもアンダーグラウンドでの認証情報の流出、インフォスティーラー、Click Fixの脅威について解説しました。ここからは、攻撃者が入手した認証情報を悪用してシステムに侵入した後に見られる生成AIの悪用について紹介します。

　現在、AIのビジネス活用は、避けては通れないものとなっており、既に多くの企業がAIを活用した業務システムや社員向けの対話型チャットbotなどを導入しています。一方、こうした仕組みは、侵入者も有益なツールと認識しており、侵入先のAIリソースを活用して自らの攻撃活動を劇的に加速させる「LLM Jacking」の脅威が拡大しています。

　本稿では、単なるリソースの不正利用（高額課金）といった表面的な被害にとどまらない、より深刻で検知が困難な脅威、「情報窃取の効率化」という本質的な危険性に焦点を当てていきます。

この連載について

PwCコンサルティングの村上純一氏が、地政学的な動向を踏まえたサイバー攻撃の最新の動向や新型マルウェアの挙動、それを踏まえて日本企業が取るべきセキュリティ対策について論じます。

サイバーセキュリティとAIの関係性

　まず前提となるサイバーセキュリティとAIの関係性を整理します。大きくは、「Cyber for AI」（AIのためのサイバー）、「AI for Cyber」（サイバーのためのAI活用）という考え方がありますが、攻撃、防御という観点を踏まえるとより細かく以下のように分類することができます。

サイバーセキュリティとAIの関係性（PwCコンサルティング作成）

　Cyber for AIは、AIを従来のITシステムと捉えると理解しやすく、「AIが攻撃される」「それに対して必要な対策」という整理になります。一方でAI for Cyberは、悪意の活動を含めていかにAIをセキュリティ目的に使うかという観点であり、AIの自律レベルが低いうちは人間がAIを利用して、その結果に基づいて判断・実行する形態を取ります。

　一方で、昨今話題となっているエージェント型AIのように自律レベルが高まった場合、人間の関与が不要となり、目的・目標に対して自律的に思考、判断、実行するという形態に変化していきます。特にサイバーセキュリティ業界では「Attack by AI」（AIによる攻撃）が注目を集めており、自律性・自動化がどこまで進んでいくのか、それによって攻撃・防御の在り方がどのように変化していくのか目が離せない状況となっています。

LLM Jackingとは何か？　AI時代の新たなハイジャック

　LLM Jackingは、上記の整理では「Attack using AI」に該当します。一般的に、Attack using AIと耳にすると「攻撃者が生成AIを使って外国語のフィッシングメールを生成している」というケースを連想します。

　ですが、LLM Jackingが悪用するAIは、世の中の生成AIサービスではなく、侵入先の企業ネットワーク内のAIシステムです。具体的には、攻撃者が脆弱性の悪用や認証情報の窃取などで企業ネットワークへ侵入し、LLMのAPIキーやサービスアカウントを乗っ取ります。その上で、企業が契約、開発、運用するリソースを不正に利用する一連の活動を指します。

　実際に、攻撃者がパッチ未適用のWebアプリケーションを起点に組織のクラウド環境へ侵入し、生成AIサービスの認証情報を窃取した手口が報告されています。攻撃者は窃取した認証情報でLLMのAPIを大量に呼び出し、そのアクセス権を第三者へ転売する仕組みを構築していました。被害組織のアカウントには1日当たり数万ドル相当のAPI利用料が発生する可能性がありました。

　攻撃のフローは、おおむね以下のように一般化することができます。

1. 初期侵入：窃取した認証情報によるログイン、脆弱性の悪用などの手段で社内ネットワークへ侵入し、足掛かりを築く
2. LLM関連の認証情報窃取：侵入先の環境を探索し、ソースコードや設定ファイル、CI/CDパイプラインなどに埋め込まれたLLMサービスのAPIキーやアクセストークンを窃取する
3. LLMサービスの不正利用：窃取した認証情報を使い、被害者企業の正規アカウントとして、LLMサービスを悪用する

　また、この脅威には大きく分けて2つの側面が存在します。

金銭的被害を伴うリソースの不正消費

　これはLLM Jackingが最初に注目されるきっかけとなりました。確認されたある事例では、攻撃者が脆弱なWebアプリケーションから侵入し、クラウド環境のLLMの認証情報を窃取し、そのAPIキーを使って大量の処理を実行することで高額のAPI利用料を発生させる手口が報告されています。また、攻撃者は、窃取したAPIキーをアンダーグラウンド市場で転売し、利益を得ていたことも確認されています。このような異常なコスト増は、比較的検知しやすい被害といえます。

内部情報に精通したアシスタントとしての活用

　攻撃者が企業のAIを「内部事情に精通した有能なアシスタント」のように利用し、秘密裏に情報窃取やさらなる攻撃準備を進める脅威です。攻撃者はAPIの呼び出し回数を低く抑え、コストの異常を発生させないように注意を払います。その水面下で、企業内の人・組織、プロセス、内部情報を効率的に分析し、システムへの侵入・被害を拡大します。

「静かな脅威」の危険性――攻撃者のボトルネックを解消するAI

　このLLM Jackingによる「静かな脅威」は、サイバー攻撃者にとって最大のボトルネックであった「侵入後の環境理解」を劇的に効率化します。従来、攻撃者がネットワークへの侵入に成功しても、すぐに目的（ランサムウェアの展開や機密情報の窃取）を達成できるわけではありませんでした。そこから、ネットワークの構造、サーバの役割分担、認証基盤の構成、機密情報が保管されていそうなファイルサーバの場所などを特定する、地道で時間のかかる作業が必要でした。

　この「侵入後活動」にどれほどの時間がかかるかは、セキュリティテストのガイドラインからもうかがい知ることができます。EU DORA（Digital Operational Resilience Act）規則に基づくフレームワーク「TIBER-BE」において以下のようなガイドが公表されています。

TIBER-BE の「Leg-up」に関する記載（出典： TIBER-BE / DORA-TLPT-BE National Implementation Guide）

　「Leg-up」と呼ばれる、実際のサイバー攻撃を想定したペネトレーションテストに関する箇所に、その記載はあります。テスト期間を有効に活用するために外部から初期侵入を補助する──つまり、攻撃者がシステムへの侵入に向けて入念な事前準備をすることはもちろんですが、侵入後の内部理解が最も難しく、そこに相応の時間を費やすことが示唆されています。

　LLM Jackingは、このゲームのルールを根本から変えます。攻撃者はもはや、手動でコマンドを打ち込み、膨大なログや設定ファイルを一つ一つ読み解く必要はありません。窃取した企業のLLM APIキーを使えば、入手したあらゆる情報をLLMに投入し、自然言語で分析させることが可能です。例えば、侵入先で大規模なソースコードやネットワーク図を入手した際、従来であれば専門知識に基づいて数日かけて解析していた作業も、LLM Jackingの手口を用いれば、以下のような質問を投げかけるだけで解決できる可能性があります。

• 「このコードベースの中から、認証処理に関する脆弱性（SQLインジェクションやハードコードされたパスワードなど）を全てリストアップして」
• 「このネットワーク構成図を分析し、外部からアクセス可能なサーバと、そこから内部のデータベースへ至る最も可能性の高い経路を3つ提案して」

　これによって、侵入から最終目的の達成までの時間は劇的に短縮され、防御側が対応する猶予はほとんどなくなってしまう恐れがあります。

RAG連携環境が乗っ取られた場合のリスク

　前述の例は、実はLLM Jackingに限った話ではありません。窃取した情報を持ち出し、一般的なLLMサービスを使うことでも同様の出力はできます。

　LLM Jackingの脅威が最大化するのは、その会社用に構築されたRAG（検索拡張生成）ベースのAI環境を攻撃者が乗っ取った場合です。RAGは、企業の社内文書、データベース、ナレッジベースといった独自のデータソースとLLMを連携させる技術です。これによって、AIは一般的な知識だけでなく、その企業固有の文脈や最新情報を踏まえた、極めて精度の高い回答を生成できるようになります。

　多くの企業が、顧客サポートの自動化や社内情報検索の効率化を目指し、このRAG環境の導入を推進しています。しかし、攻撃者がRAGと連携するLLM環境のAPIキーを窃取した場合、何が起こるでしょうか。攻撃者はもはや、ファイルサーバ内を一つ一つ探索して目的の情報を探す必要はなく、あたかも正規の従業員のように、自然言語でAIに質問するだけで、企業のナレッジそのものにアクセスできます。

• 「昨年度に進められたM＆Aプロジェクトに関する役員会議事録を要約して」
• 「パスワード紛失、失効時のリセットの手順を教えて」
• 「ITヘルプデスク担当者の一覧と担当業務を教えて」

　このような質問を投げかけるだけで、AIは連携先の社内文書データベースから的確に情報を探し出し、要約して攻撃者に提示します。

　本稿で見てきたように、LLM Jackingは、単なるリソースの不正利用という金銭的被害にとどまらず、攻撃者の侵入後活動を劇的に効率化し、情報窃取のリスクを根底から変えてしまう、まさにゲームチェンジャーというべき脅威です。AIの活用が企業競争力の源泉となる一方で、それが悪用された場合の被害は甚大なものとなります。

筆者紹介：村上純一（むらかみ・じゅんいち）

PwCコンサルティング合同会社　パートナー

国内大手セキュリティベンダーでマルウェアの収集・分析などに関する研究開発、脅威分析、脆弱性診断、トレーニングなどの業務に従事。その後、国産セキュリティベンダーに参画し、執行役員として基礎技術開発、製品開発、各種セキュリティサービス提供、事業経営などに携わり株式上場を経験。また、サイバーセキュリティ領域における各種外部委員活動の他、Black Hat、PacSec、AVARなどの国際会議での研究発表も手掛けている。グローバルレベルでのサイバー攻撃の手法や主体など脅威動向の把握から企業対応までを専門分野にしている。