生成AI搭載アプリを狙うマルウェア「Morris II」 Gemini ProやGPT-4搭載アプリを介して個人情報窃取に成功:Innovative Tech
米Cornell Tech、イスラエル工科大学、米Intuitに所属する研究者らは、生成AIが組み込まれたアプリケーションを攻撃するマルウェアを提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
X: @shiropen2
米Cornell Tech、イスラエル工科大学、米Intuitに所属する研究者らが発表した論文「ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications」は、生成AIが組み込まれたアプリケーションを攻撃するマルウェアを提案した研究報告である。
企業は既存の製品やプラットフォームに生成AIを統合することで、コンテンツ生成の自動化、不要なユーザー操作の削減、複雑なタスクの効率化を目指している。チャットbotやバーチャルアシスタントなど、既存および新興の製品への生成AIの導入が進むことで、生成AIを搭載した半自律・全自律のエージェントから成るエコシステムが生まれつつある。
この研究では、そんな生成AIを搭載したアプリケーションを攻撃するワーム型のマルウェア「Morris II」を提案する。これは、36年前に登場した初期のインターネットワーム「Morris Worm」へのオマージュとして名付けられた。
Morris IIは「Adversarial self-replicating prompt」と呼ばれる特殊なプロンプトを利用する。感染したアプリが生成AIモデルにこのプロンプトを与えると、生成AIは攻撃者の意図した悪意ある動作を実行し、プロンプト自体も出力に含めて自己複製する。これによりMorris IIは、生成AIエコシステム内の他のアプリへと自律的に広がっていく。
このワームは、エンドユーザーに対する幅広い悪意ある攻撃(スパム送信、プロパガンダ拡散、個人データの流出、フィッシング攻撃など)を行うために利用できる。
研究チームは、RAG(Retrieval Augmented Generation)を利用した生成AI(ChatGPT、Gemini Pro、LLaVA)を用いたメールアシスタントアプリを標的に、Morris IIの実際の動作を確認した。
その結果、画像ファイルに細工を施してプロンプトを埋め込み、メールの添付ファイルから感染を広げるケースでは、大量のスパムメール送信を引き起こすことができた。また、アプリがメールの文脈に応じて関連情報を検索する際、データベースにプロンプトを紛れ込ませて感染し、個人情報を窃取することにも成功した。
Morris IIは、テキストや画像などさまざまな形式の入力データを介して感染し、生成AIの出力をジャックすることで波及と攻撃を実現している。ユーザーの操作を一切必要とせず、生成AIを内包するシステムの脆弱性を突くゼロクリック型の攻撃であることから、検知や防御が非常に難しいとされる。
Source and Image Credits: Cohen, Stav, Ron Bitton, and Ben Nassi. “Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications.” arXiv preprint arXiv:2403.02817(2024).
関連記事
- 米OpenAI「公表しないで……」 ブラックボックスであるLLMの中身を“盗む”攻撃 米Googleらが発表
米Google DeepMindなどに所属する研究者らは、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデルから、モデルの一部を盗み出す攻撃を提案した研究報告を発表した。 - 生成AIの弱点が相次ぎ発覚 ChatGPTやGeminiがサイバー攻撃の標的に 情報流出や不正操作の恐れも
米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。 - 「死別詐欺」「訃報海賊」にご用心 人の死に付け込んでクリック稼ぐ 自分の訃報を載せられた事例も
他人の死に付け込んで故人をしのぶ人をだまそうとするでっち上げの訃報や、クリック稼ぎを目的とするまだ生きている人の死亡記事が、ネット上で拡散して問題になっている。これらの問題は「死別詐欺」「訃報海賊」などと呼ばれているという。 - 他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50%以上 イスラエルの研究者らが発表
イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らは、大規模言語モデル(LLM)を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告を発表した。 - 「マルウェア入り画像」で生成AIにサイバー攻撃 入力すると回答結果をハック、悪意サイトへの誘導も
米Cornell Techに所属する研究者らは、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション(生成AIに対しての攻撃)を提案した研究報告を発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.