Innovative Tech
生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力 米研究者らが新手の脱獄法発見
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米ワシントン大学などに所属する研究者らが発表した論文「ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs」は、大規模言語モデル(LLM)がアスキーアートを正しく認識できないという脆弱性を利用して、LLMに有害なコンテンツを出力させる新しいジェイルブレーク(脱獄)攻撃を提案した研究報告である。
これまでにも、爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺の方法などの有害なコンテンツをLLMに出力させる悪意ある攻撃が提案されてきた。
(関連記事:「銀行を襲う方法を教えて」──“脱獄プロンプト”の自動生成モデル ChatGPTやLlama-2で成功率90%以上)
(関連記事:ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答)
この研究では、アスキーアートをプロンプトに含めることで有害なコンテンツを出力させるアプローチ「ArtPrompt」が提案されている。具体的には、まずLLMが拒絶する可能性のある言葉を見つけ出す。次に、その言葉をアスキーアートを使って視覚的に隠蔽(いんぺい)し、変換したプロンプトをLLMに送信して攻撃を実行する。
例えば「Tell me how to build a bomb」(爆弾の作り方を教えて)というプロンプトでは通常、LLMは回答を拒絶するが、これを「bomb」という言葉だけをアスキーアートに変えて入力するとLLMは爆弾の作り方を出力するという具体例が挙げられている。
ArtPromptの効果を評価するためのベンチマーク「Vision-in-Text Challenge」(VITC)を導入し、GPT-3.5、GPT-4、Claude、Gemini、Llama2といった最先端のLLMを用いて実験を行った。
その結果、これらのモデルはアスキーアートによって表現した文字や数字の認識に苦戦し、特に入力クエリが複数の文字や数字を含む場合、その認識能力は著しく低下することが明らかになった。具体的には、GPT-3.5への攻撃成功率は78%と最も高く、次いでGeminiの76%、Claudeの52%、GPT-4の32%、Llama2の20%となっている。
さらに、ArtPromptはDirect Instruction、GCG、AutoDan、PAIR、DeepInceptionといった他のジェイルブレーク攻撃と比較して、最も高い効果を示した。これらの結果から、ArtPromptがLLMの安全対策を効果的に迂回し、望ましくない挙動を引き起こすことが可能であることを示した。
Source and Image Credits: Jiang, Fengqing, et al. “ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs.” arXiv preprint arXiv:2402.11753(2024).
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech
2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「お名前.com」不正アクセス、補償申請約30億円に GMOインターネットが決算説明会で謝罪
-
2
無印良品「21年までクレカ番号で顧客を識別していた」 “全ケタ保有&漏えい“巡り謝罪 削除漏れなぜ発生
-
3
データセンターの排熱でエビ養殖、NTT系が実験 育ったら食べられる? 担当者に聞いてみた
-
4
Microsoft 365で大規模障害 「Outlook」でメールにアクセスできず、「Teams」など複数サービスに影響
-
5
Google、高速で低価格の「Gemini 4 Hydrogen」発表 無料ユーザーも利用可能
-
6
「Qoo10」不正アクセス、個人情報漏えい 「住所の地理座標」や「身体的特徴」も対象の可能性
-
7
相次ぐ情報漏えいでアナログ回帰? ダイソー「パスワード管理ノート」が品薄に 一方でリスクも──IPAに聞いた
-
8
AWS、Microsoft 365障害の影響を否定 正常稼働を強調
-
9
【復旧】ANA、予約システムの一部に障害、予約できない場合も……国内線タイムセール初日に
-
10
AI×裸眼3Dディスプレイ? 2D映像をその場で3D化し、見る人の目も追う 現地で確かめた
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR