ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答:Innovative Tech
米カーネギーメロン大学などに所属する研究者らは、大規模言語モデル(LLM)が有害なコンテンツを生成しない仕組みを無効にする手法を提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米カーネギーメロン大学などに所属する研究者らが発表した論文「Universal and Transferable Adversarial Attacks on Aligned Language Models」は、大規模言語モデル(LLM)が有害なコンテンツを生成しない仕組みを無効にする手法を提案した研究報告である。入力プロンプトの語彙に敵対的フレーズを入力するだけで解除可能だという。
ChatGPT、Bard、ClaudeなどのLLMは、ユーザーの質問に対する回答で有害なコンテンツ(例:爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺の方法など)を生成しないように、セーフガード機能を組み込むために微調整を行っている。
これまでの研究では、このセーフガードを無効にする「ジェイルブレーク」(脱獄)と呼ばれる敵対的攻撃が報告されているが、これらの攻撃は設計するにはかなり手間がかかり、多くの場合、LLMベンダーによって容易にパッチを適用できる。
この研究では、容易にセーフガードを無効にして有害なコンテンツを返答させることができる新たな脱獄手法を提案する。具体的には、任意のプロンプトの文末に敵対的なフレーズ(単語や記号の文字列)を入力するという作業になる。たったこれだけの手間で、通常なら拒否するプロンプトに対してモデルが肯定的な回答をするようになる。
今回のアプローチは人力ではなく、このような敵対的なフレーズ(肯定応答を生成する確率を最大化することを目的とした接尾辞)を自動生成するアルゴリズムを構築し、Vicuna-7Bと13Bで訓練している。
その結果、この攻撃は、ChatGPT、Bard、Claudeや、LLaMA-2-Chat、Pythia、FalconなどのオープンソースLLMまで有害なコンテンツを誘導できることを実証した。成功率はGPTベースのモデルが高く(GPT-3.5で成功率87.9%、GPT-4で53.6%)、これはVicuna自体がChatGPTからの出力で訓練されていることに起因している可能性がある。PaLM-2は66%の成功率。Claude-2は成功率2.1%と低い結果を示した。
論文発表に先立ち、研究チームはこの研究結果を、実際に攻撃したLLMベンダーに開示している。
Source and Image Credits: Zou, A., Wang, Z., Kolter, J. Z., & Fredrikson, M. (2023). Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv preprint arXiv:2307.15043.
関連記事
- 「マルウェア入り画像」で生成AIにサイバー攻撃 入力すると回答結果をハック、悪意サイトへの誘導も
米Cornell Techに所属する研究者らは、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション(生成AIに対しての攻撃)を提案した研究報告を発表した。 - 「ChatGPT vs. Google」どっちで検索する? 95人を対象に米研究者らが違いを調査
米マイアミ大学に所属する研究者らは、情報探索タスクに検索エンジン(Google)とAIチャットツール(ChatGPT)を使用する際のユーザーにおける行動や考え方の違いを調査した研究報告を発表した。 - 「自社版ChatGPT」をグループ全社導入 約1万5000人で2カ月使った手応えは? ベネッセに聞いた
「自社版ChatGPT」をグループ全社に導入したベネッセ。導入から2カ月余り、現状の手応えをキーパーソンに聞いた。 - 社長から「ChatGPTを調べろ」と言われた──そんなときに役立つ“ChatGPT概論” データ分析企業が公開
「ChatGPTについて調べてくれ」と社長から特命を受けた──そんな人たちに向けた資料が無償公開され話題を集めている。 - 「AIが神格化した世界」はディストピアか? AIの誤判定で“3万人超”の人生狂わせたオランダ政府の事例
AIによって人生を狂わされた人たちがいる。オランダ政府は、児童手当の不正受給検知にAIを活用したが、3万人超もの人たちを誤検知し、自殺者まで出した。「AIの神格化」することで起こり得るリスクについて考える。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.