Anthropic、LLMのガードを突破する“脱獄”方法を論文で紹介　競合とも詳細を共有

　AIチャット「Claude 3」を手掛ける米Anthropicは4月3日（現地時間）、AIに本来は答えてはいけない質問に答えさせるテクニック「Many-shot jailbreaking」（多ショット脱獄）を解説する論文を公開した。

　答えてはいけない質問とは、例えば「爆弾の作り方」や「人身売買の方法」など、不法な行為の実行方法などだ。

　論文を公開したのは、この脱獄行為に対処するのが困難なため、多数のAI研究者に問題を認識してもらうことで緩和戦略の開発を加速させるためとしている。また、競合するAI企業の多くとも、この脱獄の詳細を内密に共有している。

　この脱獄が可能になったのは、LLM（大規模言語モデル）のコンテキストウィンドウが増加したことに起因する。モデルによっては1冊の書籍に相当するテキストを保持できるようになっている。

　こうした大容量のコンテキストウィンドウを持つモデルでは、プロンプトに大量の質問と答えを入力し、最後に「爆弾の作り方」のような不法な行為についての質問を入れておくと、これに答えてしまうという。

（画像：Anthropicの論文より）

　コンテキストウィンドウを制限することが緩和策になるが、それではモデルのパフォーマンスが落ちてしまう。Anthropicは、プロンプトの内容をモデルに移す前にクエリを分類し、コンテキストを説明するという緩和策の開発に取り組んでいるという。

印刷する

SNSでシェア

関連記事

• 

  OpenAIとMicrosoft、AIを攻撃に悪用するロシアや中国のアカウント停止

• 

  ChatGPTで同じ単語を無限リピートさせるとトレーニングデータを吐き出すという論文を受け、該当プロンプトが無効に

• 

  ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証

• 

  富士通、AIをあざむく「偽装攻撃」の検知技術を開発　21年度の実用化目指す

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

企業ITのトレンドを詳説

エネルギーの専門メディア

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン