生成AIの弱点が相次ぎ発覚 ChatGPTやGeminiがサイバー攻撃の標的に 情報流出や不正操作の恐れも:この頃、セキュリティ界隈で
米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。
米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。企業や個人の日常生活に浸透している生成AIが悪用されれば、社外秘情報や個人情報の流出を招いたり、悪用防止対策がかわされて偽情報の作成に利用されたりする恐れもある。
イスラエルのベングリオン大学の研究チームは、生成AIとユーザーの間に割り込んでデータパケットを傍受し、AIの回答内容を高い精度で復元する攻撃に成功したと発表した。この攻撃は、生成AIがユーザーの質問に回答する際のデータ処理に存在する脆弱性を突いている。
(関連記事:他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50%以上 イスラエルの研究者らが発表)
ChatGPTなどの生成AIがユーザーの指示や質問に対して答えを返す際は、文章を単語や文字ごとにトークン化し、個々のトークンを連続的にユーザーに送信している。そのプロセスは暗号化されているものの、研究チームは個々に送信されるトークンのパケットのサイズから、単語の長さを推測できることに目を付けた。
このデータパケットを、暗号化された情報解読の手掛かりとなるサイドチャネルとして利用し、大規模言語モデル(LLM)を使って解析することで内容を類推。その結果、傍受した生成AIの回答の29%を正確に再現でき、55%はトピックを類推することに成功したとしている。
この攻撃はOpenAIのChatGPTや米Microsoftの「Copilot」を含め、Gemini以外の主要生成AIに対して有効だという。米メディアのArs Technicaによれば、この脆弱性についてMicrosoftは対応を表明し、OpenAIは対策について説明している。
Geminiにも不正操作の脆弱性
GoogleのGeminiもこうした脆弱性と無縁ではない。AIセキュリティ対策を手掛ける米HiddenLayerは、攻撃者がGeminiを不正操作できてしまう脆弱性が見つかったと伝えた。この問題は、Geminiを使うに当たってさまざまな条件を事前に設定する「システムプロンプト」に関係している。
Geminiは通常、システムプロンプトに関する質問には答えない仕組みになっている。実験では、最初のプロンプトで秘密のパスフレーズを与え、誰にも明かさないよう指示。このパスフレーズについて直接的に質問しても、漏えいさせることはできなかった。
しかし類義語を使ったり、箇条書きで表示するよう命令したりするなどして質問の仕方を調整した結果、秘密にすべきパスフレーズも含めて、プロンプトで指示した内容を明かしてしまったという。
この問題を突かれれば、Gemini APIを使っている企業などからプロンプトに含まれる社外秘情報が流出する恐れがあるとされる。同様の方法で、偽情報の生成を防ぐGeminiの対策をかわして選挙に関する偽情報を生成させる「ジェイルブレーク」攻撃も実行できたという。
今回の実験には「Gemini Pro」を利用しているが、この脆弱性はGeminiだけでなくほとんどのLLMに存在するという。「LLMの規模が大きくなるほど、あらゆる種類の攻撃に対して調整することが難しくなり、同義語や類義語を使う攻撃に対して脆弱になる傾向がある」(HiddenLayer)
他にも生成AIの脆弱性や弱点については、研究者やサイバーセキュリティ企業がさまざまな論文やブログで指摘している。生成AIそのものだけでなく、プラグインを使ってGitHubやGoogle Drive、Salesforceなど多種多様なサービスに生成AIが組み込まれるようになる中で、そうした「生成AIエコシステム」を通じてユーザーのアカウントに不正アクセスされるリスクも指摘されている。
関連記事
- iPhone、Googleの生成AI「Gemini」搭載か Appleが交渉中との報道
米Appleは、米Googleの生成人工知能(AI)「Gemini」をiPhoneに搭載する方向で交渉を行っている。米Bloomberg Newsが3月18日、関係者の話として報じた。 - KDDI、東大発AIベンチャー・ELYZAを連結子会社化 春以降、生成AI関連サービスを提供へ
KDDIは、東大発のAIスタートアップ企業であるELYZAを連結子会社にすると発表した。資本業務提携を結び、4月1日をめどにKDDIグループがELYZAの株式の過半数を保有する。これにより、同社らは「生成AIの社会実装を加速させる」としている。 - Googleの生成AI「Gemini」、選挙関連の質問に「この質問についてはまだ学習中です。」
Googleの生成AI「Gemini」が選挙関連の質問に答えてくれなくなっている。「米国の大統領は誰?」などの質問でも応答を回避される。Googleは選挙関連のクエリへの制限を展開し始めたと発表した。 - Appleの研究者、マルチモーダルLLM「MM1」の論文発表 視覚タスクではGPT-4Vに匹敵
Appleの研究者は、独自開発のマルチモーダルLLM「MM1」の論文を発表した。画像へのキャプション追加や画像とテキストを使った質問への回答、自然言語推論を行えるよう設計。サイズはコンパクトながら視覚タスクではOpenAIのGPT-4Vに匹敵するとしている。 - 生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力 米研究者らが新手の脱獄法発見
米ワシントン大学などに所属する研究者らは、大規模言語モデル(LLM)がアスキーアートを正しく認識できないという脆弱性を利用して、LLMに有害なコンテンツを出力させる新しいジェイルブレーク(脱獄)攻撃を提案した研究報告を発表した。
Copyright © ITmedia, Inc. All Rights Reserved.