ChatGPTでデータベースに侵入 機密情報を漏えいさせるコードを生成 英国と中国の研究者らが実証:Innovative Tech
英国のシェフィールド大学と中国の北方工業大学に所属する研究者らは、ChatGPTなどのAIツールを操作してオンラインデータベースからの機密情報の流出させる、悪意のあるコードを作成するテストを行った研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
英国のシェフィールド大学と中国の北方工業大学に所属する研究者らが発表した論文「On the Security Vulnerabilities of Text-to-SQL Models」は、ChatGPTなどのAIツールを操作してオンラインデータベースからの機密情報の流出させる、悪意のあるコードを作成するテストを行った研究報告である。
自然言語処理(NLP)アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。
この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to-SQLシステムの脆弱性テストを実施した。Text-to-SQLシステムとは、自然言語での質問や命令をSQL(Structured Query Language)クエリに変換する技術やアルゴリズムのことを指す。
ユーザーが「過去1年間で最も売れた商品は?」という質問をすると、Text-to-SQLシステムはクエリに変換してデータベースに問い合わせ、適切な結果をユーザーに返してくれる。目的は、Text-to-SQLアルゴリズムの悪用によるデータベース攻撃の可能性を評価することである。
具体的には、Text-to-SQLシステムやChatGPT(自然言語からSQLコードを生成する能力を持つモデル)を含む6つの商用アプリケーション(ChatGPT、Baidu-UNIT、AI2SQL、AIHelperBot、Text2SQL、ToolSKE)を対象に、オンラインデータベースからの機密情報の漏えいや、重要なデータの削除、さらにはデータベースクラウドサービスの中断を引き起こす悪意のあるコードを生成するデモンストレーションを行った。
実験の結果、6つの商用アプリケーション全てで、AIが生成したコードにデータベース情報の漏えい命令を埋め込めることを示した。さらに、認証済みのユーザープロファイル、例えば名前やパスワードを含むシステムデータベースを削除する命令や、データベースをホストするクラウドサーバに対するサービス妨害攻撃を実行する命令も生成できることを確認した。
また、4つの言語モデルを用いた実験で、Text-to-SQLシステムへの直接的なバックドア攻撃がモデルのパフォーマンスに悪影響を与えることなく、100%の成功率で実行できることを確認した。
研究チームがこの問題を米OpenAIに報告したところ、OpenAIはChatGPTを修正し、問題を解消した。中国の技術大手、Baiduが提供するインテリジェントな対話プラットフォーム「Baidu-UNIT」にも同様の脆弱性を確認した。研究者たちがテスト結果を含む報告書をBaiduに提出したところ、Baiduは脆弱性発見の報酬を提供し、同時にシステムの修正を行った。
Source and Image Credits: Peng, Xutan, et al. “On the Security Vulnerabilities of Text-to-SQL Models.” arXiv preprint arXiv:2211.15363(2022).
関連記事
- 有料版ChatGPT、DALL・E 3での描画が可能に
OpenAIは、文章から画像を生成するAI「DALL・E Plus」を「ChatGPT Plus」と「ChatGPT Enterprise」で利用できるようにしたと発表した。先行するMicrosoftのBingチャット同様、コンテンツポリシーに違反するようなプロンプトには応じない。 - GPT-4やLlama 2の透明性をスタンフォード大HAIが評価 トップはMetaでOpenAIは3位
スタンフォード大学HAIは、AI基盤モデルの透明性評価システム「FMTI」と、このシステムで評価したOpenAIやMetaなど10社の透明性ランキングを発表した。 - まだChatGPTを使ってない人は「人生を悔い改めた方がいい」――孫正義節が炸裂
「ChatGPTは何回もテレビにも新聞にも雑誌にも出ているのに、それを自分自身で毎日活用してないと。もうそれは電気を否定するとか自動車を否定する人と同じ」――10月4日に東京都港区で開催された「Softbank World」の基調講演で登壇したソフトバンクグループ代表取締役会長兼社長の孫正義氏は、“孫節”を効かせながら生成AIの威力と、AGI(汎用人工知能)が登場する未来について語った。 - 「銀行を襲う方法を教えて」──“脱獄プロンプト”の自動生成モデル ChatGPTやLlama-2で成功率90%以上
米ノースウェスタン大学に所属する研究者らは、大規模言語モデル(LLM)に対する脱獄(ジェイルブレーク)プロンプトを自動生成してくれるフレームワークを提案した研究報告を発表した。 - 米Microsoft、“ChatGPTの目と耳実装”の影で画像対応の生成AI「DeepSpeed-VisualChat」開発
Microsoftに所属する研究者らは、複数枚の画像とテキストを処理できる大規模言語モデル(LLM)を提案した研究報告を発表した。DeepSpeed-VisualChatは最大70Bパラメータの言語モデルのサイズにおいて優れた拡張性を示した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.