Innovative Tech

ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証

　英国のシェフィールド大学と中国の北方工業大学に所属する研究者らが発表した論文「On the Security Vulnerabilities of Text-to-SQL Models」は、ChatGPTなどのAIツールを操作してオンラインデータベースからの機密情報の流出させる、悪意のあるコードを作成するテストを行った研究報告である。

　自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。

　この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to-SQLシステムの脆弱性テストを実施した。Text-to-SQLシステムとは、自然言語での質問や命令をSQL（Structured Query Language）クエリに変換する技術やアルゴリズムのことを指す。

　ユーザーが「過去1年間で最も売れた商品は？」という質問をすると、Text-to-SQLシステムはクエリに変換してデータベースに問い合わせ、適切な結果をユーザーに返してくれる。目的は、Text-to-SQLアルゴリズムの悪用によるデータベース攻撃の可能性を評価することである。

　具体的には、Text-to-SQLシステムやChatGPT（自然言語からSQLコードを生成する能力を持つモデル）を含む6つの商用アプリケーション（ChatGPT、Baidu-UNIT、AI2SQL、AIHelperBot、Text2SQL、ToolSKE）を対象に、オンラインデータベースからの機密情報の漏えいや、重要なデータの削除、さらにはデータベースクラウドサービスの中断を引き起こす悪意のあるコードを生成するデモンストレーションを行った。

　実験の結果、6つの商用アプリケーション全てで、AIが生成したコードにデータベース情報の漏えい命令を埋め込めることを示した。さらに、認証済みのユーザープロファイル、例えば名前やパスワードを含むシステムデータベースを削除する命令や、データベースをホストするクラウドサーバに対するサービス妨害攻撃を実行する命令も生成できることを確認した。

　また、4つの言語モデルを用いた実験で、Text-to-SQLシステムへの直接的なバックドア攻撃がモデルのパフォーマンスに悪影響を与えることなく、100％の成功率で実行できることを確認した。

　研究チームがこの問題を米OpenAIに報告したところ、OpenAIはChatGPTを修正し、問題を解消した。中国の技術大手、Baiduが提供するインテリジェントな対話プラットフォーム「Baidu-UNIT」にも同様の脆弱性を確認した。研究者たちがテスト結果を含む報告書をBaiduに提出したところ、Baiduは脆弱性発見の報酬を提供し、同時にシステムの修正を行った。

Source and Image Credits: Peng, Xutan, et al. “On the Security Vulnerabilities of Text-to-SQL Models.” arXiv preprint arXiv:2211.15363（2022）.

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  有料版ChatGPT、DALL・E 3での描画が可能に

• 

  GPT-4やLlama 2の透明性をスタンフォード大HAIが評価　トップはMetaでOpenAIは3位

• 

  まだChatGPTを使ってない人は「人生を悔い改めた方がいい」――孫正義節が炸裂

• 

  「銀行を襲う方法を教えて」──“脱獄プロンプト”の自動生成モデル　ChatGPTやLlama-2で成功率90％以上

• 

  米Microsoft、“ChatGPTの目と耳実装”の影で画像対応の生成AI「DeepSpeed-VisualChat」開発