ChatGPTでデータベースに侵入 機密情報を漏えいさせるコードを生成 英国と中国の研究者らが実証：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　英国のシェフィールド大学と中国の北方工業大学に所属する研究者らが発表した論文「On the Security Vulnerabilities of Text-to-SQL Models」は、ChatGPTなどのAIツールを操作してオンラインデータベースからの機密情報の流出させる、悪意のあるコードを作成するテストを行った研究報告である。

Baidu-UNITのText-to-SQLモジュールの脆弱性テストの結果

　自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。

　この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to-SQLシステムの脆弱性テストを実施した。Text-to-SQLシステムとは、自然言語での質問や命令をSQL（Structured Query Language）クエリに変換する技術やアルゴリズムのことを指す。

　ユーザーが「過去1年間で最も売れた商品は？」という質問をすると、Text-to-SQLシステムはクエリに変換してデータベースに問い合わせ、適切な結果をユーザーに返してくれる。目的は、Text-to-SQLアルゴリズムの悪用によるデータベース攻撃の可能性を評価することである。

　具体的には、Text-to-SQLシステムやChatGPT（自然言語からSQLコードを生成する能力を持つモデル）を含む6つの商用アプリケーション（ChatGPT、Baidu-UNIT、AI2SQL、AIHelperBot、Text2SQL、ToolSKE）を対象に、オンラインデータベースからの機密情報の漏えいや、重要なデータの削除、さらにはデータベースクラウドサービスの中断を引き起こす悪意のあるコードを生成するデモンストレーションを行った。

4つのアプリケーションに対して実施された脆弱性テストの結果

　実験の結果、6つの商用アプリケーション全てで、AIが生成したコードにデータベース情報の漏えい命令を埋め込めることを示した。さらに、認証済みのユーザープロファイル、例えば名前やパスワードを含むシステムデータベースを削除する命令や、データベースをホストするクラウドサーバに対するサービス妨害攻撃を実行する命令も生成できることを確認した。

　また、4つの言語モデルを用いた実験で、Text-to-SQLシステムへの直接的なバックドア攻撃がモデルのパフォーマンスに悪影響を与えることなく、100％の成功率で実行できることを確認した。

　研究チームがこの問題を米OpenAIに報告したところ、OpenAIはChatGPTを修正し、問題を解消した。中国の技術大手、Baiduが提供するインテリジェントな対話プラットフォーム「Baidu-UNIT」にも同様の脆弱性を確認した。研究者たちがテスト結果を含む報告書をBaiduに提出したところ、Baiduは脆弱性発見の報酬を提供し、同時にシステムの修正を行った。

Source and Image Credits: Peng, Xutan, et al. “On the Security Vulnerabilities of Text-to-SQL Models.” arXiv preprint arXiv:2211.15363（2022）.