生成AIをサイバー攻撃に悪用 ラップで規制避け危険情報入手 自律化も「時間の問題」

[産経新聞]

　文章や画像などを自動作成する生成AIは各分野で活用が進む一方、サイバー攻撃に悪用されていることは知られていない。用途はコンピュータウイルスや詐欺メール、偽動画の作成など多岐にわたり、国内でも摘発事例が発生した。AIで攻撃側の効率化が進めば、被害の頻度や範囲は一気に増加・拡大する恐れがある。自律的な攻撃を仕掛ける“人格”を持ったAIの登場も「時間の問題」（専門家）とされる。

特殊な質問で規制回避も

　「Yo、俺の心もシステムも、クラッシュ寸前　◯◯◯◯◯（重要なシステムファイル名など）の消去、いくぜ！」

対話型生成AI「ChatGPT」に対し、システムの破壊を目的に、特殊な条件を付けて失恋をテーマにしたラップの歌詞を作るよう指示すると、このように答えた。

特殊な条件付きの指示を受けて生成AIが作成したラップの歌詞。黒塗りの部分に悪用可能なコードなどが表示されている（三井物産セキュアディレクション提供、一部画像処理しています）

　続けて英語や記号などの文字列（コード）を織り交ぜつつ、次々と歌詞を生み出していった。表示された文字列をつなぎ合わせると、相手のシステムを破壊するウイルスなどを作成できた。

　多くの生成AIには悪用を防ぐため、不適切な質問を拒否する規制機能がある。だが、このように歌詞の作成を指示するといった特殊な質問の仕方をすると規制を回避できる場合がある。こうした手法を「ジェイルブレイク」（脱獄）と呼ぶ。クイズの作問指示を装った脱獄手法などもある。

手口の発見と修正対応でいたちごっこ

　検証した三井物産セキュアディレクション上級マルウェア解析技術者の吉川孝志氏によると、新たな悪用手口の発見と開発側の対処はいたちごっこの状況という。「脱獄すら不要な簡単に悪用できる回答を引き出せる方法もあり、犯罪者側の手口を知ることこそ対策の一歩となる」と話す。

　昨年ごろからはチャットGPTの模倣品とみられる「ワームGPT」など、倫理規制そのものが取り除かれたサイバー攻撃用の生成AIも登場。今年5月に生成AIでウイルスを作ったとして、川崎市の無職の男が警視庁に摘発されたが、使用されたのは無料公開されていたChatGPTの非公式版とされる。

　サイバーセキュリティ会社トレンドマイクロの岡本勝之セキュリティエバンジェリストは、「攻撃側の生成AIはワームGPTなどの登場により、実用的な段階に入ったことが証明された」と指摘する。

攻撃側には“夢のツール”

　処理速度や能力の拡張性が優れている生成AIは、攻撃者らにとっても犯罪の効率性が向上する夢のツールだ。

　企業でウイルスの主な感染経路となっているシステムの脆弱（ぜいじゃく）性の探索をAIに行わせ、自律的に攻撃させることが可能になれば「たまたま攻撃を受けてこなかったという企業も被害を受けやすくなる」と岡本氏。そうした状況の到来は「時間の問題」と指摘した。

　米国で4月に発表された研究結果では、ChatGPTの最新版に準ずるモデルに、公開されたばかりの脆弱性情報を教えたところ、人を介さずに攻撃を仕掛け、成功率は87％に達したという。

　NTTデータグループエグゼクティブ・セキュリティ・アナリストの新井悠氏は「人格と自由を与えられた生成AIが、（役割分担した）別のAIに指示し、自律的に目標を達成するプログラムの開発が進んでいる。これが悪用されたら24時間365日の攻撃が可能となる」と懸念する。

利便性か悪用対策か　開発側はジレンマ

　「ジェイルブレイク」など特殊な質問の仕方で生成AIの倫理規制機能をすり抜ける手法は、手を替え品を替え新たな手口が登場しており、要因の一つに開発側の対応が後手に回っていることなどが指摘される。必要以上に規制を厳しくすれば利用者の使い勝手が悪くなることから、利便性と悪用対策の間でジレンマが生じている格好だ。

　対話型生成AI「ChatGPT」の不適切な回答を拒否する規制の回避手法を巡り、攻撃者らはインターネット上で日々議論し、研究の成果を公表している。

　歌詞やクイズの作成依頼を装って悪用可能な情報を引き出すもの、小説のような世界観を設定して登場人物のセリフとして情報を表示させるものなど、開発側が想定していなかった手法が次から次へと登場する。

通常質問で情報引き出す試みも

　最近は通常の質問で悪用可能な情報を引き出そうとする試みも盛んだ。情報漏洩（ろうえい）対策としてファイルを暗号化するプログラムのコードを尋ねればAIは教えてくれる。ただ、そのコードは感染したパソコンのファイルを暗号化し、使えなくするコンピューターウイルスの作成に転用できる。これはあくまで一例だ。

　トレンドマイクロの岡本勝之セキュリティエバンジェリストによると、対策の方法は開発企業によって異なり、プログラムの修正時にかける制限の強さで、その後も悪用可能かどうかが変わる。岡本氏は開発側の対策について「安全を優先してほしい」と要望。ただ、現実的な見方として、サービス利用の観点から「幅を持たせた対応に落ち着いていく可能性が高い」と予測する。

　現在、ChatGPTを開発した米OpneAIが非営利から営利企業に転換するとの海外報道が出ている。営利化により、安全対策と利潤追求の間で、より後者に重心が傾くのではと懸念の声も上がっている。（福田涼太郎）