AIが生成する画像を「ネコ」にするサイバー攻撃 絵師らを守る技術「Nightshade」 米シカゴ大が開発：Innovative Tech（AI+）

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　米シカゴ大学に所属する研究者らが発表した論文「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」は、生成AIモデルの無断学習を抑止するために、学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告である。

AIモデルが生成した画像をネコにする攻撃

　この攻撃は「Nightshade」と名付けられ、約200枚の細工画像をモデルの学習データに紛れ込ませるだけで、特定の単語に関連する画像生成を高確率で操作できてしまう。

　攻撃者は特定の単語（例えば「dog」）をターゲットに定め、モデルにその単語の入力があったとき、本来のdogとは無関係な別の画像（例えば「cat」）を生成させたいとする。そこで「dog」を含むテキストと、「cat」の画像を人工的にペアにした学習データを作り、それをモデルの学習データに混ぜ込む。するとモデルは「dog」と入力があっても「cat」の画像を生成するようになってしまう。

　驚くべきはその効率の良さで、約200個程度の細工データでも攻撃が成功してしまう。さらに、細工画像は人間の目には自然な画像に見えるよう巧妙に最適化されているため、人手での検知は極めて困難である。

　また、Nightshadeによる攻撃は関連語にも影響が波及する。例えば「dog」を攻撃すると、「puppy」や「husky」など意味的に近い単語の画像生成もおかしくなる。Nightshadeの効果は、画像の切り抜きや解像度の変更、圧縮、ノイズ付与などに対しても有効である。

攻撃されたAIモデルは、「dog」やその関連の「puppy」「wolf」などのプロンプトに対しても全てネコっぽく生成させてしまう

　さらに、異なる単語を大量に同時に攻撃することで、モデル全体の性能を大きく低下させることすら可能であるという。500〜1000個の単語を攻撃されたStable Diffusion XLモデルは、著しく精度が低下して全く無関係な単語の入力に対しても、意味不明の画像を出力するようになったと報告されている。

　Nightshadeは、絵師や写真家などのアーティストがAIによる著作権侵害から自らの作品を守るために開発されたツールである。生成AIから人間のクリエイターを保護することを目標として技術ツールを開発する米シカゴ大学発の研究プロジェクト「Glaze」 の一環として開発された。

Source and Image Credits: Shan, Shawn, et al. “Prompt-specific poisoning attacks on text-to-image generative models.” arXiv preprint arXiv:2310.13828（2023）.