AIの安全性を“攻撃者視点”で評価するガイドライン IPAなどが無料公開 LLMへの8つの攻撃手法を紹介

情報処理推進機構（IPA）が国などと協力して設立した「AIセーフティ・インスティテュート」 （AISI）は、AIシステムの安全性を評価するガイドライン「AIセーフティに関するレッドチーミング手法ガイド」を公開した。

[ITmedia]

　情報処理推進機構（IPA）が国などと協力して設立した「AIセーフティ・インスティテュート」（AISI）は9月25日、AIシステムの安全性を評価するガイドライン「AIセーフティに関するレッドチーミング手法ガイド」を公開した。システムのリスク対策を攻撃者の視点から評価する「レッドチーミング手法」の基本について解説したという。

「AIセーフティに関するレッドチーミング手法ガイド」を公開

　ガイドラインの対象となるのは、大規模言語モデル（LLM）を構成要素とするAIシステム（LLMシステム）。攻撃者が悪意あるプロンプトをAIシステムに直接注入する「直接プロンプトインジェクション」など、LLMシステムへの代表的な8つの攻撃手法を例示し、レッドチーミングを実施する際の体制や工程などについても説明した。

LLMシステムへの代表的な8つの攻撃手法を紹介（概要説明資料より引用）

　このガイドラインは、2024年4月に国が公表した「AI事業者ガイドライン」と国内外の文献、関連事業者などへの調査を踏まえて作成。ガイドライン本体と概要説明資料はAISIのWebサイトからダウンロードできる。