生成AIのセキュリティ演習は“それっぽく見えるだけ”？ 「AIレッドチーミング」を考える：小林啓倫のエマージング・テクノロジー論考（3/4 ページ）

[小林啓倫，ITmedia]

　まず挙げられるのは「レッドチーミング」の定義と、その活動範囲のあいまいさだ。生成AIシステムに対するレッドチーミングとは何を意味するのか、どこまでを対象とすべきか、明確な合意が得られてないという指摘である。

　例えばMicrosoftは、AIレッドチーミングについて解説したブログ記事で「AIのレッドチーミングは（従来のレッドチーミングに比べ）より広範囲に及んでいる」と指摘。前述の通り、従来のレッドチーミングでは「攻撃」という観点でテストが行われる。しかしAI、特に生成AIの場合には、ユーザーに「攻撃」の意図がなくても望ましくない結果が生じることがある。

　例えば、女性の顧客から来た質問に対し、その回答文を生成AIに考えさせた際に、ハルシネーションあるいはバイアスが原因で、不適切な回答が行われてしまうといった具合だ。これはセキュリティの問題というより「AIが適切な形で使用されるかどうか」という問題であり、従来のレッドチームであれば確認しようとしないだろう。

　しかし生成AIの場合には極めて重要であり、レッドチーミングの中で確認すべきと判断される場合も多いことから、Microsoftは「AIレッドチーミングは現在、セキュリティとRAI（責任あるAI）の両方の結果を調査するための包括的な用語となっている」と解説している。

　他にも多くの異なるアプローチが「レッドチーミング」という言葉で束ねられようとしており、それが具体的に何を意味し、どこまでの活動が含まれるのかを明確にしないと、そのゴールも不明確なものとなり、関係者全員にとって納得できる結果が得られない可能性がある。

発展途上技術ならではの懸念も

　次の懸念点は、レッドチーミング活動の実行性に対するものだ。生成AIシステムはさまざまな構成要素から成り、従って攻撃可能な箇所も多岐にわたる。

　エンドユーザーという立場からプロンプトを通じて行われる攻撃は当然として、他にもRAG（検索拡張生成）で使用されるデータを改ざんする攻撃や、生成AIアプリケーションが使用しているモデル（外部開発のLLMなど）に対する攻撃なども考えられる。それらを全て検証するには、膨大な時間とリソースが必要になる。

　また前述のように、レッドチーミングに含まれる内容も拡大を続けている。従来の意味での「攻撃」だけでなく「責任あるAI」という観点からの検証も必要だ。さらに生成AI自体が発展途上の技術であり、それに対する攻撃手法が日々生まれていることに加え、RAGのような周辺技術や手法に関する進化も無視できない。そのような状況下では、「あらゆる可能性を網羅するレッドチーミングを実施した」と言い切ることは難しい。

　第3の懸念点は、結果の分析と活用に関する部分だ。前述のように、生成AIとその関連技術自体が常に進化と変化を続けており、レッドチーミングの対象範囲も拡大しつつある。従って仮にそれをやり切ることができたとしても、検証を通じて得られたデータもまた、膨大かつ多種多様なものとなり、分析が難しくなることが指摘されている。

　それはさらに、分析結果が活用されにくいという問題を生む。例えば、さまざまな攻撃手法・攻撃対象を通じて、あるAIチャットbotが自社にとって致命的な誤回答をする可能性があると示された場合、それにどう対応すべきかを即座に判断することが難しい。

　単に知見をまとめるだけでなく、具体的な改善点や改善スケジュールといった、実行可能なアクションプランにまで落とし込むことが望ましいわけだが、それにはさらなる時間や予算、人的リソースが必要になる。

生成AIレッドチーミングに適したチームとは？

　最後に、これら3つに関係する懸念点として、人的リソースやチーム構成に関する問題が挙げられている。

　さまざまな課題に対応し、レッドチーミング活動を最後まで遂行できる人材を果たして集められるのか、集められたとして（MicrosoftやGoogleなどのように）社内の常設チームとするのが良いのか、あるいは（OpenAIのように）外部の有識者を都度頼るのが良いのか、また継続的にレッドチーミング活動を行うために、彼らを確保する予算をねん出できるのかといった具合だ。

　また人材の問題に関しては、チームメンバーのバイアスという問題も指摘されている。これは第1の懸念点にも関係する話だが、レッドチーミングに「責任あるAI」に関する分野の対応も求められるようになると、チームはより社会的・文化的な検証を行わなければならない。しかしそれは、さまざまなバイアスが問題を起こすリスクも高まるということであり、レッドチームに参加するメンバーの選考はより難しいものになる。

　例えば簡単な例として、ある企業が顧客向けAIチャットbotの検証をしている際に、そのレッドチームに参加するメンバーが男性ばかりだったとしよう。もちろん全ての男性がバイアスを持っているわけではないが、女性の視点から見た場合の問題を察知するのは困難になる。

　特に特定の性別や人種、地域などだけに限定にしたビジネスを行っているのではない場合（ほとんどの企業がそうだろう）、幅広い視点で検証できるチームを構築する必要がある。