「Copilot for Securityを使ってみた」 セキュリティ担当者が感じた4つのメリットと課題（1/2 ページ）

一般提供が開始された生成AIチャットbot「Microsoft Copilot for Security」。これはセキュリティ業務の役に立つのだろうか。セキュリティ担当者が実際に使ってみたメリット／デメリットを語った。

[田渕聖人，ITmedia]

　日本マイクロソフトは2024年4月17日、生成AIチャットbot「Microsoft Copilot for Security」（以下、Copilot for Security）の顧客事例を紹介する報道関係者向け説明会を開催した。

　同説明会では、三井住友トラスト・グループのDX子会社であるTrust Baseと、金融機関などを対象にコンサルティングサービスを提供するシンプレクスによる、Copilot for Securityの導入・活用事例が語られた。Copilot for Securityを実際に使って見えてきたメリットや課題とはどのようなものか。

Copilot for Securityを使って見えてきた4つのメリットと課題感

　はじめにTrust Baseの中川 哲氏（DXプラットフォームセンター　センター長）が登壇し、Copilot for Securityのアーリーアクセスプログラム（EAP）参加の背景について話した。

Trust Baseの中川 哲氏（DXプラットフォームセンター　センター長）

　「EAPへの参加はセキュリティチームが抱える3つの課題の解消を図るものでした。1つ目はセキュリティ担当者のリソースとスキルの不足です。当社には5人のセキュリティエンジニアがいますが、インシデント対応経験が不十分でした。2つ目は守るべきセキュリティ領域の拡大です。そして3つ目がプロアクティブなセキュリティ運用が本格化できていないという点です。具体的には脅威インテリジェンスの活用がうまくできていませんでした。3つ目についてはSOCベンダーに頼れる部分もありますが、1つ目、2つ目についてはSOCベンダーによる支援だけでは限界があります。Copilot for Securityにはこの穴を埋めることを期待しました」（中川氏）

Copilot for SecurityのEAP参加の背景（出典：Trust Baseの発表資料）

　Trust Baseはラックの支援を受けてCopilot for Securityを導入した。なお、ラックもEAPに参加しており、その使い勝手についてはこちらの記事で所感を述べている。

　Trust BaseはCopilot for Security導入後、その性能評価に向けて「Microsoft 365 E5 Security」環境に対してペネトレーションテストツール「Cymulate」を使い、9つのテストシナリオで疑似攻撃を仕掛け、Copilot for Securityを使ってインシデント分析を実施した。なお、今回紹介する内容は2024年1〜2月に実施した結果で、現在も評価は続いている。

　評価の観点としては、Copilot for Securityに搭載された5つの主要機能をセキュリティ担当者が使った所感による定性評価に加えて、「Microsoft Sentinel incident investigation」「Microsoft 365 Defender incident investigation」、独自プロンプトという3つのプロンプトを使って以下の4項目を定量的に評価した。

1. 回答有無および内容（4段階評価）
2. 回答時間（秒）
3. 回答の正確性（4段階評価）
4. 回答の有用性（4段階評価）

　ペネトレーションテストの概要は以下の通りだ。

ペネトレーションテストの概要（出典：Trust Baseの発表資料）

　また、Copilot for Securityの5つの主要機能は以下の通りだ。

1. インシデント情報などの詳細情報を要約する機能
2. 脅威情報を加味してインシデントやアラートを分析する機能
3. インシデントへの対処方法を推奨する機能
4. Microsoft関連サービスのアラートやログデータを検索するデータ分析用のクエリ言語「KQL」（Kusto Query Language）クエリの自動生成機能
5. インシデントの報告用レポートを自動生成する機能

　定性評価から見ていこう。中川氏によると、5つの主要機能を使用したセキュリティ担当者の所感としては以下4つのメリットが挙がった。

セキュリティ担当者が感じた4つのメリット（出典：Trust Baseの発表資料）

　一方で定性評価における課題感としては以下が挙がったと中川氏は語る。

1. 複雑な問合せの場合、Copilot for Securityの回答に2〜3分程度の時間がかかる
2. Copilot for Securityの回答には、不正確な内容が含まれる場合がある
3. 詳細情報をリスト化する際に情報が欠落する場合や、日本語化する際に誤字が出る場合がある
4. より良い回答を得るために、プロンプトエンジニアリングを学習する必要がある

　「本来セキュリティアナリストが実施するような業務の全てをCopilot for Securityに置き換えられるとは思いませんが、ある程度セキュリティの知識を持った人材がインシデント分析を実施する際には役に立つと感じました。逆に全くセキュリティに関する知識がない人材が使ってもCopilot for Securityの性能を引き出すのは難しいでしょう」（中川氏）

　定量的な評価を実施した結果について、中川氏は以下の総評にまとめたと話す。回答の質にはやはりプロンプトエンジニアリングの質が大きく影響するため、今後は質のいい回答を引き出せるプロンプトをあらかじめ作成することが重要になるという。

回答の質と速さ（出典：Trust Baseの発表資料）

回答の正確性と改善要望（出典：Trust Baseの発表資料）