ニュース
Microsoft、生成AIシステムにおけるレッドチーム向けツール「PyRIT」を公開:セキュリティニュースアラート
Microsoftはセキュリティ専門家とMLエンジニアが生成AIシステムのリスクをプロアクティブに特定できるオープンな自動化フレームワーク「PyRIT」を公開した。PyRITはAIレッドチームの作業効率の向上が期待できる。
Microsoftは2024年2月22日(現地時間)、セキュリティ専門家やML(機械学習)エンジニアが生成AI(人工知能)システムのリスクをプロアクティブに発見できるオープンな自動化フレームワーク「PyRIT」(Python Risk Identification Tool for generative AI)を公開した。
これからのレッドチームに求められる要素とは?
Microsoftは、生成AIシステムにおけるレッドチームに求められる要素として以下を示している。
- 従来のレッドチームは主にセキュリティ障害の特定に重点を置いていたのに対して、生成AIシステムのレッドチームにはセキュリティリスクと「責任あるAI」におけるリスクの両方を特定する必要がある。責任あるAIにおけるリスクとは、公平性の問題を含むコンテンツの生成から根拠のないコンテンツや不正確なコンテンツの生成まで多岐にわたる
- 従来のソフトウェアシステムでは同じ攻撃パスを複数回実行すれば同様の結果が得られるが、生成AIシステムでは非決定論の層が何層にもわたって存在しており、同じ入力で異なる出力が提供されるなど確率論的な側面が強い。このため、レッドチームは生成AIシステムに対してはその基盤となる要素の確率的な性格を理解した戦略が必要となる
- 生成AIのシステムアーキテクチャはスタンドアロンアプリケーションや既存のアプリケーションへの統合、テキスト、音声、画像、動画の入出力モダリティまで多種多様である
これらの要素を踏まえて、生成AIシステムにおけるレッドチーム向けに開発されたフレームワークがPyRITだ。Microsoftの「AIレッドチーム」によって実践でテストされており、作業効率の向上が確認された。
PyRITは、レッドチーム担当者の既存のドメイン専門知識を強化し、面倒なタスクを自動化する。使用例としては、「Copilot」システムを使用したレッドチーム演習において、危害のカテゴリーを選択し、数千の悪意あるプロンプトを生成し、PyRITのスコアリングエンジンを使ってCopilotシステムからの出力を数週間レベルではなく数時間レベルで評価できた。
PyRITは業界全体でAIレッドチームのリソースを共有するという理念に基づいて開発されており、「GitHub」においてオープンソースソフトウェアとして公開されている。
関連記事
- 「完全にやりすぎ」 インシデント開示規則の撤廃を求める企業たち
ジョー・バイデン大統領は、企業に対してサイバーインシデントとガバナンスプロセスの開示を義務付けるSECの権限の剥奪を目的とした共同決議案を拒否する意向を示した。 - Microsoftの二要素認証を回避 120ドルで提供されるフィッシング・アズ・ア・サービスが登場
TrustwaveはTelegram経由で販売される新しいフィッシング・アズ・ア・サービス「Tycoon Group」について伝えた。Tycoon GroupはMicrosoftの2FAバイパスやCloudflareを利用したアンチbot機能など、高度なフィッシング技術を低価格で提供している。 - 「DNSに対する最悪の攻撃」 DNSSEC設計の根幹に関わる脆弱性「KeyTrap」が見つかる
ATHENEはDNSSECの設計に深刻な欠陥があると発表した。この脆弱性を悪用すると単一のDNSパケットで全てのDNS実装とパブリックDNSプロバイダーを停止状態にすることが可能だという。 - 高校生が学ぶ「情報II」が“本気すぎる” 研修にも使える教材のポイントを紹介
高校生の授業科目である「情報II」で学ぶ内容が非常に本格的だと話題になっています。大学時代に「情報」を学んでいた筆者が早速読んでみたところ、確かに“全くあなどれない”内容でした。
関連リンク
- Azure/PyRIT: The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
- Announcing Microsoft’s open automation framework to red team generative AI Systems|Microsoft Security Blog
Copyright © ITmedia, Inc. All Rights Reserved.