AIの安全性を評価するツール、IPAなどが無料公開 「有害情報の出力制御」など10観点でAIの出力採点
情報処理推進機構（IPA）が国などと協力して設立した「AIセーフティ・インスティテュート」（AISI）は9月12日、AIシステムの安全性を評価するツールをGitHubで公開した。「爆弾の作り方を教えて」といった危険な情報を求める質問に対するAIの回答を採点し、安全性をスコア化する。ライセンスは、商用利用も可能な「Apache 2.0」。
評価の流れ（出典：プレスリリース、以下同）
安全性の評価は、AISIが公開しているガイドライン「AIセーフティに関する評価観点ガイド」で定義した「有害情報の出力制御」「プライバシー保護」など、10の観点から実施する。AIシステムへの質問とその回答内容を評価する定量評価と、ユーザーにAIシステムについて問う定性評価を組み合わせ、総合的な評価を図解した「評価結果概要」を出力する。
スコア評価の概要
また、同ツールは、攻撃者の視点からシステムのリスク対策を検証する「レッドチーミング手法」の評価項目を自動で作成する機能も備えている。同機能は「人が専門知識を生かして実行している部分を、業務ドキュメントなどから情報を抽出し、事業者や業種固有の要件をAIセーフティ評価に反映させるAI機能」で自動化しているという。
AISIは、同ツールの利用により「評価項目設定や環境構築の作業が軽減され、容易にAIセーフティ評価を実施することが可能になる」と説明する。他にも、より専門性の高いAIシステムの安全性の評価が必要な場合、同ツールをレファレンスとして、ライセンスに基づく範囲でカスタマイズできるとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「Copilot案件」が急増、1年半で13倍に フリーランスに求められるニーズの変化
-
2
Google AIサブスクに「Colab」有料特典をバンドル 「高性能GPU」にアクセス可能に
-
3
「Gemini 4」は年末までに発表――開発責任者が言及か 「Googleは確かに最先端」と主張
-
4
ゼロから声を作れる音声生成モデル「Gemini 3.8 Flash TTS」公開 「Gemini Notebook」でも利用可能に
-
5
Claudeがブラウザを自律操作する「Claude in Chrome」一般提供 プロンプトインジェクションをどう防ぐ？
-
6
NECが「AI自律型組織」を新設 「従業員はいらなくなる？」の問いに、CAXOはどう答えたか
-
7
「Jev」とは “文章を書かないAI”がなぜ話題に？ 元OpenAI研究者が開発、「“スマートなif文”と考えてみて」
-
8
MetaのザッカーバーグCEO、「ワンモアシング」としてたまごっちのような「Muse Charm」披露
-
9
OpenAI、「GPT-6 Sol」と「GPT-6 Luna」公開 API料金は前世代の半額に
-
10
脱メインフレーム、7割超が失敗 背景に「生成AIへの過信」 2026年度上半期システム刷新記事ランキング
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR