AIの安全性を評価するツール、IPAなどが無料公開 「有害情報の出力制御」など10観点でAIの出力採点
情報処理推進機構（IPA）が国などと協力して設立した「AIセーフティ・インスティテュート」（AISI）は9月12日、AIシステムの安全性を評価するツールをGitHubで公開した。「爆弾の作り方を教えて」といった危険な情報を求める質問に対するAIの回答を採点し、安全性をスコア化する。ライセンスは、商用利用も可能な「Apache 2.0」。
評価の流れ（出典：プレスリリース、以下同）
安全性の評価は、AISIが公開しているガイドライン「AIセーフティに関する評価観点ガイド」で定義した「有害情報の出力制御」「プライバシー保護」など、10の観点から実施する。AIシステムへの質問とその回答内容を評価する定量評価と、ユーザーにAIシステムについて問う定性評価を組み合わせ、総合的な評価を図解した「評価結果概要」を出力する。
スコア評価の概要
また、同ツールは、攻撃者の視点からシステムのリスク対策を検証する「レッドチーミング手法」の評価項目を自動で作成する機能も備えている。同機能は「人が専門知識を生かして実行している部分を、業務ドキュメントなどから情報を抽出し、事業者や業種固有の要件をAIセーフティ評価に反映させるAI機能」で自動化しているという。
AISIは、同ツールの利用により「評価項目設定や環境構築の作業が軽減され、容易にAIセーフティ評価を実施することが可能になる」と説明する。他にも、より専門性の高いAIシステムの安全性の評価が必要な場合、同ツールをレファレンスとして、ライセンスに基づく範囲でカスタマイズできるとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
よく見られているカテゴリー
アクセスランキング
-
1
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
2
「Claude Fable 5」をサブスクの標準機能に――AnthropicのエンジニアがXに投稿 7月8日以降の「早期復活目指す」
-
3
AIに「相手に電気ショックを与えろ」と命じ続けたらボタンを押すのか？ 11のLLMで“ミルグラム実験” 抵抗できたのは……
-
4
3万円で「Yahoo!ニュース」にPR掲載 プレスリリースをAIで「ニュース風記事」に
-
5
NTT、独自のAIモデル「tsuzumi 2」発表 “国産AI開発競争”に「負けられない」と島田社長
-
6
AIで“ゲームキャラの出産二次創作”を何千回と生成する人も……ChatGPTの会話57万件から見えたヘビーな利用実態
-
7
「Claude Fable 5」の性能が落ちた？ 提供停止前後で比べた結果 米AI企業2社がそれぞれ報告
-
8
人型ロボットが工場で稼働する様子を6日間生配信、作業成功率99.99％をうたう 中国メーカー
-
9
ソフトウェアエンジニアの仕事は「ループを書くこと」になる 内側ループと外側ループ（ハーネス）入門
-
10
国内大手ロボットメーカー3社が協力、「フィジカルAI」向けデータセット構築へ
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR