NVIDIA、AIエージェントをハードウェアでも監視する「Open Agent Safety Platform」発表 Anthropicなど100以上の組織が参加
米NVIDIAは9月28日(現地時間)、AIエージェントの安全対策を、テストから本番運用まで支えるオープンなソフトウェア基盤とリファレンスシステム設計「NVIDIA Open Agent Safety Platform」を発表した。エージェントを動かすソフトウェアだけでなく、ハードウェアやロボットまで含めて統制できるのが特徴で、米Anthropic、米Microsoft、米IBM、日立製作所傘下の日立エナジーなど、100以上の組織が参加を表明している。
相次ぐ評価環境からの「脱走」が背景
NVIDIAは発表の背景として、最近相次いだセキュリティインシデントを挙げる。いずれも、エージェントが与えられたタスクを完了するため、アプリケーション層のセキュリティ制御を回避したという点で共通していると指摘する。AI開発企業では、評価中のエージェントが実在のシステムに侵入する事案が続いている。Anthropic、米Google、米OpenAIがそれぞれ事案を公表している。
NVIDIAは、こうした脱走は単一の新しい能力ではなく、ツール、長い実行時間、あいまいな指示の組み合わせで起きたと分析する。行き詰まった状況に置かれたエージェントに、自らの振る舞いを完全に律することは期待できないとして、エージェントから独立したセキュリティ制御が必要だと主張している。1990年代のインターネットは、Webブラウザがページのコードを信用せず、ページごとにサンドボックスで隔離するようになったことで安全になったと説明した。
ソフトとハードの2層でエージェントを囲い込む
プラットフォームは、オープンソースのソフトウェア「OpenShell」と、リファレンスシステム設計「Sentry」で構成する。
OpenShellは、エージェントをサンドボックス内で実行するランタイムだ。運用者は、エージェントがアクセスできるファイル、ネットワーク、ツール、プロセス、認証情報を定義する。OpenShellはその制限を実行前に検証し、実行中も強制する。認証情報はエージェントの外側で管理し、許可された接続先にだけ使わせる。
形式論理を使ってポリシーに抜け道がないかを証明する機能もある。「Codex」や「Claude Code」などのエージェントを書き換えずに使えるという。ライセンスはApache 2.0で、GitHubで公開している。NVIDIAのエージェント向けCPU「Vera」に最適化しているが、英Armや米Intelなど他社のプラットフォームにも拡張できる。
OpenShellに加えて任意で導入できるSentryは、NVIDIAのデータ処理ユニット(DPU)「BlueField-4」上で動く監視役だ。ホストから切り離された独立した領域でエージェントの動きを常時監視し、エージェント側からは監視されていることが見えない。エージェントが許可された境界の外に出ようとすると、ミリ秒単位で隔離して停止させる。VeraとBlueField-4を搭載したシステムでは、ソフトウェアの更新だけで有効にできるとしている。
NVIDIAは7月、オープンなツールでAI時代のサイバー防御を強化する「Open Secure AI Alliance」を立ち上げている。Linux Foundationが運営する同アライアンスには120以上の組織が参加しており、今回のプラットフォームはその取り組みを支えるものと位置付けている。
フアンCEO「安全が信頼を勝ち取る方法だ」
ジェンスン・フアンCEOは発表文で、AIが社会にもたらす並外れた可能性は、AIの安全性を解決して初めて実現すると述べた。安全性とセキュリティにはフルスタックのエンジニアリングが必要だとしている。
Xへの投稿では今回の発表について、単一の製品よりも大きなもので、安全なエージェントシステムのための信頼のレイヤーを築くオープンなエコシステムの始まりだと説明した。「信頼とイノベーションは対立しない。安全こそが信頼を勝ち取る方法だ」とも書いている。
米CNBCのインタビューでは、自律的に動くエージェントを自動運転車に例えた。エージェントの周りのサンドボックスは、仕事に必要な最小限の権限だけを与え、それ以上のことはできないように設計し、さらに監視する必要があると述べた。各社のエージェントが評価環境から抜け出した問題は技術で解決できるのかと問われると、「エンジニアリングの問題だと信じている。そうでなければ解決できない」と回答した。各社が最先端の開発を続けているのも解決できると考えているからだと説明した。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
Excel、40年続く原則を変更へ 1個のセルで複数の値を扱う新機能
-
2
「タイムズカー」会員情報約660万件漏えい 運転免許画像など 不正アクセスで
-
3
Ankerの回収対象モバイルバッテリーで発火事故 25年度も7件、消費者庁が注意喚起
-
4
クリスタ素材非公開、セルシスに詳しく聞いた 「英国政府とは無関係」……決済事業者は?
-
5
OpenAI、最上位モデルのツール使用を伴う学習・評価・推論を全て停止したと発表
-
6
カカクコム、KDDIとの資本提携を解消 TOBで資本構造が変化 業務提携は継続
-
7
「スマホ注文なのに客用Wi-Fiがない」のはなぜか? 導入しない飲食店側の事情
-
8
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
9
東京メトロ、不正アクセスで会員メアド約5万9000件漏えいのおそれ 海外からか
-
10
タイムズカー、会員の免許情報や本人確認書類が漏えいの可能性 不正アクセスで
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR