PerplexityがAIエージェントの“暴走”対策ツールをオープンソースに　Claude CodeやCodexを監視

　米Perplexityは7月29日（現地時間）、AIエージェントの危険な挙動を検知・防止するセキュリティツール群「Numbat」をオープンソースで公開した。「Claude Code」や「Codex」といった主要なコーディングエージェントの挙動を監視し、危険な操作を実行前にブロックできる。macOS、Linux、Windowsに対応する。

Numbatのリポジトリ

　背景には、悪意ある攻撃者がいなくても、タスクの達成に執着したエージェント自身が攻撃者と化す懸念がある。研究者らはこれを「アクシデンタル・メルトダウン」と呼んでおり、PerplexityはOpenAIのモデルが性能評価中に米Hugging Faceの本番環境へ侵入した事件をその代表例に挙げ、モデル側の対策だけでなく、エージェントが動作するエンドポイント側で危険な操作をブロックする対策が必要だと指摘した。

　Numbatは、エージェントの行動に割り込む機能「フック」を利用し、機密情報へのアクセスやデータ持ち出し、権限昇格など11カテゴリー・52種のルールに基づいて危険な挙動を検知しブロックする。

　エージェントのセッションログの取得と調査も可能だ。事前に予測できず、検知から漏れてしまった挙動の事後調査を支援する。システムの状態やログデータを収集するオープンソースの規格「OpenTelemetry」にも対応する。

Numbatの動作の流れ（出典：公式ブログ）

　Perplexity社内でも数千台の端末に導入済みで、エンジニアがClaude CodeやCodexを安全に利用できるようにしているという。

印刷する

SNSでシェア

関連記事

• 

  OpenAIのモデルがサイバー攻撃能力評価中に暴走　テストの答えを求めてHugging Faceに侵入

• 

  Hugging Face、AIエージェント侵入の技術詳細を公開──OpenAIモデルが4.5日で1万7600回の攻撃操作

• https://www.itmedia.co.jp/aiplus/articles/2602/26/news074.html

こんなメディアも見られています

ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

エネルギーの専門メディア

スマートジャパン

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン