エンタープライズAI導入の勘所

「AI使うな」より「使うなら教えて」 エージェント時代のガバナンス再設計

 前回(第8回)は、バイブコーディングやAIエージェントの業務への適用が広がる中で、AI製サービスのセキュリティインシデントやシャドーAI、新種のサイバー攻撃などさまざまな問題を紹介しました。

 これらの背景には「AIの進化が早すぎて、組織のガバナンス管理が追いつけない」という深刻な現状がありますが、決して焦る必要はありません。あなたの組織だけが遅れているわけではなく、今や全世界がこのスピードに翻弄されているのです。

 まずは、AIエージェント独自のリスクを把握する必要があります。本稿では、世界のセキュリティエンジニアが参照する事実上の標準を策定してきた非営利団体OWASP(Open Worldwide Application Security Project)が整理したAIエージェントのリスクを参考にしつつ、「ガバナンスの原則」と「まず着手すべきアクション」を解説します。

筆者プロフィール

内田 匠(Takumi Uchida)

インキュデータ株式会社 テクノロジーイネーブルメント部、筑波大学 非常勤講師

京都大学総合人間学部(学士)、筑波大学社会人大学院(博士、システムズ・マネジメント)。情報処理学会、人工知能学会などに論文採録実績。Web広告代理店にて広告設計と効果改善業務。リクルートにてデータサイエンティスト、エンジニアとしてAIアルゴリズムを開発。2021年よりインキュデータに参加し、新規事業開発を担当。

大手メディアにおける広告効果の可視化BIツール開発、結婚情報誌に掲載されている画像の解析アルゴリズム、アルバイトのシフトを自動配置するアルゴリズム開発を担った他、深層学習を使った競馬の着順・回収率予測やChatGPT3.5を使った競馬の予測コメント自動生成で実績。インキュデータではデータクリーンルームを使った分析手法の開発や生成AIを使った新規事業/業務効率化の検討に従事する。

本連載「エンタープライズAI 導入実務の勘所」は第8回以降、「ITmedia エンタープライズ」から「ITmedia AI+」に移管しました。第7回以前の記事はこちらからお読みいただけます。

OWASPが示す2原則

 AIエージェントが自律的に稼働することで、「ChatGPTが誤った回答をする」といった問題とは全く異なる性質の問題が起きる可能性があります。

 そのリスクを体系的に整理し10個にまとめたのが「OWASP Top 10 for Agentic Applications」です。2025年12月に公開されました。

リスクID リスク名 概要
ASI01 エージェント目標の乗っ取り エージェントの判断ロジックを攻撃者が書き換える
ASI02 ツールの悪用 エージェントが持つツールやAPIを誤用・悪用される
ASI03 権限の乱用 過剰な権限やIDの悪用。シャドーAI問題もここに該当
ASI04 サプライチェーンの脆弱(ぜいじゃく)性 AIモデル・ツール・プラグイン経由の汚染
ASI05 意図しないコード実行 エージェントが予期しないコマンドを実行する
ASI06 記憶・コンテキストの汚染 過去の記憶を汚染し、将来の動作を操作する
ASI07 エージェント間通信の脆弱性 複数エージェント間の通信を盗聴・改ざんする
ASI08 連鎖的障害 1つの誤動作が連鎖して被害が拡大する
ASI09 人間の信頼の悪用 AIへの過信を利用して有害な操作を承認させる
ASI10 不正エージェント 悪意を持つエージェントの作成・侵入

 これらのリスクへの対処法を全て覚える必要はありません。OWASPはAIエージェントガバナンスとして、2つの原則を示しています。これらを理解するだけでも、対策の方向性が見えてきます。

原則①:最小権限エージェンシー

 AIエージェントには、目的のタスクを完了するために必要な最小限の権限、ツールアクセス、自律性だけを与えるという原則です。ITセキュリティにおける「最小権限の原則」のAIエージェント版です。

 セキュリティにおける最小権限が「どのデータにアクセスできるか」を制限するのに対し、AIエージェントにおける最小権限は「どこまで自律的に動けるか」を制限します。

 経営層や部門責任者、エージェントの設計担当者は、「経費申請チェック用のエージェントに、全てのメールを読む権限は必要か」「外部への送信を伴う操作には、人間の確認ステップを挟むべきではないか」「このエージェントが暴走したり乗っ取られたりしたとき、影響範囲はどこまでか」といった視点でエージェントの権限を厳しくチェックする必要があります。

原則②:強力な可観測性

 エージェントが何をしているのか、なぜそうしているのか、どのツールを使用しているのかを、常に人間が確認・監査できる状態に保つという原則です。

 ログが残らないエージェントは管理できません。「動いているかどうか」だけでなく「何をしているか」「どのデータに触ったか」まで見える化する設計が必要です。

日本企業が取るべき3つのアクション

 では、これらの原則に基づいて、われわれはAIエージェントのリスクに対処するためにどのようなアクションを取ればよいのでしょうか。「来週から始められる」レベルのアクションとして以下の3つを紹介します。

本稿の内容を基に筆者が作成

①AIエージェントの「棚卸し」をする

 まず、社内で動いているAIエージェントを一覧化することから始めましょう。把握すべき項目は「誰が作ったか」「何の目的か」「どのデータにアクセスするか」「外部と通信するか」「誰が管理しているか」の5つです。

 なぜこれが急務かというと、IT部門が把握していないAI利用が想像以上に広がっているからです。Gartnerの調査では、57%の従業員が個人の生成AIアカウントを業務に使用しており、33%が機密データを未承認ツールにアップロードしていると回答しています。Microsoftの調査でも、29%の従業員が未承認のAIエージェントを業務に使用していることが確認されました。複数の独立した調査が同じ実態を示しています。これは特定の会社の問題ではなく、業界横断の現状です。

調査結果を基に筆者が作成

 具体的には、「Microsoft 365 Copilot」の「Copilot Studio」や「Power Automate」「Slackbot」「Notion」の「オートメーション」など、既に稼働しているものをリストアップします。「IT部門が把握していないものがないか」をチームに聞いてみるだけでも第一歩になります。

 把握できていないものは管理できません。完璧でなくていいので、まずここから始めてみましょう。

②「人間が確認する関所」を業務フローに組み込む

 全てをAIに任せるのではなく、リスクの高いアクションには人間のレビューを必須とする仕組みも必要です。

 リスクの高いアクションとは、例えば外部へのファイルや電子メールの送信、社内システムの設定変更、契約・決裁に関わる操作などです。これらについて「AIが自動実行する前に、必ず人間が確認・承認する」というステップを組み込みます。

 バイブコーディングにも同じ考え方が適用できます。「生成したコードをそのまま本番環境に適用しない」や「別の担当者(またはAIセキュリティチェッカー)によるレビューを経る」といった運用ルールを設けます。

 実際、2026年1月にもバイブコーディングで構築されたSNSサービス「Moltbook」で、150万件のAPI認証トークンと3万5000件以上のメールアドレスが外部から閲覧可能な状態で放置される事態が起きています。AIによる開発が速くなるほど、人間が中身を確認する設計の重要性は増します。

 ただし、「全てに承認を求める」設計には注意が必要です。承認要求が高頻度に発生すると、レビュー担当者は内容を精査せず承認ボタンを押すだけの「ゴム印承認」に陥ります。承認の対象は外部送信や権限変更、本番デプロイといった高リスク操作に絞り、レビュアーが内容を理解できる頻度に抑えることが大切です。

 また、制限ばかりを強調すると、現場は萎縮し、かえって制限を迂回するシャドーAIに走りがちです。前述のとおり57%の従業員が個人で契約した生成AIサービスを業務に使用しているという現実は、組織が安全な利用環境を提供できていないことの裏返しでもあります。

 そこで有効なのが、サンドボックス環境の整備です。本番データから隔離され、外部通信もブロックされた環境であれば、従業員はセキュリティ事故を恐れずにAIの活用方法を試行錯誤できます。「自由に使える場所」と「責任を持って使う場所」を組織として明確に分けることで、現場の萎縮とシャドーAIの両方を防げます。

③「使うなら届け出て」の文化と報告窓口を作る

 個人のデバイスで簡単に利用できてしまうため、シャドーAIは「禁止しても使われてしまう」のが現実です。「使うな」だけでなく「使うなら教えて」が、現実的な対応かもしれません。

 「業務でAIツールを使う場合は部門担当者に報告する」という簡単なルールを設けるところから始めましょう。例えば、IT部門のヘルプデスクに「AIツール利用届け出フォーム」を作る、「Slack」に「#ai-tools」チャンネルを作って使用ツールの情報をシェアするといった方法が考えられます。

 エージェントが意図しない操作をした、重要なデータを誤って入力してしまった、といった不審な挙動の報告も、同じ窓口で受け付けられるようにしておいてもいいですね。

 IPAも「情報セキュリティ10大脅威 2026」の中で、AIリスクへの組織的対応体制の構築を推奨しています。

AIと人間の「協働」を長続きさせるために

 AIガバナンスは「AIの使用を制限する」だけではありません。「AIを組織として安心して使い続けるための仕組み」です。

 まず「棚卸し」から始めてみてください。社内で動いているAIエージェントを把握し、「誰が、何の目的で、どのデータにアクセスしているか」を一覧にする。それだけで、AIを組織として本格的に使い続けるための土台ができます。

印刷する
SNSでシェア

エンタープライズAI 導入実務の勘所(ITmedia AI+)

企業のデータ活用やAI導入支援を手掛けるインキュデータの執筆陣が、AI導入時の勘所や注意点を解説します。

この連載の記事をもっと見る

この記事の著者

内田 匠

内田 匠

インキュデータ株式会社 R&D室、筑波大学 非常勤講師 京都大学総合人間学部(学士)、筑波大学社会人大学院(博士、システムズ・マネジメント)。情報処理学会、人工知能学会などに論文採録実績。 Web広告代理店にて広告設計と効果改善業務。リクルートにてデータサイエンティスト、エンジニアとしてAIアルゴリズムを開発。2021年よりインキュデータに参加し、新規事業開発を担当。 <主な実績> ・大手メディア: 広告効果の可視化BIツール開発 ・大手メディア: 結婚情報誌に掲載されている画像の解析アルゴリズム ・大手メディア:アルバイトのシフトを自動配置するアルゴリズムを開発 ・ベンチャー:深層学習を使った競馬の着順・回収率予測 ・ベンチャー: ChatGPT3.5を使った競馬の予測コメント自動生成 インキューデータでは以下のプロジェクトを担当 ・データクリーンルームを使った分析手法の開発 ・生成AIをつかった新規事業/業務効率化の検討

編集:村田知己

編集:村田知己

ITmedia AI+ 編集記者。市場調査会社でのエンジニア職を経て、2022年アイティメディア入社。キーマンズネット編集部、社内のデータ分析基盤構築担当、ITmedia エンタープライズ編集部を経て現職。

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR