AIエージェントと共に働くリスクとは？ PwCが説く「実践的ガバナンス」から考察：Weekly Memo

AIエージェントを安心・安全に活用するためのリスク管理とはどのようなものか。PwCコンサルティングは、サイバーセキュリティにとどまらない、包括的なリスク管理の必要性を説く。今回は、この話から、AIエージェントと共に働くリスクについて考察する。

[松岡 功，ITmedia]

　人に代わってさまざまな業務を自律的にこなすAIエージェントが、多くの企業で活用され始めている。このタイミングで改めて説いておきたいのは、AIエージェントを安心・安全に活用するためのリスク管理の重要性だ。AIエージェントの活用において何がリスクなのか。どう対応すればよいのか――。そんな疑問に対し、PwCコンサルティングから興味深い話を聞くことができたので、今回はその内容を紹介したい。

AIエージェントの自律レベルによって、「リスクの質」が変化

　「AIエージェントと一口に言っても自律レベルや機能ドメインに違いがある。それらを踏まえたリスク管理が必要だ」

　PwCコンサルティングの村上純一氏（執行役員 パートナー）は、同社が2026年7月17日に開いた「自律するAIの時代−AIエージェントのサイバーリスクと実践的ガバナンス」と題した記者説明会でこう切り出した。

PwCコンサルティングの村上純一氏（執行役員 パートナー）（提供：PwCコンサルティング）

　同社はこの日、トレンドマイクロと共同でAIエージェントに関するサイバーリスクの分析および実証研究に取り組み、その成果を会見と同じタイトルのレポートとして公開した（注1）。会見はその公開に合わせて概要を説明したものだ。

　本稿ではその中で、村上氏が「AIエージェントをめぐるサイバーリスクの捉え方」と題して説明した内容が、サイバー攻撃だけにとどまらない包括的なリスク管理の話だと感じたので、関連する図を示しながらそのエッセンスを取り上げたい。

　図1は、AIエージェントの自律レベルを示したものだ。同氏は「一口に自律的と言っても6段階に分類できる。前提とするレベルを踏まえた検討や議論が重要だ」と言い、「自律性レベル4以上から、従来のセキュリティ対策では対応できないリスクが急増する」とも述べた。

図1　AIエージェントの自律レベル（出典：PwCコンサルティングの会見資料）

　図1では、左側に6段階のレベル、中央にそれぞれのレベルの定義、そして右側に人間の役割が記されている。レベル5になると、人間が初期目標を設計すれば、後は業務が継続的に実行される。ここで筆者の頭に思い浮かんだのは、AIエージェントが業務をこなす中で自ら学習し、能力を高めていく可能性だ。それに伴って料金（賃金）体系はどうなるのか。この点も捉えようによっては、AIエージェントの大きなリスクである。

　図2は、AIエージェントの機能ドメインを示したものである。同氏は「一般的に想定されるAIエージェントの機能は大きく6つのドメインに分解できる」と言い、「各機能ドメインが連携して循環動作することで目標を達成する」と説明した。

図2　AIエージェントの機能ドメイン（出典：PwCコンサルティングの会見資料）

　図2では、左に機能ドメイン、右に各ドメインの関係性・連携の構図が記されている。機能ドメインは下から、認知エンジンと推論・計画の「思考」、メモリ・状態の「記憶」、ツール・外部連携の「行動」、オーケストレーションとID・ガバナンスの「監督」に分解される。それらの関係性・連携の構図を描いたのが、右の図だ。この図は、複数のAIエージェントが協働して企業の業務全体を効率化、自動化する「エージェンティックAI」の全体像を表したものともいえるだろう。

　図3は、AIエージェントを取り巻くサイバーリスクを示したものだ。同氏は「ビジネスケース、自律レベル、設計、実装、運用に応じて、さまざまなサイバーリスクが想定される」と言い、「表面化する事象は多岐にわたる。そのため、個別事業ではなく、その発生原因を理解し、対応することが重要だ」と指摘した。図3はその一例となる。

図3　AIエージェントを取り巻くサイバーリスク1（出典：PwCコンサルティングの会見資料）

　図3は、図1の自律レベルを横軸、図2の機能ドメインを縦軸にしたマトリクスの表に想定されるサイバーリスクを記したものだ。この表ではそれぞれに起こり得るサイバーリスクが記されている。

　図4は、図3で記されたサイバーリスクにおいて、自律レベルが上がるにつれて明らかになるリスクの質の変化を示したものだ。同氏は「低自律レベルでは、生成される情報の正確性、適切性、データセキュリティ、プライバシーが主なリスクだが、レベルが高まるにつれて意図しない行動、システムの乗っ取りや制御不能といったより深刻なリスクに発展する」と説明した。

図4　AIエージェントを取り巻くサイバーリスク2（出典：PwCコンサルティングの会見資料）

AIエージェントで考慮すべき「3つの論点」

　これまでの話を踏まえた上で、村上氏は「現時点でAIエージェントにおいて考慮すべき論点を示したい」として、次の3点を挙げた（図5）。

図5　AIエージェントで考慮すべき3つの論点（出典：PwCコンサルティングの会見資料）

1. 非人間アイデンティティー（NHI）。「誰が、何をできるか」
2. ヒューマン・イン・ザ・ループ（HITL）。「何が起きているか、人間はどう関与するか」
3. 外部環境との安全な相互作用。「AIが外の世界とどう安全に接するか」

　図5の絵は、上記の3つの論点の関係性を示したものだ。

　この3つの論点について、同氏はそれぞれ以下のように説明した。

1．　非人間アイデンティティー（NHI）

　図6は、非人間アイデンティティー管理における課題を示したものである。同氏は「非人間アイデンティティーの作成や削除に関して、文章化され正式に採用されたポリシーが存在する組織はおよそ2割にとどまる」と述べた。特に「過剰な権限付与」「明確な所有権、説明責任の欠如」「可視性の欠如」が懸念されることを指摘した。

図6　非人間アイデンティティー管理における課題1（出典：PwCコンサルティングの会見資料）

　図6では、左のグラフにおいて「組織において、AIツールで使用されるIDの作成および削除に関する明確な方針が定められているか」との質問に対する調査結果が示されており、「はい」と答えた企業がおよそ2割となっている。また、右のグラフは課題における同氏の指摘の根拠となる調査結果だ。

　この非人間アイデンティティー管理における課題について、同氏はさらに図7を示しながら、「これらは独立した課題ではなく、相互に影響し、問題をさらに悪化させる」と述べ、「個別の対処ではなく、非人間アイデンティティーのライフサイクル管理プロセスを構築し運用することが肝要だ」と指摘した。

図7　非人間アイデンティティー管理における課題2（出典：PwCコンサルティングの会見資料）

2．　ヒューマン・イン・ザ・ループ（HITL）

　図8は、ヒューマン・イン・ザ・ループについて示したものである。同氏は「AIエージェントの自律的な判断や行動に対して、人間がどのように関与し、起きていることを把握し統制するかを設計、運用する必要がある」と述べた。

図8　ヒューマン・イン・ザ・ループ（出典：PwCコンサルティングの会見資料）

　図8の左には想定されるリスクとして、「判断プロセスのブラックボックス化」「目標逸脱と計画の暴走」「Agent2Agent（A2A）の委任における説明責任の希薄化」の3つが記されている。特に3つ目のリスクでは、AIエージェント間での責任のたらい回しが起きる可能性もあるということだ。AIエージェントは人間の組織の良し悪しを映し出す存在かもしれないと感じた。また、右にはヒューマン・イン・ザ・ループの設計・運用において考慮すべき点が挙げられている。

3．　外部環境との安全な相互作用

　図9は、外部環境との安全な相互作用について示したものである。同氏は「AIエージェントが外部のデータやツール、システムと安全に接するための設計、運用が必要だ」と述べた。

図9　外部環境との安全な相互作用（出典：PwCコンサルティングの会見資料）

　図9の左には想定されるリスクとして、「信頼できないデータの取り込み」「ツールの悪用と予期しない連携」「サプライチェーンの信頼性棄損（きそん）」の3つが記されている。また、右には外部環境との安全な相互作用を確保する上で考慮すべき点が挙げられている。

　以上が村上氏の話だが、先にも述べたようにその内容はサイバー攻撃だけにとどまらない、AIエージェントを安心・安全に活用するための包括的なリスク管理についてだった。もっと言えば、「AIエージェントと一緒に仕事をするとはどういうことか」を示唆していたというのが、筆者の印象である。

（注1）「自律するAIの時代−AIエージェントのサイバーリスクと実践的ガバナンス」（PwC）

著者紹介：ジャーナリスト 松岡 功

フリージャーナリストとして「ビジネス」「マネジメント」「IT／デジタル」の3分野をテーマに、複数のメディアで多様な見方を提供する記事を執筆している。電波新聞社、日刊工業新聞社などで記者およびITビジネス系月刊誌編集長を歴任後、フリーに。主な著書に『サン・マイクロシステムズの戦略』（日刊工業新聞社、共著）、『新企業集団・NECグループ』（日本実業出版社）、『NTTドコモ リアルタイム・マネジメントへの挑戦』（日刊工業新聞社、共著）など。1957年8月生まれ、大阪府出身。