AIエージェントで「新たな脆弱性」が？ 導入前に確認したい“5つのポイント”：CIO Dive

企業はAIエージェント導入時に何を考慮すべきか。2024年からAIエージェントを利用している大学の例から5つのチェックポイントを紹介する。

[Jen A. Miller，CIO Dive]

　ニューヨーク大学（NYU）の医学系の大学院に相当するNYU Grossman School of MedicineやNYU Grossman Long Island School of Medicineでは毎晩、医学生が眠っている間にAIが彼らのために活動している。

導入前にチェックしたい「5つのポイント」

　NYUの統合型学術医療組織「NYU Langone Health」では、同大学の6つの入院施設と300以上の外来施設から匿名の診断コードをAIが収集する。AIは、収集したデータと関連する研究や診断情報と照合した結果を、学生たちの朝のコーヒータイムに間に合うように電子メールで送信する。

　同学が採用したプラットフォームは、意思決定と自律的な行動が可能な「エージェント型AI」の一例だ。英国のサイバーセキュリティコンサルタントおよびマネージドサービスプロバイダーであるNCC Groupのデイビッド・ブローカー氏（テクニカルディレクター）は、「（AIエージェントは）AIそのものを変えるのではなく、AIがより適切な判断を下せるように周囲のコンポーネントを変更する」と述べる。

　ただし、AIエージェントが機能するのは、安全でメンテナンスが行き届いており、適切なユースケースに適用されている場合に限られる。そこで本稿は、AIエージェントを導入する前にチェックしたい5つのポイントを紹介する。

1.　AIエージェントはどの問題を解決するのか？

　NYU Langone Healthのネイダー・メラビ氏（エグゼクティブバイスプレジデント、副学部長と最高デジタル情報責任者を兼任）は、次のように述べる（注1）。

　「AIを導入する際、企業は適切なテクノロジーが適切なユースケースに適用されるように戦略を立てるべきだ。ワークフローの外にAIがあっても、それは使われないだろう」

　NYU Langone Healthでは、さまざまなモデルを用いたAI関連プロジェクトが展開されている。メラビ氏によると、症例と研究をマッチングさせる用途は比較的シンプルで有益な成果が得られる可能性が高いため、AIエージェントの活用に適していると判断された。

　「このAIはデータにアクセスし、それらを整理および統合して医療知識を導き出し、さらに学生一人一人に合わせた学習内容を提供する点で有益だ」（メラビ氏）

　このエージェントは、機密性が高く厳しく規制されている患者データには一切触れないため、低リスクでAIを活用する一つの事例だ。情報は診療記録から切り離されており、NYU Langone Healthの安全なネットワークで処理されている。

　「このシステムは自律的な運用が可能だ」（メラビ氏）

2.　AIエージェントを機能させるためのデータはそろっているか？

　調査会社であるGartnerのトム・コーショウ氏（シニアディレクターアナリスト）は「エージェントが効果を発揮するのは、適切なデータがそろっており、それらのデータが正しく準備されている場合に限る」と述べた。

　データは特定のユースケースに正確に合致していなければならない。そうでなければ、エージェントは本来参照すべきでない情報を基にAIを稼働させてしまい、誤った回答を導く恐れがある。最悪の場合、従業員には本来、アクセス権のないデータを提示してしまう恐れもある。

　コーショウ氏によると、データは維持および管理される必要があり、そのために適切な人材が求められる。「AIエージェントにとって扱いやすい形でデータを管理することに長けたデータ専門家という新たな職業が登場しつつある」（コーショウ氏）

3.　データは安全か？

　従業員が本来アクセスすべきでない情報に触れないようにするだけでなく、AIエージェントがもたらす恐れのあるセキュリティリスクも考慮する必要がある。

　NCC Group Healthのブローカー氏は、次のように述べた。「アプリケーションの環境やネットワークに何かを追加すると、新たな攻撃対象が増えてそれらの管理が必要になる」

　AIに関連するリスクを想定して設計されていないシステムやプラットフォームにAIを追加する際、企業はセキュリティテストを実施すべきだ。NCC Groupが最近あるプラットフォームをテストしたところ、隠しテキストを追加することでシステムを操作できることが判明した。

　「そのプラットフォームはAIを前提に設計されていなかったため、以前は存在しなかった脆弱（ぜいじゃく）性が新たに生まれてしまった」（ブローカー氏）

　AIを安全に導入するにはリスクに備え、リスクを適切に管理できるAIに精通したエンジニアの存在が不可欠だ。ブローカー氏は「そうでなければ、AI特有のリスクに対処できる経験を持つエンジニアがいないまま、攻撃対象となる領域を増やすことになってしまう」と付け加えた。

4.　AIエージェントは企業の技術戦略のどこに位置付けられるのか？

　全てのAIエージェントが同じように作られているわけではないため、CIO（最高情報責任者）は全体的な技術戦略の中でどのプラットフォームが適しているのかを見極める必要がある。

　「クラウドサービスプロバイダーの中だけで開発するのか。それとも、特定の業界に特化したスキルを持つスタートアップ企業に頼るのか」（コーショウ氏）

　CIOは、AIエージェントを幾つ導入するのか。また、それらが異なるプラットフォームで動作している場合、全てのAIエージェントを監視できる体制があるかどうかも確認すべきだ。

　NYU Langone Healthは、AI関連のプロジェクトに一つずつ段階的に取り組んでいる。つまり、レゴブロックのように小さなAIエージェントを個別に作成し、それらを組み合わせてより大きなシステムを構築するという方法を採用している。メラビ氏は「この方法であれば、1つのエージェントが適切に機能しなくても全体を壊すことなく取り外して修正できる」と述べた。

5.　AIエージェントはどのように監視されるのか？

　AIエージェントは、一度設定した後は放置してよいアプリケーションではない。むしろ、データの正確性や適切な利用状況、最終的なユーザーへの有益性を確認するための継続的な監視が必要だ。

　「AIエージェントを使用するアプリケーションに常に注意を払う必要がある」（メラビ氏）

　継続的な監視により、NYU Langone HealthのAIエージェントは2024年の導入以来、医学生に対して個別化された情報を提供し続けている。ユースケースの目的を達成し、現在もその役割を果たし続けているのだ。

　「朝起きてポータルにログインし、自分に関連する資料を閲覧できるのは学生にとってありがたいことだろう。誰だってうれしいはずだ」（メラビ氏）

（注1）Nader Mherabi（NYU Langone Health）

（初出）5 questions to ask before deploying agentic AI