生成AI導入プロジェクト、試験導入のコツは？ 期間中にやるべきこと：CIO Dive

生成AIの導入では、試験導入の期間中にいかに従業員からフィードバックを集めるかが重要だ。どんな情報に価値があるのか、何に気を付けてテストをすればいいのかを解説する。

[Jen A. Miller，CIO Dive]

　CIO（最高情報責任者）は、自社の技術スタックに生成AIを導入することの潜在的なメリットを慎重に見極めている。対して、技術提供側もスムーズな体験と迅速な生産性の向上を約束している。

生成AIは誇大広告中　試用期間に確認すべきことは？

　しかし、新しい技術がシームレスに適合される保証はない。ツールの性能と問題点を把握するためには、CIOは的を絞ったテストに頼らざるを得ない。

　ソフトウェアソリューションを提供するIFS ABのケビン・ミラー氏（CTO《最高技術責任者》）は、「ここ2〜3年、AIを巡り非常に多くの誇大広告があった。AIはまるで魔法の箱のように宣伝されており、それを開けるだけで全てを解決してくれるかのようだ。しかし現実的には、目標や事例、ユースケースが必要だ」と話す。

　CIOは生成AIを30日間テスト導入することで、より広範な導入計画をサポートするための重要な情報を得られる。期間中は何をすべきなのか。

　生成AIが機能する可能性を最大限高めるために、CIOは導入前に基本的なデータガバナンス（データベースをクリーンで正確に保つ作業）を確保すべきだと、Forrester ResearchのJ.P.ガウンダー氏（バイスプレジデント 兼 主席アナリスト）は言う。同氏の主な使用経験は「Microsoft Copilot for 365」であり、同製品はドキュメントの権限設定のトレーニングに優れているという。

　「私に回答を聞く権限がない場合、生成AIは回答を教えるべきではない」（ガウンダー氏）

　企業が適切なデータガバナンスを確保できていない場合、ドキュメントは事前に権限が設定されていないため、従業員が知るべきでない情報にアクセスし、回答を提供してしまう可能性がある。

　また、CIOは従業員の誰が生成AIの試験運用をするのに最適かを考えるべきだ。従業員は効果的なプロンプトの使い方を知った上で、LLM（大規模言語モデル）が誤った回答や無意味な情報を生成する可能性があることを認識しておく必要がある。「AIの言葉を神聖視しているようでは、AIを効果的に使うことはできない」とガウンダー氏は話す。

　さらに同氏は、CIOはAIの効率的な使い方を知っているという人の言葉をうのみにすべきではないと付け加えた。同氏によれば、ベストプラクティスでも1ユーザーあたり10〜15時間のトレーニングが必要なのに、1時間のトレーニングで生成AIを導入する企業は珍しくないという。

その生成AI、ちゃんと役立ってますか？

　他のITプロジェクトと同様に、最初の30日間で従業員が生成AIを使用する際のデータを活用することでCIOはアプローチを調整できる。

　企業向け生成AIプラットフォームのメーカーであるMoveworksのヴァルン・シン氏（社長 兼 共同設立者）は、メトリクス（活動を定量化し、そのデータを分かりやすく加工した指標）は従業員がツールをどのように利用しているかを理解するのに役立つと述べている。

　具体的な指標は、生成AIに何を期待しているかによって異なる。企業はサポートチケットの提出数の削減に役立っているかどうかを確認したいかもしれない。

　CIOや技術リーダーは、生成AIの回答が役に立ったかどうかをユーザーに尋ねられるが、人は役に立ったと評価するよりも役に立たなかったと評価する傾向にあるとシン氏は指摘する。これは、インターネットでポジティブなレビューを書くよりもネガティブな体験について発言する可能性が高いのと同じだ。同氏は、ユーザーがライブエージェント（人間のサポート担当者）にチケットを申請したかどうかを追跡することを提案している。

　「もしユーザーが生成AIの回答後にさらにライブエージェントにチケットを提出しているなら、それは生成AIが効果的でないことを意味する」（シン氏）

　生成AIの導入前に従業員をトレーニングすることに加え、企業は継続的なトレーニングの機会とサポートを提供する必要がある。リアルタイムでのトレーニングセッションだけでなく、オンデマンドのバーチャルトレーニングも有効だとガウンダー氏は付け加えた。

　また、週次のサポート窓口や、成功事例や失敗事例を持ち寄る週次セッションを設けることもできる。ディスカッション専用の「Microsoft Teams」や「Slack」チャネルも、ピアツーピアの学習を可能にする。さらに、従業員の証言動画も役に立つ。自社で生成AIを効果的に活用している同僚の様子を見ることができ、ベンダーの担当者の言葉よりも同僚の動画の方が信頼しやすいからだ。

　また、生成AIはチャットログやインタラクションからフィードバックを収集し、その情報に基づいて次のアクションステップを要約するために使用することもできるとガウンダー氏は言う。

　「そのフィードバックは、誰も確認しないような広大なデータレイクに入れるべきではない」（ガウンダー氏）

　トレーニングの一環として、テスト担当者には生成AIを試して「多少は壊してみる」ことも奨励すべきだとガウンダー氏は述べる。

　「生成AIが答えを持っていないような質問をしたり、あえて生成AIが期待しているコンテキストを提供しないようにするのだ。そうすることで、生成AIが的を射ているのか、それとも回答する上で正しい情報にアクセスしていないのかを判断できる」（ガウンダー氏）

生の声はやはり重要

　企業がアンケートで従業員の声を聞くのもいいが、テスト担当者と対話することも忘れてはいけないとシン氏は言う。

　「アンケート調査は全体像を見ていても明らかにならない重要な情報が欠けていることも多い。従業員と直接話すことで、CIOや主導チームは生成AIが役立っているのか、混乱を招いているのかを見極められる。従業員が生成AIを正しく使えているかの判断にもなる」（シン氏）

　技術的な観点を排して話すことも重要だ。

　「技術者は常に最先端であることを追求しており、導入した技術の拙さを感じることもある。しかし、一般のユーザーは技術者目線では魅力的に見えない小さな変化を評価することがあり、それが結果的に企業の生成AI利用を改善し、拡大させることもある」（シン氏）

原文へのリンク