「社内資料をAIに読ませたら、使えない回答が連発」 RAG導入で起きる悲劇と回避策（1/2 ページ）

[濱川太一，ITmedia]

　社内のマニュアルや仕様書、過去レポートなどをAIに読み込ませて「社内Q＆A検索」を開発する――。

　DXやAI活用の必要に迫られた企業が、最初に手を付けやすいのが、こうした検索拡張生成（RAG）と呼ばれる手法だ。ゼロからAIを開発する必要がなく、すでにある社内資料を使って小さく始められることから、中堅・中小企業にとっても取り組みやすいAI活用とされている。

　一方で、社内資料をやみくもにAIに読み込ませればいいというわけではない。

　「現場の暗黙知をAIが分かるように翻訳することが重要」

　こう話すのは、中堅・中小企業の情報システム（情シス）を少人数で担う技術者を支援する「ひとり情シス協会」事務局の清水博氏だ。RAG導入を試みた企業の“しくじり”事例から学べる教訓とは。

登壇する「ひとり情シス協会」事務局の清水博氏（筆者撮影）

本記事は、展示会事業を展開するブティックスが主催した「IT・情シス DXPO 東京'26【夏】」で開催された清水氏によるセミナー「ひとり情シスによる生成AI導入しくじりのリアル〜失敗事例から学ぶ教訓と対策〜」を基に構成。

しくじり事例1：使えない「社内Q＆A検索」

　信州に本社を置くある食品製造企業では、RAGの手法を生かして社内Q＆Aシステムの構築に取り組んだ。店舗の担当者や新人、アルバイトでも判断できるようにし、店舗責任者への問い合わせを減らすことが狙いだった。

　「うちはマニュアルなどの文書化を長年、丁寧に整備してきたから、AIに読ませれば同じ判断ができるはず」。そんな見立てが経営層と情シスの間にあったという。

　接客マニュアルや業務手順書、ベテラン社員の過去のメール、店舗間のチャット履歴、議事録、個人メモまで、現場の判断に関係しそうなデータを全部集めて投入した。

　導入当初は、本部へ確認する手間を減らせると期待された。ところが1〜2週間すると、イレギュラーなケースで回答できない問題が出てきた。

　「何、この例外処理って？」「このシステム、判断できない！　本部に確認して！」――清水氏が支援に入ったところ、原因の一つは投入したデータの性質にあると分かった。社内資料には「ケースバイケースで対応する」「状況次第」といった曖昧（あいまい）な表現が含まれていたのだ。

　こうした記述は、その会社の前提や過去の経緯を知っている人なら判断できても、資料だけを見た人には意味が分かりにくい。AIから返ってきた回答も背景を踏まえられておらず、以前よりトラブルが増える結果になった。

　そこで、データを「原則ルール」「条件付きの例外」「人が判断すべき領域」の3層に整理した。「返品対応は常連なら柔軟に」などといった曖昧な表現を「購入から7日以内」「レシートあり」「過去6カ月の返品回数は2回以下」など、具体的な条件に変更し、AIが機械的に判断できるようにした。

　また、判断できない場合には、上司に判断を仰ぐ仕組みを設けた。店舗や部門によってばらばらだった判断を整理し、会社としてのルールを明確にした。

　その過程では、各店舗から情報を集め、似た問題をまとめながら整理した。現場で個別に対応してきた情報を集めることで、これまで暗黙のうちに共有されていた知識を可視化。Q＆Aの情報として共有できる形にしていった。

しくじり事例2：現場と経営層の認識のズレ

　AIの回答精度の検証が不足していたため、現場と経営層の間の信頼関係が損なわれてしまった事例もある。

　中部地方に本社を置く自動車部品の製造企業では、ベテラン社員が徐々に退職する中で、過去の不具合対応などの「属人化した知識」をAIに集約し、品質トラブル時の対応を迅速化することを目指した。

　不具合報告書や是正処置記録などを蓄積していたため、経営層も情シスも「記録があればAIが判断できる」と考えた。

　RAG導入当初は「仕様書を探すより早い」「似た不具合事例が出てくる」などと評判は上々だったが、次第に問題が出てきた。AIが参照した過去事例は「旧設備」「旧材料」のものであり、現在の工程には適さない内容が回答されることがあった。製品の品質や評判を落としかねない精度の低いデータを参照した回答もあった。

　その後、品質会議の場で問題となったのは、AIの回答が不正確だった場合、誰が責任を取るかが明示されていないことだった。経営層は「AIはあくまで参考情報」と捉えていたのに対し、現場は「会社が導入した仕組みだから信頼できる情報源」と認識していた――という双方のズレが浮き彫りになった。

　そこで、清水氏は「正しく動いているか人が確認しない限り、AIは安全には使えない」という方針を明確化した。条件の一致度が低い場合はAIに答えさせず「この問い合わせは担当技術者への確認が必要です」と表示し、エスカレーションさせる仕組みにした。

　AI活用を現場だけに任せず、経営層が継続してプロジェクトに関与することで、現場の状況が経営側にフィードバックされるようになった。