なぜ本番環境のAIは失敗するのか？ Datadog調査で判明した「運用の壁」と打開策

Datadogは、本番環境でAIを運用する組織のデータを分析した「2026年版 AI Engineering調査レポート」の結果を発表した。AI導入が急速に進みデータ量が増加する一方、運用の複雑化に伴い、本番環境でのAIリクエストの約5%が失敗している現状が明らかになった。

[松林沙来，ITmedia]

　Datadogは2026年6月1日、本番環境でAIを運用する組織から得られたデータを分析した「2026年版 AI Engineering調査レポート」の結果を発表した。AIの導入が急速に進む中、AIシステムの拡大に伴う運用の複雑化が浮き彫りになり、AIリクエストの約5%が本番環境で失敗している現状が明らかになった。

マルチモデル化とデータ量増加が招く「見えない課題」

　AIの導入が進む中、AIを大規模かつ安定的に運用する上での最大の障壁は、モデルの性能ではなく「運用の複雑性」にある。

　同レポートによると、2026年6月現在、約7割（69%）の企業が3種類以上のAIモデルを利用している。プロバイダー別では、「ChatGPT」を提供するOpenAIが依然として63％のシェアを持つ一方で、「Gemini」のGoogle（20ポイント増）や「Claude」のAnthropic（23ポイント増）の採用が急速に拡大しており、マルチモデルの利用が標準となっている。

LLM利用組織におけるプロバイダー別の採用状況（出典：Datadog記者説明会資料）

利用LLMモデル数別の組織の割合（出典：Datadog記者説明会資料）

　また、開発効率を上げるためのエージェントフレームワークの利用が前年比で倍増している他、AIモデルへ送信されるトークン量も増加している。1リクエスト当たりの平均トークン数は、一般的な利用量のチームで2倍以上、高利用のチームでは4倍以上に増加している。

組織別のリクエスト当たりLLMトークン使用量の中央値（出典：Datadog記者説明会資料）

　こうしたシステム全体の複雑化の結果、本番環境におけるAIモデルへのリクエストの約5%が失敗しており、そのうち約60%は「キャパシティー制限」が原因となっている。

「失敗する企業」と「成功する企業」の違い

　概念実証（PoC）から本格運用へ移行する段階で、この複雑さを適切に管理できずにつまずく企業は多い。

　この課題について、Datadog Japanの萩野たいじ氏（シニアデベロッパーアドボケイト）は、多くの企業で見られる失敗パターンとして「可視化が断片的であり、問題発生後の対応になっている」点を指摘する。利用範囲が広がるにつれてモデル数やデータ量が急増し、AIのワークフローがブラックボックス化しやすくなる。その結果、「コスト増加の原因が分からない」「問題の特定や再現ができない」といった事態に陥り、セキュリティへの懸念からAI活用が足踏みしてしまうという。

　「多くの企業では、AIそのものというより、AIを使った運用の複雑さがボトルネックになり始めている」（萩野氏）

　一方で、AI活用を継続的に拡大できている成功企業は、AIを「継続的に運用するシステム」として捉えている。萩野氏は「成功企業は、エンドツーエンドでの可視化や、標準化されたモデル管理、ワークフローへのセキュリティ組み込みなどに早い段階から取り組んでいる。AIを導入することそのものではなく、AIを継続的に改善、運用できる仕組みを作ることに注力している」と語り、本番運用を前提とした評価や改善の仕組みの重要性を説明した。

求められるAIスタック全体の「オブザーバビリティ」

　Datadogは、複雑化したAIを安定運用するためには、特定の部分だけを見るのではなく、インフラやデータ、モデル、エージェント、セキュリティに至る「AIスタック全体」を横断的に可視化し、制御するオブザーバビリティが不可欠であると指摘している。

　企業が次に取り組むべきステップとして、AIを単に「試す」段階から、「安全に拡張する」フェーズへの移行を挙げている。そのためには、横断的な可視化を通じてビジネス価値を継続的に測定し、セキュリティやガバナンスを犠牲にすることなくスピードと両立させる運用体制を構築することが、これからのAI時代の競争力を左右する鍵となるという。