意外と高い？ 生成AIに掛かるコストを可視化して運用を最適化するには

Datadogは、Azure関連の新機能を発表した。Azure OpenAI Service向けなど主に4つの機能で、Azureで運用するシステムのコストを管理し、AIモデルをモニタリングできるようにする。

[山口哲弘，ITmedia]

　Datadogは2023年5月23日（現地時間）、「Microsoft Azure」（以下、Azure）関連の新機能を発表した。Azureで運用するシステムのコストを管理し、AI（人工知能）モデルをモニタリングできるようにする。新機能としては「Azure Arc」や「Azure OpenAI Service」に向けたものと、「Cloudcraft for Azure」「Cloud Cost Management for Azure」の4つが明らかになった。

ChatGPTなどのAI運用のコストとパフォーマンスを管理可能に

　Azure Arc向けの機能は、Datadogのプラットフォーム内で、タグなどのメタデータを利用して移行前のパフォーマンスをベースライン化し、移行後にAzure Arc接続のステータスをモニタリングできるようにする。

　Azure OpenAI Service向けの機能は、Azure OpenAI Service関連のリクエストやレイテンシー、トークン消費を把握し、問題点を明確にする。「ChatGPT」関連を含む各種AIアプリケーションのコスト最適化や、課題の洗い出しと解決、パフォーマンスのモニタリングを強化できる。

　Cloudcraft for Azureは、企業全体のアーキテクチャ関連のベストプラクティスを設計し、クラウドアーキテクチャ構成をリアルタイムで設計できるようにする。ドラッグ＆ドロップ式ダイアグラムデザイナーや、ライブ環境スキャナ、自動バジェットジェネレータなどを備えており、各部門におけるクラウドアーキテクチャの把握やプランニング、設計を省力化できる。

　Cloud Cost Management for Azureは、パフォーマンスとコストを1つのダッシュボード上に並べて把握できるようにする。

　Datadogの製品担当VPを務めるイリエ・ガルニエ氏は、「Azureに構築した生成AIアプリケーションに投資している企業は、信頼性の高さとコストデータへのアクセスを求めている。当社のAzure OpenAI Serviceに向けた新機能は、ユーザー企業がトークン消費を把握するために役立ち、OpenAI使用の主要なコスト要因を管理できる」と述べている。