意外と高い? 生成AIに掛かるコストを可視化して運用を最適化するには

Datadogは、Azure関連の新機能を発表した。Azure OpenAI Service向けなど主に4つの機能で、Azureで運用するシステムのコストを管理し、AIモデルをモニタリングできるようにする。

» 2023年05月26日 08時00分 公開
[山口哲弘ITmedia]

この記事は会員限定です。会員登録すると全てご覧いただけます。

 Datadogは2023年5月23日(現地時間)、「Microsoft Azure」(以下、Azure)関連の新機能を発表した。Azureで運用するシステムのコストを管理し、AI(人工知能)モデルをモニタリングできるようにする。新機能としては「Azure Arc」や「Azure OpenAI Service」に向けたものと、「Cloudcraft for Azure」「Cloud Cost Management for Azure」の4つが明らかになった。

ChatGPTなどのAI運用のコストとパフォーマンスを管理可能に

 Azure Arc向けの機能は、Datadogのプラットフォーム内で、タグなどのメタデータを利用して移行前のパフォーマンスをベースライン化し、移行後にAzure Arc接続のステータスをモニタリングできるようにする。

 Azure OpenAI Service向けの機能は、Azure OpenAI Service関連のリクエストやレイテンシー、トークン消費を把握し、問題点を明確にする。「ChatGPT」関連を含む各種AIアプリケーションのコスト最適化や、課題の洗い出しと解決、パフォーマンスのモニタリングを強化できる。

 Cloudcraft for Azureは、企業全体のアーキテクチャ関連のベストプラクティスを設計し、クラウドアーキテクチャ構成をリアルタイムで設計できるようにする。ドラッグ&ドロップ式ダイアグラムデザイナーや、ライブ環境スキャナ、自動バジェットジェネレータなどを備えており、各部門におけるクラウドアーキテクチャの把握やプランニング、設計を省力化できる。

 Cloud Cost Management for Azureは、パフォーマンスとコストを1つのダッシュボード上に並べて把握できるようにする。

 Datadogの製品担当VPを務めるイリエ・ガルニエ氏は、「Azureに構築した生成AIアプリケーションに投資している企業は、信頼性の高さとコストデータへのアクセスを求めている。当社のAzure OpenAI Serviceに向けた新機能は、ユーザー企業がトークン消費を把握するために役立ち、OpenAI使用の主要なコスト要因を管理できる」と述べている。

Copyright © ITmedia, Inc. All Rights Reserved.