Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現
この記事は新野淳一氏のブログ「Publickey」に掲載された「Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現」（2025年1月22日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。
米Fastlyは、生成AIへのAPIコールに対するレスポンスをセマンティックに基づいてインテリジェントにキャッシュすることで、高速なレスポンスとAPIコール回数の低減によるコスト削減などを実現する「Fastly AI Accelerator」の正式リリースを発表しました。
生成AIをAPI経由で呼び出す場合、通常のサービスの呼び出しと比較するとレスポンスまでに時間がかかることが多く、呼び出しごとにかかる料金も高額になりがちです。
Fastly AI Acceleratorは、こうした生成AIからのレスポンスをキャッシュし、似たような質問に対するレスポンスであればキャッシュの内容を高速に返すことで、生成AIのレスポンスを高速にし、また呼び出しにかかるコストを削減できると説明されています。
キャッシュは「セマンティックキャッシュ」として、呼び出しの内容をベクトルとして保持するため、似たような意味を持つ呼び出し内容であればキャッシュが利用される仕組みとなっています。
同社はFastly AI Acceleratorのベータ版の利用実績として、応答速度が平均で9倍高速になったとしています。
Fastly AI AcceleratorはOpenAI ChatGPTに加え、 Microsoft Azure AI Foundryにも対応しています。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
ブックオフ漏えい、退会者21万人も対象 個人情報638万人分の外部送信を確認
-
2
米Getty Imagesが破産申請へ AI画像の台頭で経営悪化、「報道写真」軸に年内の再建目指す
-
3
キャッシュレスサービス「IDARE」、約13万人の個人情報漏えい 残高や取引履歴なども
-
4
Anthropic、自己複製AIの「兆し」を指摘 55ドルのTVボックス15台で26Bモデルが稼働
-
5
OpenAI従業員、役員会議室に録音装置を仕掛けた疑いでFBIが逮捕
-
6
Apple、「Welcome home」イベントで発表されたことまとめ 日本でも2製品予約開始
-
7
相次ぐ情報漏えいの一因に「A2B攻撃」 公開アプリを解析し裏側のサーバを狙う手口、NICTが公表
-
8
フランスのスーパー数百店舗で冷蔵設備にサイバー攻撃 温度が最高50度に上昇し食品大量廃棄に
-
9
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
10
PayPay証券、障害から復旧 日本株・ETFの取引を再開 原因はみずほ証券の受発注システム
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR