Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現
この記事は新野淳一氏のブログ「Publickey」に掲載された「Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現」（2025年1月22日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。
米Fastlyは、生成AIへのAPIコールに対するレスポンスをセマンティックに基づいてインテリジェントにキャッシュすることで、高速なレスポンスとAPIコール回数の低減によるコスト削減などを実現する「Fastly AI Accelerator」の正式リリースを発表しました。
生成AIをAPI経由で呼び出す場合、通常のサービスの呼び出しと比較するとレスポンスまでに時間がかかることが多く、呼び出しごとにかかる料金も高額になりがちです。
Fastly AI Acceleratorは、こうした生成AIからのレスポンスをキャッシュし、似たような質問に対するレスポンスであればキャッシュの内容を高速に返すことで、生成AIのレスポンスを高速にし、また呼び出しにかかるコストを削減できると説明されています。
キャッシュは「セマンティックキャッシュ」として、呼び出しの内容をベクトルとして保持するため、似たような意味を持つ呼び出し内容であればキャッシュが利用される仕組みとなっています。
同社はFastly AI Acceleratorのベータ版の利用実績として、応答速度が平均で9倍高速になったとしています。
Fastly AI AcceleratorはOpenAI ChatGPTに加え、 Microsoft Azure AI Foundryにも対応しています。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「食事量は1日1200kcal以下、でも肥満」な人を14日間追跡調査 痩せない理由は……米コロンビア大などの研究
-
2
なぜ酒蔵の許諾なしに？ 「VTuberコラボ日本酒」騒動、主催者が経緯説明 仲介者による調整で「準備進んでいると認識」
-
3
かっぱ寿司「配布前のコラボグッズ、フリマで買わないで」 プリキュアコラボ発表日に注意喚起
-
4
本物そっくり“AI生成レシート“が経費精算の脅威に マネフォ「自力で見破るのは難しい」 企業はどう備える？
-
5
「ペンギンを返して」→「3匹全部採用して」 批判殺到のSuica新キャラ、ファンアートが空気を変えた？ SNSの声
-
6
「菜の花がおかしい」――イラストレーター制作うたうマラソン大会ポスターに指摘相次ぐ 事務局がAI使用明かす【訂正あり】
-
7
「ランジェリーパープルじゃない」「買おうと思ってたのに」 iPhone 18 Pro／Pro Maxの色に落胆の声
-
8
幻の「ちいかわ」コラボ第3弾皿、捨てちゃうの？ くら寿司に聞いてみた
-
9
「iPhone Duo」純正ケース話題、「面白いけど高い」……1万4800円と2万4800円
-
10
松本デジタル相、24.6万件漏えい可能性について説明 「既知の脆弱性を対応前に悪用」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR