「Amazon Bedrock」が生成AIのコストを最大90％節約できるプロンプトキャッシングなど新機能を搭載

公開 2024年12月06日 10時38分

[ITmedia]

印刷する Googleで優先するソースとして追加

この記事は新野淳一氏のブログ「Publickey」に掲載された「「Amazon Bedrock」が生成AIのコストを最大90％節約できるプロンプトキャッシングなど新機能を搭載」（2024年12月5日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。

　米Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」の基調講演で、生成AIの基盤モデルをマネージドサービスで提供するAmazon Bedrockの新機能として、プロンプトのコンテキストをキャッシュする機能や、プロンプトを適切なモデルへルーティングする機能などを発表しました。

コンテキストを再利用してコストとレイテンシを低減

　プロンプトキャッシングは、Bedrock上の複数のモデルに対してよく使用されるプロンプトのコンテキストをキャッシュする機能です。キャッシュは最大5分間有効とされています。

　例えば同一のドキュメントに対して繰り返しプロンプトで質問されるケースや、プログラマがずっと同じコードに対してコードアシスタントを使用するケースなど、似たようなコンテキストが繰り返し使用されるケースでは、キャッシュされた内容を再利用できるため、最大でコストが90％、レイテンシが85％削減されると説明されています。

プロンプトに応じて適切なモデルを選択

　インテリジェントプロンプトルーティングは、プロンプトの複雑さに応じて基盤モデルのファミリーの中からコストと品質が最適なモデルを選び、そのモデルにプロンプトを送り込むことができる機能です。

　プロンプトのルーターはプロンプトに応じて、どのモデルがコストと品質の面でどのモデルが最適化を予測する能力を備えており、例えばAnthropicのClaudeモデルファミリーには、Opus、Sonnet、Haikuと呼ばれるコストと能力が異なる3つのモデルがあり、Amazon Bedrockはプロンプトの複雑さに応じてSonnetとHaikuのいずれかに対してインテリジェントにプロンプトをルーティングできます。

　ルーティングは、複雑でないプロンプトは小さくレスポンスが速くコストの安いモデルで処理し、複雑なプロンプトは能力の高いモデルで処理するように行われます。

　これによりプロンプトに対する回答の精度を犠牲にすることなく、コストを最大で30％削減できると説明されています。

　そのほかAmazon Bedrockは、構造化データの取得機能、グラフRAGへの対応、マルチモーダル対応のデータ抽出機能、エージェント作成機能など、多数の機能追加が発表されました。