NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供

[ITmedia]

　米NVIDIAは3月18日（現地時間）、年次イベント「GTC 2025」で、大規模言語モデル（LLM）の推論を最適化するオープンソースソフトウェア「NVIDIA Dynamo」を発表した。GPU群における処理の割り当てを最適化。計算を最小限に抑え、電力当たりの応答速度や処理能力を向上させるという。

　例えば同社のスーパーコンピュータ「GB200 NVL72」で長考モデル「DeepSeek-R1」を実行する場合、処理可能なリクエストの数が最大30倍になるとうたっている。

ジェンスン・フアンCEOとDynamoの概要

　NVIDIAのジェンスン・フアンCEOは同イベントの中で、DeepSeek-R1などの長考モデルについて「より賢いAIを作るためには、できるだけ速くトークンを生成したい。そうすればその賢いAIでより多くの収益を得られるようになる。その一方で、AIを賢くしようとすると（考える部分でトークンを使うためにユーザーに向けて出力する）トークン量は減ってしまうというトレードオフがある」と指摘。Dynamoがこの問題を改善できるとした。

　NVIDIA Dynamoは、すでにカナダCohereなどのAI事業者が導入を決めているという。