NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供
米NVIDIAは3月18日(現地時間)、年次イベント「GTC 2025」で、大規模言語モデル(LLM)の推論を最適化するオープンソースソフトウェア「NVIDIA Dynamo」を発表した。GPU群における処理の割り当てを最適化。計算を最小限に抑え、電力当たりの応答速度や処理能力を向上させるという。
例えば同社のスーパーコンピュータ「GB200 NVL72」で長考モデル「DeepSeek-R1」を実行する場合、処理可能なリクエストの数が最大30倍になるとうたっている。
NVIDIAのジェンスン・フアンCEOは同イベントの中で、DeepSeek-R1などの長考モデルについて「より賢いAIを作るためには、できるだけ速くトークンを生成したい。そうすればその賢いAIでより多くの収益を得られるようになる。その一方で、AIを賢くしようとすると(考える部分でトークンを使うためにユーザーに向けて出力する)トークン量は減ってしまうというトレードオフがある」と指摘。Dynamoがこの問題を改善できるとした。
NVIDIA Dynamoは、すでにカナダCohereなどのAI事業者が導入を決めているという。
Copyright © ITmedia, Inc. All Rights Reserved.
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
-
2
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
3
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
4
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
5
ファミマが「AIロボット」本格導入へ 飲料補充に活用、作業時間の約7割を削減
-
6
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
7
「GLM-5.3-Flash」「DeepSeek-V4.1-Flash-1017」が月3000リクエストまで無料 さくらのAI推論基盤で提供
-
8
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR