NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供
米NVIDIAは3月18日（現地時間）、年次イベント「GTC 2025」で、大規模言語モデル（LLM）の推論を最適化するオープンソースソフトウェア「NVIDIA Dynamo」を発表した。GPU群における処理の割り当てを最適化。計算を最小限に抑え、電力当たりの応答速度や処理能力を向上させるという。
例えば同社のスーパーコンピュータ「GB200 NVL72」で長考モデル「DeepSeek-R1」を実行する場合、処理可能なリクエストの数が最大30倍になるとうたっている。
ジェンスン・フアンCEOとDynamoの概要
NVIDIAのジェンスン・フアンCEOは同イベントの中で、DeepSeek-R1などの長考モデルについて「より賢いAIを作るためには、できるだけ速くトークンを生成したい。そうすればその賢いAIでより多くの収益を得られるようになる。その一方で、AIを賢くしようとすると（考える部分でトークンを使うためにユーザーに向けて出力する）トークン量は減ってしまうというトレードオフがある」と指摘。Dynamoがこの問題を改善できるとした。
NVIDIA Dynamoは、すでにカナダCohereなどのAI事業者が導入を決めているという。
Copyright © ITmedia, Inc. All Rights Reserved.
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
よく見られているカテゴリー
アクセスランキング
-
1
「国産人型ロボ」量産化へ 東大発スタートアップ 三菱自動車も出資
-
2
それで、メモリ不足はいつまで続くの？ なかなか終わらない狂騒のウラ側
-
3
「Nano Banana 2」「Nano Banana Pro」が一般提供開始 「2」は動画からの画像生成もサポート
-
4
「Mythos級モデル」一般提供、数週間以内に 米Anthropic「Opus 4.8」リリース
-
5
OpenAIが生命科学推論AI「GPT-Rosalind」をバイオディフェンスに開放 デュアルユースリスクに懸念も
-
6
「AIによる権利侵害」に出版・アニメ制作会社など集う国内団体が声明 「看過できない問題」
-
7
ローカルLLMは本当に手元で動くのか？ ハードウェアとモデルの現実的な選び方【2026年春】
-
8
「控えめに言って100兆円」巨大フィジカルAI市場、日本の勝ち筋は 日立がAnthropicとの提携で示した戦略
-
9
「Google AI Pro」ユーザーはYouTube広告ほぼ非表示 「Premium Lite」無料付与
-
10
「Google Antigravity 2.0と戯れながら感じたこと」と「LLM Wikiを実践して『ロケスマペディア』を作ってみた」
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR