NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供
米NVIDIAは3月18日（現地時間）、年次イベント「GTC 2025」で、大規模言語モデル（LLM）の推論を最適化するオープンソースソフトウェア「NVIDIA Dynamo」を発表した。GPU群における処理の割り当てを最適化。計算を最小限に抑え、電力当たりの応答速度や処理能力を向上させるという。
例えば同社のスーパーコンピュータ「GB200 NVL72」で長考モデル「DeepSeek-R1」を実行する場合、処理可能なリクエストの数が最大30倍になるとうたっている。
ジェンスン・フアンCEOとDynamoの概要
NVIDIAのジェンスン・フアンCEOは同イベントの中で、DeepSeek-R1などの長考モデルについて「より賢いAIを作るためには、できるだけ速くトークンを生成したい。そうすればその賢いAIでより多くの収益を得られるようになる。その一方で、AIを賢くしようとすると（考える部分でトークンを使うためにユーザーに向けて出力する）トークン量は減ってしまうというトレードオフがある」と指摘。Dynamoがこの問題を改善できるとした。
NVIDIA Dynamoは、すでにカナダCohereなどのAI事業者が導入を決めているという。
Copyright © ITmedia, Inc. All Rights Reserved.
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「ほんだし」のラベルがAIでぐちゃぐちゃに…… 味の素、公式Xの投稿画像について謝罪
-
2
人型ロボが“人間超え”――助走なしで高さ2mのジャンプ、時速45kmで走行も 中国Unitreeが開発中の新モデルを公開
-
3
「Claude」の“見えない透かし”、Anthropicが仕組みを説明 「完全な書き直しなら消える」
-
4
「データがない」「スキルがない」「発想が広がらない」 味の素冷凍食品は“3つのない”をどう解消した？
-
5
Claude、Codex、Qwen……そのAI用語、どう読む？ 読み方クイズ30問
-
6
NVIDIA、OpenAIのオハイオAIデータセンターに最大1050億ドルの債務保証──SB Energyと提携
-
7
「MicrosoftよりGoogle」で6億円削減も？ 舞鶴市、千代田区が明かすIT刷新とAI活用の成功法則
-
8
現役組み込みエンジニアがAIを業務利用して分かったこと――期待と限界と現実解
-
9
外資AIベンダー襲来、システム開発の“垣根”消失…… 新生TISIはどう対抗する？
-
10
OpenAIが明かす、ユーザーはChatGPTを「こう使っている」
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR