NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供
米NVIDIAは3月18日（現地時間）、年次イベント「GTC 2025」で、大規模言語モデル（LLM）の推論を最適化するオープンソースソフトウェア「NVIDIA Dynamo」を発表した。GPU群における処理の割り当てを最適化。計算を最小限に抑え、電力当たりの応答速度や処理能力を向上させるという。
例えば同社のスーパーコンピュータ「GB200 NVL72」で長考モデル「DeepSeek-R1」を実行する場合、処理可能なリクエストの数が最大30倍になるとうたっている。
ジェンスン・フアンCEOとDynamoの概要
NVIDIAのジェンスン・フアンCEOは同イベントの中で、DeepSeek-R1などの長考モデルについて「より賢いAIを作るためには、できるだけ速くトークンを生成したい。そうすればその賢いAIでより多くの収益を得られるようになる。その一方で、AIを賢くしようとすると（考える部分でトークンを使うためにユーザーに向けて出力する）トークン量は減ってしまうというトレードオフがある」と指摘。Dynamoがこの問題を改善できるとした。
NVIDIA Dynamoは、すでにカナダCohereなどのAI事業者が導入を決めているという。
Copyright © ITmedia, Inc. All Rights Reserved.
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「かすり傷を負ってでも歩く」 日立が見せる覚悟 売り上げ5000億円見込む“AI事業”の拡大にどう挑むか
-
2
好業績なのに“上場廃止” なぜネットワンはSCSKとの「攻めの統合」に賭けたのか
-
3
「それ、うまくいかないよ」――“ベテランの壁”だった開発者の態度を一変させた、新人の工夫が参考になる
-
4
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
5
Apple折りたたみiPhone「Duo」発表 新CEO「使い勝手が悪い」と批判するSamsung、Huaweiの牙城を崩せるか
-
6
業務の30％をAIエージェントがこなすIT運用部門、なぜ「パワポ文書」を禁止したのか？
-
7
Sakana AI、一部「GPT-6 Astra」「Fable 5.1」超えうたうFugu最新版 連携先に「両モデルは含まず」
-
8
まさかの「AIが面接に来た」 話し方に“違和感” AIベンチャー代表が動画公開し注意喚起
-
9
Windows用「Gemini」アプリ提供開始 画面上に重ねて作業を中断せず利用可能に
-
10
「AI利用料は90％下落、でも支出増」の怪――AIコスト問題で注目の「ジェボンズのパラドックス」から考える
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR