NVIDIAが30Bのオープンモデル公開 「OpenClaw」など常時稼働エージェント向けに設計

 米NVIDIAは8月11日(現地時間)、300億(30B)パラメータのオープンモデル「Nemotron 3.5 Lightning」を公開した。「OpenClaw」「Hermes Agent」といった常時稼働型のAIエージェント向けに設計しており、「小規模モデル並みのコストで、大規模モデル並みの処理能力」をうたう。

 モデルの中に複数の処理役を用意し、入力内容に応じてその一部だけを動かすことで処理効率を高めた「MoEアーキテクチャ」を採用した。推論時に動作するアクティブパラメータは30億(3B)。

 小型モデルの生成結果を大型モデルで検証する「推測的デコーディング」と、モデルの重みを低ビットの数値に変換する「量子化」によって、精度を維持しつつ高速な生成を実現したとうたう。

 AIモデルの性能評価サービスを提供する米Artificial Analysisは、「Artificial Analysis Intelligence Index」で同モデルを24ポイントとし、約4倍のパラメータ数となる米OpenAIの「gpt-oss-120b」と同等のスコアを達成したと評価。前世代の「Nemotron 3 Nano」から9ポイント改善した。出力速度は毎秒約670トークンと同等サイズの他社モデルを大きく上回り、エージェント運用の「効率的な主力モデル」になるとした。

40B以下モデルにおけるArtificial Analysis Intelligence Index(縦軸)と出力速度(横軸)の比較(出典:NVIDIAの公式ブログ)

 Nemotron 3.5 Lightningは、モデルの重みに加え、学習データやレシピも「OpenMDW-1.1」ライセンスで「Hugging Face」などで提供されている。

印刷する
SNSでシェア
SpecialPR

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR