　米NVIDIAは6月14日（現地時間）、LLMのトレーニング用オープン合成データ生成モデルシリーズ「Nemotron-4 340B」を発表した。独自のオープンモデルライセンス（PDF）の下、「あらゆる業界の商用アプリケーション向けLLM」のトレーニングに使うデータセットを合成できるとしている。つまり、商用利用も可能だ。

　LLMの開発では、高品質で多様なデータセットでのトレーニングが不可欠だが、ネットなどから収集したデータには偏りや不正確なものが含まれる可能性があり、量にも限りがある。そのため、合成データの生成に注目が集まっている。

　Nemotron-4 340Bには、合成データ生成のパイプラインを形成するbase、instruct、rewardの3つのモデルが含まれる。baseモデルは、9兆個のトークでトレーニングされたカスタマイズの基盤となるモデル。独自データを組み込むことで、このモデルをカスタマイズできる。instructモデルは、現実世界のデータの特性を模倣した多様な合成データを生成するよう設計されており、ドメイン固有の合成トレーニングテキストを生成する。rewardモデルは、生成された出力の品質を評価するためのモデル。instructの出力が、設定した基準とどの程度一致しているかに基づいてスコアを付けて高品質の応答を促進し、AIシステムの改善を促す。

Nemotron-4 340Bの合成データ生成パイプライン

　NVIDIAは、このモデルは「8つのGPUを備える単一のDGX H100に収まるサイズになっている」としている。

　モデルは、オープンソースフレームワークNvidia NeMoおよびNvidia TensorRT-LLMライブラリを使用した推論用に最適化されている。すべてのデータはHuggingfaceで入手できる。

NVIDIA、Blackwellの次のGPUアーキテクチャ「Rubin」を2026年にと予告
NVIDIAは次世代GPUアーキテクチャ「Rubin」を発表した。3月に発表し、間もなく登場する「Blackwell」の次として2027年に提供する計画。2026年には「Blackwell Ultra」を提供し、同社のGPUは「1年周期」になるとファンCEO。
NVIDIA、AI需要で過去最高の売上高　「次の産業革命が始まった」とファンCEO
NVIDIAの2月～4月の決算は、売上高は前年同期比約3.6倍の260億4400万ドル、純利益は約7.3倍だった。AI需要でデータセンター向けGPUが快調で、ファンCEOは「次の産業革命が始まった」と語った。
NVIDIA、GPUプラットフォーム「Blackwell」発表　「兆パラメータ規模のAIモデル実現」
NVIDIAは5年ぶりに年次カンファレンスを「GTC」を開催し、AI向けプラットフォーム「Blackwell」を発表した。これにより、“兆パラメータでリアルタイム生成AIを構築および実行できるようになる”としている。
NVIDIA、ロボットに“高速ペン回し”も教えるGPT-4搭載AI「Eureka」
NVIDIAは、ロボットに高速なペン回しなどの複雑なスキルを自律的に教えるAIエージェント「Eureka」を発表した。ライブラリを公開し、「Nvidia Omniverse」上の「Nvidia Isaac Gym」で実験できるようにした。