日本特化型ソブリンAI「Llama 3.1 Swallow」 産総研、東京科学大とNVIDIA

生成AIの安全性や信頼性への議論が深まる中、NVIDIAが日本の研究機関と共同で日本特化型のAIモデルを商用利用可能なライセンスで公開した。コンテナイメージとしてパッケージされているため、すぐに利用できる。

[後藤大地，有限会社オングス]

　NVIDIAは2024年10月9日、東京科学大学（旧・東京工業大学）および産業技術総合研究所（AIST）と共同で、日本特有の言語・文化的ニーズに応えるソブリンAI「Llama 3.1 Swallow」を開発したと発表した。Llama 3.1 Swallowは日本語と英語の両方で最高水準の性能を発揮し、特に日本語能力の強化と英語能力の保持が評価されている。NVIDIAはこのモデルを商業利用可能な成果物として提供しており、NVIDIAが提供するAIモデル共有サイト「ai.nvidia.com」から試用できる。

先進的なソブリン AI モデルが、日本のイノベーションとチャンスを解き放つ - NVIDIA 技術ブログ（出典：NVIDIAのWebサイト）

日本語に強く商用利用可能な「Llama 3.1 Swallow」　マイクロサービスでの提供も

　Llama 3.1 SwallowはCommonCrawlのアーカイブから日本語テキストを抽出、精錬して構築された「Swallow Corpus Version 2」を基に「Megatron-LM」で学習を実施したものと説明されている。

　Swallow Corpus Version 2は前バージョンの4倍の規模となり、日本語のAI能力を強化している。最終的な学習データは「ウィキペディア」や数学コンテンツ、コーディング関連のデータを含む約2000億トークンで構成され、モデルの継続事前学習に利用されている。

　NVIDIAはLlama 3.1 Swallowが従来のモデルや他のモデルと比較して、日本語および英語での読解や要約、推論、マルチターン会話、コーディングにおいて「最高水準の性能を示している」と説明するとともに、特に英語能力を損なうことなく日本語能力を強化した点を評価している。

　NVIDIAによる本発表で注目したいポイントは、NVIDIAが東京科学大学および産業技術総合研究所と連携してLlama 3.1 Swallowを「NVIDIA NIM」マイクロサービスとしてパッケージ化し、GPUアクセラレーションを利用したシームレスな展開を可能にした点にある。これにより、日本企業や研究者はこのソブリンAIモデルを容易にエンドポイントとして利用でき、アプリケーション強化が可能になる。

　今回の発表で、NVIDIAは研究レベルの成果物ではなく、商業利用可能なソブリンAIモデルとしてLlama 3.1 Swallowを提供することを強調している。同モデルはai.nvidia.comで試用可能な他、同Webサイトには他の人気モデル（Llama3.1 70B、Gemma 2 9B、Mixtral 8X22Bなど）もマイクロサービス向けのコンテナイメージが公開されている。

　ソブリンAIモデルは各国の特定ニーズに応じてカスタマイズ可能であり、日本の場合には日本の文化的文脈に適合した日本語処理モデルが求められている。データ保護や技術独立性、機密情報漏洩防止、法規制の順守といった政治的観点からも、各国はソブリンAI開発に注力している。