KDDI傘下のELYZA、日本語特化の「拡散言語モデル」公開 商用利用も可
KDDIの子会社で、AIを研究開発するELYZA(東京都文京区)は1月16日、日本語に特化した拡散大規模言語モデル(dLLM)「ELYZA-LLM-Diffusion」シリーズを公開した。dLLMは、主に画像生成AIで使われる拡散モデルを言語生成に活用したもの。同シリーズはHugging Faceで公開しており、商用利用もできる。
一般的に言語生成で使われる自己回帰モデルはテキストを冒頭から順に出力する一方、dLLMはテキスト全体を扱いながら出力する。処理の回数を減らして推論を効率化できるため、テキストの生成速度を上げられるほか、将来的にはAIによる電力消費の低減を期待できる。
そこでELYZAは、電力効率の良い日本語LLM実現に向けた取り組みの一環として、KDDIのGPU基盤を利用し、ELYZA-LLM-Diffusionシリーズを開発した。中国の香港大学が公開しているdLLM「Dream-v0-Instruct-7B」に、約620億トークンの日本語データを学習させて「ELYZA-Diffusion-Base-1.0-Dream-7B」を開発。同モデルに特定のタスクの精度を高める指示学習を実施して「ELYZA-Diffusion-Instruct-1.0-Dream-7B」も開発した。
ELYZAによると、ELYZA-Diffusion-Instruct-1.0-Dream-7Bは、ベースとなったDream-v0-Instruct-7Bや、中国Tencentが公開するdLLM「WeDLM-7B-Instruct(Diffusion)」などに比べ、高い日本語性能を示したという。一方、コーディングや数学を解く一部のタスクでは、他のモデルの性能に及ばなかったとしている。
ELYZA-Diffusion-Base-1.0-Dream-7Bと、ELYZA-Diffusion-Instruct-1.0-Dream-7Bは共にHugging Faceで公開しており、商用利用もできる。また、チャットAIのUIを模したデモも公開している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
NotebookLMに公式APIが登場 WebページやYouTube動画の取り込みを自動化でき、MCPでAIエージェントからも使える
-
2
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
3
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
4
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
5
大手自動車メーカーの検図工数を90%削減 AIが図面の重要な変更点を判別
-
6
Anthropic、IPO前夜に「SaaS殺し」へ舵? Claudeに表計算を内蔵した、真の狙い
-
7
NTTが宇宙光通信網の構築へ 「IOWN搭載」衛星と宇宙データセンターで米中に挑む
-
8
【Pythonで学ぶデータ分析】重回帰分析のモデル比較をベイズ統計で行う ~ 株価の予測にはどの指標が効くのか?
-
9
わが社はChatGPTでどう紹介されている? OpenAIが企業向けの確認機能を提供開始
-
10
「AIによる鍵の不正利用」を生体認証で防ぐ日立の新技術、サイバー攻撃対策にも
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR