「りんな」開発元、大規模言語モデルを公開 36億パラメーターで日本語特化

[ITmedia]

　コミュニケーションAI「りんな」を提供するrinnaは5月17日、同社が開発したGPTベースの大規模言語モデルをオープンソースで公開した。日本語に特化した36億パラメーターを持つ汎用言語モデルと、対話言語モデルの2種類を用意。Hugging Faceでダウンロードできる。

rinnaがHugging Faceで公開した汎用言語モデル

　汎用言語モデルは、日本語のWikipedia、C4、CC-100のオープンソースデータを元に作成。対話言語モデルは、HH-RLHF、SHP、FLANの一部を日本語に翻訳したデータを用いて学習する。特定の利用目的に最適化できるよう、fine-tuningやin-context learningによる精度向上も可能という。

対話GPT言語モデルの会話例

　同社はこれまで、日本語に特化した13億パラメーターのGPT言語をはじめ、BERT、HuBERT、CLIP、Stable Diffusionなどテキスト、音声、画像に関する事前学習モデルを公開。Hugging Faceでのモデルダウンロード数は累計160万を超えているという。