ITmedia NEWS > 企業・業界動向 >
ニュース
» 2021年04月08日 14時27分 公開

rinna、日本語に特化した「GPT-2」の言語モデルをオープンソース化 学習済みモデルも公開

rinnaが、日本語に特化した「GPT-2」の言語モデルをオープンソース化。開発に向けた実験のために構築したもので、「GitHub」や「HuggingFace」で公開している。

[ITmedia]

 日本マイクロソフトのチャットbot事業を分社化したrinna(東京都渋谷区)は4月7日、日本語に特化した「GPT-2」の言語モデルをオープンソース化した。製品開発に向けた実験のために構築したもので、「GitHub」や自然言語処理モデルのライブラリ「HuggingFace」で公開している。

 GPT-2は、AI研究企業の米OpenAIが提供する言語モデル。「人間が使う言葉らしさ」を確率にしたもので、ある単語や文が与えられたときに、次に来る確率が高い自然な単語を推定するという。米NvidiaのGPU「Tesla V100」を使い、70GBの日本語テキストを約1カ月かけてトレーニングさせたため、高度な日本語の文章を生成できるとしている。

photo 生成したテキスト

 rinnaは今後、パラメータの数やトレーニングさせたデータが異なるモデルも公開するとしている。

Copyright © ITmedia, Inc. All Rights Reserved.