rinna、日本語に特化した「GPT-2」の言語モデルをオープンソース化 学習済みモデルも公開

[ITmedia]

　日本マイクロソフトのチャットbot事業を分社化したrinna（東京都渋谷区）は4月7日、日本語に特化した「GPT-2」の言語モデルをオープンソース化した。製品開発に向けた実験のために構築したもので、「GitHub」や自然言語処理モデルのライブラリ「HuggingFace」で公開している。

　GPT-2は、AI研究企業の米OpenAIが提供する言語モデル。「人間が使う言葉らしさ」を確率にしたもので、ある単語や文が与えられたときに、次に来る確率が高い自然な単語を推定するという。米NvidiaのGPU「Tesla V100」を使い、70GBの日本語テキストを約1カ月かけてトレーニングさせたため、高度な日本語の文章を生成できるとしている。

生成したテキスト

　rinnaは今後、パラメータの数やトレーニングさせたデータが異なるモデルも公開するとしている。