東大発AIベンチャー、最大級の日本語LLM公開 metaの「Llama 2」を日本語化

[ITmedia]

　東京大学松尾研究室発のAIスタートアップ、ELYZAは8月29日、日本語LLM（大規模言語モデル）「ELYZA-japanese-Llama-2-7b」を公開した。米Meta PlatformsのLLM「Llama 2」に日本語で追加事前学習を行い“日本語化”した。

　Llama 2の中では最も小さい70億パラメータのモデルを使用したが、性能評価では1750億パラメータを持つ「GPT-3.5 （text-davinci-003）」に匹敵するスコアを叩き出した。「日本語の公開モデルの中では最高水準の性能」。

　ライセンスはLLAMA 2 Community Licenseに準拠しており、研究や商業目的で利用できる。同日、chatUI形式のデモ、推論用コード、性能評価用のデータセットと具体的な評価結果シートを公開した。デモはHugging Face hubで、また日本語化で得られた知見やノウハウを技術ブログとしてnoteに掲載している。

　ELYZAは「国内では複数の企業が独自に日本語LLMの開発に取り組んでいるが、まだまだ小規模なものにとどまっている」と指摘。今回のように他の言語で学習されたLLMを用い、日本語で必要な学習量を減らすことで日本語LLMの開発を加速できるとした。同社は、Llama 2の130億／700億パラメータのモデルの日本語化にも着手済みで、今回と同様に公開を検討していく。

ELYZA独自作成の「ELYZA Tasks 100」による性能評価

　Llama 2は、7月18日にMetaが公開した英語ベースの大規模言語モデル。非常に性能が高く、英語圏ではOpenAIの「GPT-4」やGoogleの「PaLM」などのクローズドなLLMに対し、オープンモデルのデファクトスタンダードとなりつつある。