国産LLMが抱える“開発コスト”の課題　海外勢に安さで勝てるか、ELYZA代表の危機感（2/2 ページ）

公開 2024年03月13日 17時39分

更新 2024年03月13日 05時29分

著者

石井徹

[ITmedia]

印刷する

ELYZA新モデルの特徴は？　「トレーニングを1年以上続けた」

　ELYZA-japanese-Llama-2-70bは、米Meta製であるLlama 2の700億パラメータモデルをベースとして、ELYZA独自で日本語に特化した追加事前追加学習と事後学習を施し、日本語処理の性能を高めた。

　追加事前学習には、100億トークンの日本語コーパスを活用。学習に当たっては、産業技術総合研究所の生成AI支援プログラムの援助を受けて、AI用スーパーコンピュータ「ABCI」の計算資源の20％を2カ月占有して学習を行った。

　事後学習は、ELYZA独自に構築したデータセットをベースに、日本語での指示をくみ取れるような調整を行っている。ELYZAの垣内弘太CTOは自社にデータファクトリーというデータ制作専門の部署を置き、データの学習と改善を繰り返したと説明。「トレーニングを1年以上続けてデータをブラッシュアップし続け、現在のELYZAの性能につなげた」と説明した。

ELYZAの垣内弘太氏CTO

　ELYZA-japanese-Llama-2-70bの性能評価には、日本語LLM用の2つのベンチマークで実施。この評価ではGPT-3.5やClaude 2、Gemini 1.0に匹敵する日本語処理性能を確認したという。

スコア詳細

　2つのベンチマークのうち「ELYZA Tasks 100」は、ELYZA自身が定めたもので、LLMが指示に従う能力や役に立つ回答を示せるかを人手で評価している。このベンチマークの評価では、全8モデル中5位にランクインし、国内モデルでは1位を記録。GPT-3.5 Turbo（0125）に匹敵する性能を示した。

ELYZA Tasks 100の評価、グローバルモデルとの日本語性能での比較

　もう一方のベンチマークである、英Stability AIの「Japanese MT-bench」では、総合スコアで「Gemini 1.0 Pro」を上回るスコアを獲得。特に人文学や科学技術の分野では高い性能を発揮し、OpenAIのGPT-4（0613）と同等水準の性能を確認できたとしている。

　一方で、数学とコーディングの分野が苦手であり、スコアが平均を下回る結果に。推論タスクについても、GPT 3.5 Turbo-0125に引けを取る評価だった。

Japanese MT-Benchの評価。ELYZAは7位だが苦手な「数学」と「コーディング」タスクを除くと4位に

APIとして法人向けに提供へ

　ELYZAはこれまで、LLMを法人パートナー向けにカスタムメイドで提供していた。主な活用例として、J東京海上日動火災保険のコールセンター業務の省力化や、マイナビの求人原稿の執筆になどがある。

　ELYZA-japanese-Llama-2-70bの開発をへて、新たにAPI形式のサービスを追加する。「ELYZA LLM for JP」シリーズとして、2024年春から提供する予定。今回発表した700億パラメータのモデルの他にも、130億パラメータ版などの既存モデルも提供し、法人のニーズにあわせて選択できるようにするという。