「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？　日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま（1/2 ページ）

　GPT-3.5 Turboと同水準の日本語特化型LLMを開発したELYZA。4月にはKDDIグループの傘下となり、注目を集めている。日本語性能トップクラスのLLMをどう作っているのか。KDDI傘下になったのはどんな狙いが？　LLM活用でいま注目のポイントは？　気になることを、曽根岡侑也CEOにインタビューした。

「ChatGPTがやってることを全部やりきった」

　3月に発表した700億パラメータモデル「ELYZA-japanese-Llama-2-70b」は、OpenAIの「GPT-3.5 Turbo」やGoogleの「Gemini 1.0 Pro」に匹敵する日本語タスク処理性能を備える。性能向上をどのように実現したのか。

　曽根岡CEOは「簡単に言うと、ChatGPTがやってることを全部やりきった」と説明する。具体的には、以下の3つが重要だったという。

• モデルを700億パラメーターにスケールアップ
• 日本語の追加事前学習量を5倍の1000億トークンに拡充
• RLHF（人間のフィードバックによる強化学習）によるチューニング

　大規模言語モデルの開発には、言語を学ぶ事前学習と、特定のタスクができるようにチューニングするという2つの過程がある。

　ELYZAのアプローチは、事前学習済みのオープンなLLMモデルをベースとして、日本語に特化したタスク処理を学習させるPost-Training（ポストトレーニング）で作り込むアプローチを取っている。

　ポストトレーニングでは、既存のモデルをベースに日本語を追加学習させ、独自の指示学習データでチューニングする。これにより、事前学習からフルスクラッチで構築するときと比べて、計算リソースと時間を大幅に削減できる。

　「700億パラメーターのモデルを事前学習するには1兆～2兆の単位のトークンを学習する必要がある。これには5000基のNVIDIA A100 GPUを10日間稼働させる必要がある。一方、ポストトレーニングなら200億トークンの追加事前学習で済むため、100基のGPUで学習できる」（曽根岡CEO）

　「ELYZA-japanese-Llama-2-70b」は産総研のスパコン「ABCI」の計算リソースの割り当てを受けて、追加事前学習を実施している。

　ポストトレーニングで重要となる指示学習データについては、ELYZAはデータファクトリーと呼ばれる専門チームを設置し、3年かけて整備を進めてきた。多様な日本語の指示に対応できるようなデータセットを構築することで、柔軟な指示に対応できるようにしている。

公開モデルからAPI提供に変換した理由

　ELYZAはHugging Face上でLLMを公開する方針を取っていたが、700億パラメータモデルでは企業向けにAPIを提供する方針に転換した。

　これには2つの理由があるという。一つは、700億パラメータモデルを動作させるためにはマシンパワーを要するため、ユーザー企業の環境で動作させるのは現実的でないためだ。

　「70Bモデルをクラウド上でホスティングするとなると、月100～300万円の運用費用は平気でかかってくる。公開したが誰も使えない状態になるぐらいなら、安定的に使えるAPIにして、しっかり使ってもらいたい」

　もう一つの理由は、事業戦略上の判断だ。オープンモデルを推進する企業が必ずしも成功しているわけではない。

　「仮に70Bモデルを公開して1年後に破産しているのでは意味がない。グローバルプレイヤーに遜色ないような対抗馬として選択肢を用意するため、ビジネスとして存続する必要がある」

KDDI傘下入りは「日本版のOpenAI＆Microsoft連合」

　ELYZAは4月に、KDDIによる出資を受け入れた。KDDIが「スイングバイ上場」と呼ぶ枠組みで、KDDIグループ傘下の企業として将来的な上場を目指している。

　この買収劇を曽根岡CEOは、Microsoft傘下で運営するOpenAIになぞらえている。

　「LLMの世界はマネーゲーム、影響力ゲームに変わってきている。計算基盤もさることながら、ユーザー企業を獲得するための営業体制、アプリケーションとのアライアンスも必要となる」

　「OpenAIがマイクロソフトと提携したのは素晴らしい戦略だった。その日本版はどう作れるのかと考えた時、ベストマッチがKDDIだった」と曽根岡CEOは述べ、KDDIとの提携が日本におけるOpenAIとMicrosoftの連合に相当すると位置づけた。

　KDDIとの提携により、ELYZAは研究開発の加速と事業展開の強化が期待できる。曽根岡CEOは「我々は研究開発をずっと自己資本でやってきており、頑張って作った利益を全部研究開発の計算基盤に溶かすということをやってきた」と、これまでのELYZAの研究開発体制を振り返る。

　「（KDDIからの出資で）財務基盤が安定したことは大きい。今まで以上に国内のLLMプレイヤーとして、本当に価値のあるモデルを作るたびに、ちょっと勇気を出してお金を出して、投資をしてもらっていた。この研究開発は非常に加速していくだろう」

この記事の著者

関連記事

• 

  国産LLMが抱える“開発コスト”の課題　海外勢に安さで勝てるか、ELYZA代表の危機感

• https://www.itmedia.co.jp/news/articles/2403/12/news149.html
• https://www.itmedia.co.jp/news/articles/2403/18/news140.html