企業の“生成AI活用”のトレンドは？ 他社モデル活用と独自モデル開発、東大発ベンチャー・ELYZAが解説（2/2 ページ）

[松浦立樹，ITmedia]

活発化する独自モデル開発

　LLMを巡るもう1つの大きな流れは「独自モデル開発の動き」だ。OpenAIなどへ依存する状態を脱して、独自LLMによる差別化や柔軟性の獲得を狙っている。例えば、米Bloombergは金融機関向けに500億パラメータの独自モデルを開発している。

　GPT-4などの汎用モデルを利用する場合との違いは、特定の領域でより高い精度を実現できることにある。例えば、Bloombergのような金融業や製薬、医療など専門用語が多い業界なら、それに特化したモデルを開発することで、他社製のモデルと比べて汎用性は落ちるが、その業界特有の業務でより高い精度の回答ができる。

金融や広告業など各業界での独自LLMの利用例

　このような専門性が高い事業以外に「個人情報を中心に情報がセンシティブな事業」や「エッジでの処理が求められる事業」などでも、独自LLMを開発することにメリットがあるという。「独自LLMならオンプレミスで情報セキュリティへの考慮ができ、ネットが届かない環境でも業務利用を実現できる」（曽根岡代表）

　また、国内でも独自モデルの開発に取り組む企業は増えている。サイバーエージェントは130億パラメータの独自モデルを開発し、すでに広告事業で活用中だ。他にも、リコーやNEC、富士通などの大手ITベンダーや、NTTやソフトバンクなど通信キャリアで開発が活発化している。

国内でも大手ITベンダーや通信キャリアなどで活発化

ELYZAが注目した「Post-Training」とは

　LLMを巡るこのような状況の中、ELYZAは企業の独自LLMを構築するための支援プログラムの提供を始める。このプログラムでは、個社データを整備・作成し学習する基盤「Post-Training基盤」の構築などを支援するという。

　独自LLMの開発には「Pre-Training」（事前学習）と「Post-Training」（事後学習）の2つの学習工程が必要となる。Pre-Trainingとは「大量の文章データをもとに言語を学習させてモデル自体の基礎能力を構築する学習」で言語を学ばせるフェーズのこと。Post-Trainingは「特定の業務やタスクにおいて人間の要求に沿った回答ができるように出力を整える学習」で、業務に馴染ませる工程を指す。

「Pre-Training」（事前学習）と「Post-Training」（事後学習）などについての概要

　自社LLMを作る場合、Pre-TrainingとPost-Trainingの両方を行うフルスクラッチ開発とPre-Trainingには既存モデルを利用し、Post-Trainingのみを行う2種類の開発方法がある。研究や社会的なトレンド・コストを鑑みた結果、ELYZAはPost-Trainingに着目した。

開発コストの比較

　「フルスクラッチ開発の場合、50億〜100億円程度の開発コストがかかるといわれている。一方、Post-Trainingのみなら1億〜10億円程度で開発可能。また、OpenAIやGoogleなどがオープンソースでAIモデルを公開している。それをPre-Trainingで利用できることから、ここにコストをかける必要はないと考えた」（曽根岡代表）

　同社ではPost-Trainingの精度を検証する実験も実施。ChatGPT（モデルサイズ1750億）の精度を100％とし、他AIモデルの精度を比較した。その結果、モデルサイズ130億のLLaMAをPost-Trainingしたところ、92％の精度を記録。ChatGPTの10分の1以下のモデルサイズでも、近しい精度を出せたことから「Post-Trainingは非常に強い技術」と評している。

Post-Trainingの精度の検証結果

　曽根岡代表は「今後もテックジャイアントと呼ばれる企業達が続々と事前学習済みモデルを出していく。ここに当社のPost-Trainingに対する技術を注いで、各業界に特化した独自LLMモデルの開発を支援していきたい」と意気込みを話す。

　「今後、LLMを使う・使わない企業で二極化が進んでいくと思う。例えば、LLMを使う企業で成功事例が出れば、人件費や社内業務への考え方が変わっていくのではないかと予想している。少しずつさまざまな部分で、差が生まれると考えられるため、テックジャイアントたちの動きを追うなど、AIトレンドを追いかける重要性は上がっていくのでは」（曽根岡代表）