サイバーエージェントはなぜ“基盤モデル”を開発するの？ 生成AIブームの今知りたい、AIベンダーの動向

[松浦立樹，ITmedia]

　生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。

　さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答インタビューを実施。開発状況や独自の強みなどを探っていく。今回は、サイバーエージェントに話を聞いた。

サイバーエージェントはなぜ“基盤モデル”を開発するのか？

サイバーエージェントの基盤モデルの特徴や強みは何か？

　基盤モデルの特徴は「70億パラメータ・3万2000トークン対応の日本語大規模言語モデル（LLM）を公開済み」ということです。2023年11月に公開したバージョン2ではチャット形式でチューニング済みのモデルを別途用意しています。これは、一般の方々にとっても使いやすい技術として提供するための対応です（対話形式でやりとりできることを期待される方も多いため）。

11月には、70億パラメータ・3万2000トークン対応の日本語LLMを一般公開

（関連記事：サイバーエージェント、再び大規模言語モデルを無料公開　3万2000トークンに対応　商用利用もOK）

　強みとして、社内の実サービスで実装＆成果が出ていることが挙げられ、特に日本語性能がユーザーに評価されています。商用利用可能なApache2.0ライセンスで一般公開後、小説を書く場合やロープレなどにすでに活用されています。実際に使った人がブログなどで活用方法を発表してくれており、高い評価を得ています。

基盤モデルで解決できる業務課題にはどのようなものがあるか？

　当社のモデルをベースとしてチューニングを行うことで対話型AIなどの開発が可能で、研究者や開発者の方々による活用を想定しています。またChatGPTのような汎用対話型AIから、要約やメール文作成のようなタスク特化型にも応用が可能です。

　また、商用利用なライセンスで公開しているため、各社が自社データに特化したLLMを作ることができます。これにより、これまでの既存生成AIサービスでカバーできなかった専門用語/専門知識に強いLLMの構築が可能です。

なぜ基盤モデルの開発を決めたのか？

　当社ではこれまで、以下のような流れがありました。

• 2021年：LLM開発の構想がエンジニアから提案される
• 2022年：世界的に生成AI関連の研究やサービスが加速、サイバーエージェント内部もさらに研究が加速
• 2023年：5月11日、130億パラメーターのLLMの開発を発表　5月17日、68億パラメーターLLMをOSS公開　11月2日、日本語LLMのバージョン2公開

　これらを踏まえて、独自LLMを開発した背景には「日本語に特化したLLMが少なかったため」「LLMのような最先端のAI技術を独自で開発していくことがビジネス戦略上重要になると判断したため」の2点があります。

　サイバーエージェントでは、17年からAIクリエイティブの部署を立ち上げ、AIを活用した効果の高い広告クリエイティブ制作に取り組んでいます。例えば、広告効果の予測AIで広告効果を最大化する「極予測AI」（きわみよそくAI）や検索連動型広告の効果を改善する「極予測TD」、さらにランディングページを予測・制作し運用する「極予測LP」など多くのサービスを提供しています。

　極予測シリーズで用いられているAI技術の一つに、効果の高い広告のキャッチコピーを自動生成するAIがあり、この精度向上に当時話題になっていたLLMが生きると検討。LLMに関してモデルの大きさと学習データ量を増やすことで性能が上がることが分かってきていたため、その方針で21年から開発をスタートしました。

他社と比較した際、競合優位性はどこにあるのか？

　そもそも他社と競うというスタンスではありません。国や企業・アカデミアと連携してLLMを作る必要があり、オープンなものを作って多くの人を巻き込んで性能を上げていき、日本の技術競争力に貢献する必要があると考えています。

（関連記事：2024年の生成AIはどうなる？　サイバーエージェントなどIT企業4社の“本音”　「OpenAI強すぎる問題」に活路はあるか）