ITmedia AI＋
生成AI
サイバーエージェントはなぜ“基盤モデル”を開発するの？　生成AIブームの今知りたい、AIベンダーの動向

サイバーエージェントはなぜ“基盤モデル”を開発するの？　生成AIブームの今知りたい、AIベンダーの動向

公開 2024年02月29日 20時13分

更新 2024年03月01日 19時42分

著者

松浦立樹

[ITmedia]

印刷する Googleで優先するソースとして追加

　生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。

　さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答インタビューを実施。開発状況や独自の強みなどを探っていく。今回は、サイバーエージェントに話を聞いた。

サイバーエージェントはなぜ“基盤モデル”を開発するのか？

サイバーエージェントの基盤モデルの特徴や強みは何か？

　基盤モデルの特徴は「70億パラメータ・3万2000トークン対応の日本語大規模言語モデル（LLM）を公開済み」ということです。2023年11月に公開したバージョン2ではチャット形式でチューニング済みのモデルを別途用意しています。これは、一般の方々にとっても使いやすい技術として提供するための対応です（対話形式でやりとりできることを期待される方も多いため）。

11月には、70億パラメータ・3万2000トークン対応の日本語LLMを一般公開

　強みとして、社内の実サービスで実装＆成果が出ていることが挙げられ、特に日本語性能がユーザーに評価されています。商用利用可能なApache2.0ライセンスで一般公開後、小説を書く場合やロープレなどにすでに活用されています。実際に使った人がブログなどで活用方法を発表してくれており、高い評価を得ています。

基盤モデルで解決できる業務課題にはどのようなものがあるか？

　当社のモデルをベースとしてチューニングを行うことで対話型AIなどの開発が可能で、研究者や開発者の方々による活用を想定しています。またChatGPTのような汎用対話型AIから、要約やメール文作成のようなタスク特化型にも応用が可能です。

　また、商用利用なライセンスで公開しているため、各社が自社データに特化したLLMを作ることができます。これにより、これまでの既存生成AIサービスでカバーできなかった専門用語/専門知識に強いLLMの構築が可能です。

なぜ基盤モデルの開発を決めたのか？

　当社ではこれまで、以下のような流れがありました。

2021年：LLM開発の構想がエンジニアから提案される
2022年：世界的に生成AI関連の研究やサービスが加速、サイバーエージェント内部もさらに研究が加速
2023年：5月11日、130億パラメーターのLLMの開発を発表　5月17日、68億パラメーターLLMをOSS公開　11月2日、日本語LLMのバージョン2公開

　これらを踏まえて、独自LLMを開発した背景には「日本語に特化したLLMが少なかったため」「LLMのような最先端のAI技術を独自で開発していくことがビジネス戦略上重要になると判断したため」の2点があります。

　サイバーエージェントでは、17年からAIクリエイティブの部署を立ち上げ、AIを活用した効果の高い広告クリエイティブ制作に取り組んでいます。例えば、広告効果の予測AIで広告効果を最大化する「極予測AI」（きわみよそくAI）や検索連動型広告の効果を改善する「極予測TD」、さらにランディングページを予測・制作し運用する「極予測LP」など多くのサービスを提供しています。

　極予測シリーズで用いられているAI技術の一つに、効果の高い広告のキャッチコピーを自動生成するAIがあり、この精度向上に当時話題になっていたLLMが生きると検討。LLMに関してモデルの大きさと学習データ量を増やすことで性能が上がることが分かってきていたため、その方針で21年から開発をスタートしました。