ITmedia AI＋
生成AI
パナソニック、1000億パラメータの社内専用LLMを開発へ　AIスタートアップ・ストックマークと協業

パナソニック、1000億パラメータの社内専用LLMを開発へ　AIスタートアップ・ストックマークと協業

公開 2024年07月02日 13時35分

[ITmedia]

印刷する

　パナソニックホールディングスは7月2日、パナソニックグループ専用の大規模言語モデル（LLM）「Panasonic-LLM-100b」を開発すると発表した。AIスタートアップ企業のストックマーク（東京都港区）と協業し、開発していく。パラメータ数は1000億を想定しており、これは企業が開発する自社専用LLMとしては国内最大規模という。

パナソニック、1000億パラメータの独自LLMを開発へ

　ストックマークは5月、LLM「Stockmark-LLM-100b」をフルスクラッチで開発し、Hugging Face上で一般公開していた。ハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴。また、独自に収集したビジネスドメインの日本語データを中心に事前学習しており、日本語やビジネスドメイン、最新の時事話題に精通しているという。

　パナソニックではこのLLMに対して、同社の社内情報を追加事前学習させ、グループ専用の日本語LLM「Panasonic-LLM-100b」を構築する。今回利用するStockmark-LLM-100bは一般公開したものではなく、非公開版のより高性能なAIモデルという。社内LLMの開発後には、開発中のマルチモーダル基盤モデル「HIPIE」に統合し、グループ内の各事業会社でのAI開発・社会実装を進めていく。

非公開版のStockmark-LLM-100bを活用

　現状、国内企業が自社LLMを構築する場合、70～130億パラメータの小型モデルを採用することが多いという。パラメータ数を上げる意味について、ストックマークの林達CEOは「パラメータ数が増えるほどテキストの読解力や、生成の流ちょうさが上がってくることが分かってきている。大体700～800億パラメータを超えてくるとブレークスルーし、精度も上がっていく」と話す。

　一方、パラメータ数を増やすことによるデメリットもある。林CEOは「パラメータ数を上げるほど、AIモデルがじゃじゃ馬のようになって制御が難しくなり、チューニングがやりづらくなる」と説明。パナソニックは、この技術的な難しさをストックマークと協業することで、クリアしていく算段だ。

　Panasonic-LLM-100bは秋ごろまでに構築し、実業務で運用していく方針。