機械に話しかけて設定できる時代が来る？ なぜ“小規模”なLLMが求められるのか

[斎藤健二，ITmedia]

　AIのビジネス活用のトレンドはChatGPTで、いかにGPT APIを活用してビジネスを自動化するかだとか、いかにChatGPTを使って個人の生産性を上げるかが議論にあがる。一方で、その対抗馬である各社の大規模言語モデル（LLM）については、ことビジネスへの利用という意味では、まだ実用域に達していない印象だ。

　AIのビジネス活用を研究する開発者は口々に「APIとして整備され、実績もあり、性能も高いOpenAIとMicrosoftのGPT APIは、抜きん出ている。ビジネス利用では実質的に唯一の選択肢」だと話す。

　一方で、直近、米Metaが開発したLLaMAを筆頭に、オープンソース系のLLMに注目と期待が集まっている。それはなぜか。

各種LLMのモデル

モデル名	アーキテクチャ	データセット	規模	開発主体	制約
GPT-3	Transformer	ネット上の文字情報	175B	OpenAI	APIのみ、非公開
GPT-4	Transformer	非公開（動画・音声を含む）	非公開	OpenAI	APIのみ、非公開
LLaMA	Transformer	LLaMa Dataset	13B-66B	Meta	学術目的のみ
Alpaca	Transformer	Alpaca Dataset	13B	Stanford	学術目的のみ
Vicuna	Transformer	ShareGPTの会話データ	7B-13B	UCB,CMU,UCSD,etc.	学術目的のみ
Dolly-v2	Transformer	Databricks社独自の会話データセット	7B-13B	Databricks	オープン、商用利用可
RWKV	RWKV	Pile	7B-13B	BlinkDL	オープン、商用利用可
Raven	RWKV	Alpaca Dataset	7B-13B	BlinkDL	学術利用のみ
StableLM	Transformer	拡張したPile	7B-13B	Stability.ai	オープン、商用利用可
StableLM-Tuned	Transformer	Alpaca Dataset	7B-13B	Stability.ai	学術利用のみ
RedPajama	Transformer	RedPajama Dataset	13B（学習中）	Together	オープン、商用利用可

記事「百花繚乱の大規模言語モデル　その現状まとめ【2023年4月末版】」より抜粋

小規模LLMの利点

　LLMにおいて、学習パラメータ数は性能に直結する。パラメータ数を上げれば性能が向上するというのは「最近においては研究者の間でのコンセンサス」（企業向けのAIソリューション開発を行うLaboro.AIの藤原弘将COO兼CTO）だ。

　一方で、注目を集めつつあるのがLLaMAのような小規模なモデルだ。

　LLaMAはパラメータ数の異なる4つのサイズ（7B、13B、33B、65B）で提供されている。これは175B規模のGPT-3や、それを遥かに上回るといわれるGPT-4に比べると非常に小さいが、13BサイズでもGPT-3よりも性能が上だという。

　モデルを大規模化すれば性能が上がることが分かっていても、小規模でも高性能なモデルの開発が注目されている理由の1つは、ビッグテックによるLLM独占への警戒感だ。大規模モデルの学習は規模が大きくなるほど必要な演算量も増える。「例えばAWSを使って学習を行った場合、数十億円から数百億円がかかるといわれている」（藤原氏）という中で、継続してモデルを大規模化できる企業は限られる。大学などの研究機関が独自の研究を進めるには、規模が小さめのモデルの存在が重要だ。

　もう一つは推論側の演算量の削減だ。モデルの大規模化に伴い、回答の性能は向上するものの、回答のための推論演算の量も増す。ChatGPTにおいても、GPT-3.5よりGPT-4の回答は著しく遅い。推論演算も負荷は小さくないわけだ。

　GPT APIを使ったビジネスアプリケーションにおいても、この観点は重要だ。ビジネスでLLMを活用する場合も「消費電力や利用コストあたりの性能が重要」だとLaboro.AIの椎橋徹夫CEOは話す。

Laboro.AIが想定する、ビジネス領域でのLLMの活用事例

機械の操作を言葉で行う時代が来る？

　では小規模で消費電力が小さく、演算能力の小さなCPUやGPUでも実行できるLLMが実用化されるとどんな世界がやってくるのだろうか。

　椎橋氏が挙げた一つの応用例が、産業用機械などのユーザーインタフェースとしての活用だ。現在、こうした機械ではさまざまなスイッチを押して操作したり設定を変更するのが一般的だが、そこにワンチップで動作するような日本語LLMが入ったらどうか。音声認識との組み合わせで、ユーザーは日本語で話しかけるだけで、複雑な設定もストレスなく行えるようになる未来が見える。

　これは近い将来、家電や自動車などの民生機器にも応用できるようになるだろう。

　例えば「夕方6時に仕上がるように、肉じゃがの調理を予約して」とか、「六本木ヒルズに寄ってから東京駅に向かうルートを引いて。高速は使っていいけど時間を優先で」など複雑な操作も、LLMを介すことで意図を理解して設定することが可能になるだろう。

　もちろんGPT-APIを使っても同様のことはできるだろうが、組み込み型にできれば、応答速度とコストにメリットがあり、さらにオフラインでも利用でき、セキュリティ的にネットにつなげたくないというニーズも満たせる。

　そしてこうした目的ならば、日本語を理解して設定に落とし込む能力があれば事足りる。別に大学入試に受かるほどの性能は不要だ。

　これまで、こうしたニーズに向けて開発されてきたのは、一般にNLPと呼ばれる自然言語処理AI技術だった。ところがLLMの登場によってNLP不要論も飛び出してきている。「LLMですべてが解決できる可能性がある。自然言語処理の世界だと、LLMの延長で特化型AIとほぼ同じ水準に来る気がしている」と藤原氏。

　LLMの利用は、意外なところまで広がりそうだ。