1000億パラメータのLLM、AIスタートアップが公開 フルスクラッチで開発 「ハルシネーションを大幅抑止」

AIスタートアップ企業のストックマークは、1000億パラメータ規模の大規模言語モデルを開発したと発表した。同社がフルスクラッチで開発したものでハルシネーションを大幅抑止しているのが特徴という。

[松浦立樹，ITmedia]

　AIスタートアップ企業のストックマーク（東京都港区）は5月16日、1000億パラメータ規模の大規模言語モデル（LLM）を開発したと発表した。「Stockmark-LLM-100b」と名付けられたこのLMは、同社がフルスクラッチで開発したものでハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴という。

AIスタートアップのストックマーク、1000億パラメータ規模の大規模言語モデルを開発

　同社は「公開されている既存のLLMモデルを用いずに、当社がフルスクラッチで開発した独自のLLM」と説明。独自に収集したビジネスドメインの日本語データを中心に事前学習させているため、日本語やビジネスドメイン、最新の時事話題に精通しているとしている。

　ハルシネーションを抑えるため、答えられない質問には無理に回答せず「分からない」と答えるという。同社は「厳密さが求められるビジネスシーンにおいても信頼して活用できるモデルの開発に成功した」とし、独自LLMの性能をアピールしている。

ハルシネーション抑止の例

「GPT-4-turbo」との出力結果の比較

　LLMのベンチマーク「VicunaQA Benchmark」の性能評価では、「Llama2（tokyotech-llm-Swallow-70b-instruct-hf）」と「GPT-3.5（text-davinci-003）」よりも高い点数を記録。推論速度を計測するために、100文字の日本語作文の生成速度を調べたところ、1.86秒を記録して「GPT-4-turbo」（5.48秒）を上回ったとしている。

「VicunaQA Benchmark」の性能評価

推論速度の計測結果

　Stockmark-LLM-100bは、事前学習済みモデルと、指示学習済みモデルをそれぞれHugging Face上で公開している。