1000億パラメータのLLM、AIスタートアップが公開 フルスクラッチで開発 「ハルシネーションを大幅抑止」
AIスタートアップ企業のストックマーク（東京都港区）は5月16日、1000億パラメータ規模の大規模言語モデル（LLM）を開発したと発表した。「Stockmark-LLM-100b」と名付けられたこのLMは、同社がフルスクラッチで開発したものでハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴という。
AIスタートアップのストックマーク、1000億パラメータ規模の大規模言語モデルを開発
同社は「公開されている既存のLLMモデルを用いずに、当社がフルスクラッチで開発した独自のLLM」と説明。独自に収集したビジネスドメインの日本語データを中心に事前学習させているため、日本語やビジネスドメイン、最新の時事話題に精通しているとしている。
ハルシネーションを抑えるため、答えられない質問には無理に回答せず「分からない」と答えるという。同社は「厳密さが求められるビジネスシーンにおいても信頼して活用できるモデルの開発に成功した」とし、独自LLMの性能をアピールしている。
ハルシネーション抑止の例
「GPT-4-turbo」との出力結果の比較
LLMのベンチマーク「VicunaQA Benchmark」の性能評価では、「Llama2（tokyotech-llm-Swallow-70b-instruct-hf）」と「GPT-3.5（text-davinci-003）」よりも高い点数を記録。推論速度を計測するために、100文字の日本語作文の生成速度を調べたところ、1.86秒を記録して「GPT-4-turbo」（5.48秒）を上回ったとしている。
「VicunaQA Benchmark」の性能評価
推論速度の計測結果
Stockmark-LLM-100bは、事前学習済みモデルと、指示学習済みモデルをそれぞれHugging Face上で公開している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI＋に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
Google、大学生向けに「Google AI Plus」を1年間無料提供 「Gemini」アプリに学生向け新機能も
-
2
フィジカルAIとヒューマノイドの可能性、PFNの見立てとトヨタのアプローチ
-
3
人型ロボが“人間超え”――助走なしで高さ2mのジャンプ、時速45kmで走行も 中国Unitreeが開発中の新モデルを公開
-
4
「AIに原始人っぽく話すとトークン65％削減」は本当か？ JetBrainsが検証してみた
-
5
「AIで生産性向上」日本の従業員は57％、世界平均は81％ 仕事の満足度でも大差──アクセンチュア調査
-
6
Waymoが自動運転AI戦略を解説、「単一AIモデルのE2E方式には2つの問題がある」
-
7
無料で読めるAIエージェントの実践ガイド、Googleが公開 基礎から本番実装まで学べる
-
8
「AIを使える人か、使えない人か」で仕事や評価に差が？ 6割のエンジニアが実感した“AI格差”の正体
-
9
「MicrosoftよりGoogle」で6億円削減も？ 舞鶴市、千代田区が明かすIT刷新とAI活用の成功法則
-
10
モデルの利用料金は安くなっているのに、AIの総コスト上昇 「パラドクス」の背景を解説
SpecialPR
ITmedia AI＋ SNS
@itm_aiplusをフォロー
インフォメーション
注目情報をチェック
ITmedia AI＋をフォロー
あなたにおすすめの記事PR