パナソニック、拡散モデルによるマルチモーダルAI「LaViDa」開発 文章生成を高速化
パナソニック ホールディングス(パナソニックHD)と傘下の米パナソニックR&Dカンパニー オブ アメリカは11月27日、主に画像生成AIに利用する「拡散モデル」で文章を生成するマルチモーダルAI「LaViDa」を開発したと発表した。米カリフォルニア大学ロサンゼルス校の研究者と協力。従来の文章生成で多く使われる「自己回帰型モデル」の一部に比べ、処理を高速化したという。
拡散モデルによる文章生成では、入力データの一部にランダムにマスキングを施し、それを復元していく。自己回帰型モデルに比べ、処理を高速化できるなどの強みを持つ一方、1)単語同士の関連度を演算する「アテンション計算」が重くなる、2)学習時のマスキングに不具合が生じる可能性が高まる、という課題があった。
そこで、パナソニックHDらは、入力画像と質問文のトークン(データを処理するために分割した最小単位)のアテンション計算から、出力する文章のトークンを排除する仕組み「Prefix-DLM」を開発した。これにより、計算を効率化。加えて、マスキングするトークンに漏れがないよう、相補的な2通りのマスキングを用意し、全てのトークンをAIが学習できるようにした。
ベンチマークの結果、LaViDaは、自己回帰型モデル「Open-LLaVa-Next-8B」に比べ、グラフなどが含まれる書類の内容理解や、数学の証明問題などで高い性能を示し、文章の生成も速かったという。また、自己回帰型モデルが苦手とされる特定の形式に沿った文章生成もできたという。
今回の研究成果は、機械学習分野の国際会議「NeurIPS 2025」に採択された。12月3日から5日まで米国サンディエゴで開催される本会議にて発表予定。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
よく見られているカテゴリー
アクセスランキング
-
1
マイクロン、AI需要で広島工場増強へ起工式 1.5兆円投資
-
2
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
3
AIコーディングの「ループ」4種類を完全入門 Anthropic公式が分かりやすく整理して解説
-
4
パランティアCEOがOpenAIやAnthropicを批判 「AIモデルを強化するためのデータをなぜ顧客が渡すのか」
-
5
「AIは依然として古い性能法則に従っている」 Tenstorrent Jim Keller氏
-
6
キオクシア、新型メモリのサンプル出荷開始 岩手の工場の最先端設備活用
-
7
富裕層にいかに金を使わせる? ダイナースとニューオータニ「18万円超カード」の真意
-
8
FDEとリコーの新コンサルサービス、どこが違う? AXのパートナー選びを考察
-
9
AI推進にブレーキ? AWS「コスト抑制の動きある」 “トークン消費問題”への有効策は
-
10
【Fable 5に聞いてみた】10年後、ITエンジニアの仕事はどうなる? 他のAIモデルの回答とも比較
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR