Sakana AI、複数の画像を扱える“日本語視覚言語モデル”公開 非英語圏での先駆けに
AIスタートアップのSakana AI(東京都港区)は8月2日、複数の画像について日本語で質疑応答できるAIモデル「Llama-3-EvoVLM-JP-v2」を発表した。このモデルは、同社が提案する生成AIの開発手法「進化的モデルマージ」で開発した視覚言語モデル(VLM)。作成したAIモデルなどはHugging Faceで公開中。
「Llama-3-EvoVLM-JP-v2」の特徴は、複数の画像を扱えること、日本語で応答できることだ。例えばこのAIモデルに、2枚の犬の画像を見せて「それぞれを簡単に説明してください」と質問すると、犬種や身に着けている装飾品など、質問に対する回答を日本語で返してくれる。米Metaが公開しているAIモデル「Llama-3」をベースにしており、同社が過去に公開したAIモデルよりも性能が向上しているという。
これまでも、画像に対する説明や質疑応答のできるVLMが多く公開されてきた。しかし、そのほとんどが英語圏で開発されたもので、非英語圏で複数の画像を扱えるAIモデルは少ないという。そこで同社は、進化的モデルマージというAI開発手法で、日本語VLMの構築に挑んだ。
この手法は、複数の基盤モデル(大規模なデータセットによる事前学習で各種タスクに対応できるモデル)を組み合わせ、それぞれの特徴を併せ持つ新たなモデルを作るというもの。今回のケースでは「複数の画像を扱える英語のVLM」と「日本語の能力に長けた大規模言語モデル」「1枚の画像の説明能力に長けたVLM」の3つのモデルを使って「高性能な複数の画像を扱える日本語のVLM」を生み出すことに成功したという。
Sakana AIは開発したVLMの性能を評価するため、新たな評価用データセット「JA-Multi-Image-VQA」を作成。結果、モデルマージのベースに使ったVLM(Mantis-8B-SigLIP)よりも高いスコアを記録し、性能が上がっていることを示した。このデータセットや、Web上で試せるデモページなどもHugging Face上で公開している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
3
「e-F@ctory」から次の進化へ、三菱電機が描くAI主体の自律型工場
-
4
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
5
NotebookLMに公式APIが登場 WebページやYouTube動画の取り込みを自動化でき、MCPでAIエージェントからも使える
-
6
Google、わずか2カ月で4つ目のモデル公開「Gemini 4 Neon」 一部「Fable同等」性能をコスト半分で
-
7
コマツ油機開発センタが挑む設計プロセス改革、ナレッジ検索/整備に生成AI活用
-
8
ちまたの“格安GPT”、中身は偽物? 非公式APIのモデル偽装を調査した結果……
-
9
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
10
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR