Sakana AI、複数の画像を扱える“日本語視覚言語モデル”公開 非英語圏での先駆けに
AIスタートアップのSakana AI(東京都港区)は8月2日、複数の画像について日本語で質疑応答できるAIモデル「Llama-3-EvoVLM-JP-v2」を発表した。このモデルは、同社が提案する生成AIの開発手法「進化的モデルマージ」で開発した視覚言語モデル(VLM)。作成したAIモデルなどはHugging Faceで公開中。
「Llama-3-EvoVLM-JP-v2」の特徴は、複数の画像を扱えること、日本語で応答できることだ。例えばこのAIモデルに、2枚の犬の画像を見せて「それぞれを簡単に説明してください」と質問すると、犬種や身に着けている装飾品など、質問に対する回答を日本語で返してくれる。米Metaが公開しているAIモデル「Llama-3」をベースにしており、同社が過去に公開したAIモデルよりも性能が向上しているという。
これまでも、画像に対する説明や質疑応答のできるVLMが多く公開されてきた。しかし、そのほとんどが英語圏で開発されたもので、非英語圏で複数の画像を扱えるAIモデルは少ないという。そこで同社は、進化的モデルマージというAI開発手法で、日本語VLMの構築に挑んだ。
この手法は、複数の基盤モデル(大規模なデータセットによる事前学習で各種タスクに対応できるモデル)を組み合わせ、それぞれの特徴を併せ持つ新たなモデルを作るというもの。今回のケースでは「複数の画像を扱える英語のVLM」と「日本語の能力に長けた大規模言語モデル」「1枚の画像の説明能力に長けたVLM」の3つのモデルを使って「高性能な複数の画像を扱える日本語のVLM」を生み出すことに成功したという。
Sakana AIは開発したVLMの性能を評価するため、新たな評価用データセット「JA-Multi-Image-VQA」を作成。結果、モデルマージのベースに使ったVLM(Mantis-8B-SigLIP)よりも高いスコアを記録し、性能が上がっていることを示した。このデータセットや、Web上で試せるデモページなどもHugging Face上で公開している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
2
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
3
Googleの“人気AI講座”、先着1万人に無料提供 リスキリング推進団体
-
4
ジェンスン・フアン氏退任は「NVIDIAバブル崩壊」の序章か? どうなる今後の半導体業界
-
5
「Gemini 4 Hydrogen」とは 性能とユースケースまとめ Googleの「誰でも使える」最新モデル
-
6
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
7
AIが設計データの分析からCAD操作まで支援する「SOLIDWORKS 2027」
-
8
アクセンチュアが説く「業務そのものの創り直し」とは? AI活用が事業成果に結びつかない企業に向けた2つのポイント
-
9
ガートナーが考えるフィジカルAI実装のロードマップと人の役割
-
10
OpenAI、AIエージェントが代わりに支払う「ChatGPT Wallet」 カード番号は渡さず、購入ごとに生体認証
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR