「Gemini 2.0」は何が得意？ 従来モデルと性能比較

Googleが生成AIモデル「Gemini 2.0」の試験運用版を公開した。2023年に公開した「Gemini 1.0」の後継モデルで、回答の遅延は小さく、性能を向上させた。

[谷井将人，ITmedia]

　Googleは2024年12月11日（現地時間）、生成AIモデル「Gemini 2.0」の試験運用版「Gemini 2.0 Flash Experimental」を公開した。2023年に公開した「Gemini 1.0」の後継モデルで、回答の遅延は小さく、性能を向上させた。開発者向けには「Gemini 2.0 Flash」も提供する。

2.0の得意不得意は？　各分野の性能比較

　各種ベンチマークで計測したモデルの性能は以下の通りだ。

　以下、「Gemini 1.5 Pro 002」を「1.5 Pro」、「Gemini 2.0 Flash Experimental」を「2.0 Experimental」と表記する。

点数が上昇した項目

• 全体性能：　1.5 Proは75.8％、2.0 Experimentalは76.4％（0.6ポイント上昇）
• コード生成：　ベンチマークにより得点差あり。1.5 Proから0.9〜7.5ポイント上昇
• 正確性：　1.5 Proは80.0％、2.0 Experimentalは83.6％
• 数学：　ベンチマークにより得点差あり。1.5 Proから3.2〜11.0ポイント上昇
• 科学：　1.5 Proは59.1％、2.0 Experimentalは62.1％
• 画像理解：　ベンチマークにより得点差あり。1.5 Proから2.4〜4.8ポイント上昇
• 動画理解：　1.5 Proは71.2％、2.0 Experimentalは71.5％

　正確性（Factuality）とは、与えられた資料や指示に基づいて、正しい情報を出力する能力のことだ。

点数が下降した項目

• 長文理解：　1.5 Proは82.6％、2.0 Experimentalは69.2％
• 音声理解：　1.5 Proは40.1％、2.0 Experimentalは39.2％

　ただし、回答生成までの時間は短縮している。

「Gemini 2.0 Flash Experimental」のベンチマーク比較

　Gemini 2.0 Flash ExperimentalはWebサービス「Gemini」で無料提供する。開発者は開発プラットフォーム「Google AI Studio」「Vertex AI」で「Gemini 2.0 Flash」のAPIを利用できる。一般向けには2025年1月から提供する。