「痺れるほどにミスを繰り返す」Gemini 3.6 Flashは変わった? 公開から1週間、当初のおバカ回答を今検証する(1/2 ページ)

 「痺れるほどにミスを繰り返す」「おバカさん」――米Googleが7月21日(現地時間)に一般提供を始めたAIモデル「Gemini 3.6 Flash」を巡って、リリース直後から回答の精度を疑問視する声がXで相次いだ。初歩的な数値比較を間違えたり、実在しない魚についてもっともらしい解説を始めたりと、思わず首をかしげる事例もみられた。

 公開から約1週間が経過した現在、こうした誤答はまだ起きるのか。リリース直後に話題になった質問を改めて試したところ、記者が検証した範囲では、当初みられた単純な誤答の一部は再現しなかった。一方、Xでは現在も、ハルシネーションやコーディング時のミスを指摘する投稿がみられる。同モデルについて、リリース直後の反応と7月28日時点の検証結果を整理した。

「9.11>9.3」? 初歩的な数値比較で誤答

 リリース直後に注目を集めたのが、小数の大小を取り違える問題だ。あるユーザーは、「さすがに間違えないであろう質問を投げたら初手で間違えた」として、Gemini 3.6 Flashの回答を報告。「9.11と9.3、どっちが大きい?」と尋ねたところ、「9.11のほうが大きいです」と返ってきたという。

 この投稿を受け、他のユーザーも同じ質問で検証し、結果をスクリーンショット付きで報告した。正しく「9.3」と答えたケースがある一方、「9.11」と誤答したとの報告もみられた。

 記者も7月23日に検証した。「9.11と9.3では、どちらが大きい?」との質問には「9.3」と正しく回答したが、数字と順番を変えて「9.3と9.13では、どちらが大きい?」と尋ねると、「9.13の方が大きいです」と誤答した。

 続く説明には、「小数第一位を比べると3と1なので、9.3 の方が大きくなります」とあり、最初の結論とその後の説明が食い違っていた。同じ質問をhighモードで試したところ、「9.3の方が大きいです」と正しく回答した。

 記者は、28日にも同様の数値比較を改めて試した。小数点以下の桁数を8桁に増やしたり、小数第3位以降の数字を変えたりして引掛けを試みたが、記者が確認した範囲では全て正答した。

23日、Gemini 3.6 Flashの回答

架空の魚、現在は「実在しません」

 存在しない魚を実在する生物として説明したとの報告も話題になった。あるユーザーが、自身で考案した架空の魚「ミクイロオナガハナダイ」について尋ねたところ、Gemini 3.6 Flashは実在する魚であるかのように、学名や生息域、特徴を説明し、画像まで提示したという。

 ユーザーが「私が創作した」と指摘すると、Gemini 3.6 Flashは「まんまとやってしまいました……!」「それっぽい解説をでっち上げてしまいました」と謝罪した。

 記者が同じ魚について7月23日と28日に尋ねたところ、いずれも「実在しません」と回答した。さらに、「アオホシオナガハゼ」「ベニホシトゲカサゴ」など、実在しそうな架空の生物名を作って詳細を尋ねたが、いずれも存在しない生物だと答えた。

Gemini 3.6 Flashから謝罪? ハルシネーションの報告は続く

 リリース直後には、単純な数値比較のミスだけでなく誤った完了報告も話題になった。あるユーザーはGemini 3.6 Flashに実装作業を任せた際、内容に不備がないか確認したところ「大丈夫です」と回答されたが、その後、同モデルから「ハルシネーションを行ってしまいました」と謝罪されたという。

 別のユーザーは、JavaScriptランタイム「Bun」が内部の実装言語をZigからRustへ変更した件について尋ねたところ、Gemini 3.6 Flashが「それはデマです」と回答したと報告した。証拠としてリポジトリを示しても、「そのような事実はない」と否定し続けたという。

 このほか、「技術調査やバグ調査の詰めが甘い」「動かないコードを自信満々で吐いた」「びびるくらい速いけど、時々ポンコツ」といった声も上がった。コーディング中に同じ修正を繰り返す、画像やグラフの内容を誤って読み取る、プロンプトで指定した条件を無視するといった報告もあった。ハルシネーションやコーディング時のミスを指摘する投稿は、7月28日時点でも引き続きみられる。

「タスクを選べば使える」との声も

 Gemini 3.6 Flashに寄せられているのは、否定的な評価ばかりではない。一部のユーザーからは、「回答が高速だからタスクを選べば使える」「Gemini特有のハルシネーションをうまく活用できればありかも」「クリエイティブの発想の種としては最高」といった声も上がっている。

 Googleが21日に公開したプレスリリースによると、Gemini 3.6 Flashは「3.5 Flash」へのフィードバックを反映し、コーディングや知識作業、画像などの処理性能を高めたという。トークン効率も改善し、3.5 Flash比で17%、一部のベンチマークでは最大65%削減したとしている。

ITmedia NEWS読者調査

当社では企業のビジネストレンドを明らかにするために読者調査を行っております。ご回答いただきました方の中から抽選で5名の方にAmazonギフトカード(3000円分)をプレゼント。何卒ご協力お願い致します。回答はこちらから!

印刷する
SNSでシェア
SpecialPR

この記事の著者

関連記事

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

本日の新着記事

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

ITmedia NEWS SNS

X @itmedia_newsをフォロー

インフォメーション

ITmediaNEWSをフォロー

あなたにおすすめの記事PR