「痺れるほどにミスを繰り返す」Gemini 3.6 Flashは変わった? 公開から1週間、当初のおバカ回答を今検証する(1/2 ページ)
「痺れるほどにミスを繰り返す」「おバカさん」――米Googleが7月21日(現地時間)に一般提供を始めたAIモデル「Gemini 3.6 Flash」を巡って、リリース直後から回答の精度を疑問視する声がXで相次いだ。初歩的な数値比較を間違えたり、実在しない魚についてもっともらしい解説を始めたりと、思わず首をかしげる事例もみられた。
公開から約1週間が経過した現在、こうした誤答はまだ起きるのか。リリース直後に話題になった質問を改めて試したところ、記者が検証した範囲では、当初みられた単純な誤答の一部は再現しなかった。一方、Xでは現在も、ハルシネーションやコーディング時のミスを指摘する投稿がみられる。同モデルについて、リリース直後の反応と7月28日時点の検証結果を整理した。
「9.11>9.3」? 初歩的な数値比較で誤答
リリース直後に注目を集めたのが、小数の大小を取り違える問題だ。あるユーザーは、「さすがに間違えないであろう質問を投げたら初手で間違えた」として、Gemini 3.6 Flashの回答を報告。「9.11と9.3、どっちが大きい?」と尋ねたところ、「9.11のほうが大きいです」と返ってきたという。
この投稿を受け、他のユーザーも同じ質問で検証し、結果をスクリーンショット付きで報告した。正しく「9.3」と答えたケースがある一方、「9.11」と誤答したとの報告もみられた。
記者も7月23日に検証した。「9.11と9.3では、どちらが大きい?」との質問には「9.3」と正しく回答したが、数字と順番を変えて「9.3と9.13では、どちらが大きい?」と尋ねると、「9.13の方が大きいです」と誤答した。
続く説明には、「小数第一位を比べると3と1なので、9.3 の方が大きくなります」とあり、最初の結論とその後の説明が食い違っていた。同じ質問をhighモードで試したところ、「9.3の方が大きいです」と正しく回答した。
記者は、28日にも同様の数値比較を改めて試した。小数点以下の桁数を8桁に増やしたり、小数第3位以降の数字を変えたりして引掛けを試みたが、記者が確認した範囲では全て正答した。
架空の魚、現在は「実在しません」
存在しない魚を実在する生物として説明したとの報告も話題になった。あるユーザーが、自身で考案した架空の魚「ミクイロオナガハナダイ」について尋ねたところ、Gemini 3.6 Flashは実在する魚であるかのように、学名や生息域、特徴を説明し、画像まで提示したという。
ユーザーが「私が創作した」と指摘すると、Gemini 3.6 Flashは「まんまとやってしまいました……!」「それっぽい解説をでっち上げてしまいました」と謝罪した。
記者が同じ魚について7月23日と28日に尋ねたところ、いずれも「実在しません」と回答した。さらに、「アオホシオナガハゼ」「ベニホシトゲカサゴ」など、実在しそうな架空の生物名を作って詳細を尋ねたが、いずれも存在しない生物だと答えた。
Gemini 3.6 Flashから謝罪? ハルシネーションの報告は続く
リリース直後には、単純な数値比較のミスだけでなく誤った完了報告も話題になった。あるユーザーはGemini 3.6 Flashに実装作業を任せた際、内容に不備がないか確認したところ「大丈夫です」と回答されたが、その後、同モデルから「ハルシネーションを行ってしまいました」と謝罪されたという。
別のユーザーは、JavaScriptランタイム「Bun」が内部の実装言語をZigからRustへ変更した件について尋ねたところ、Gemini 3.6 Flashが「それはデマです」と回答したと報告した。証拠としてリポジトリを示しても、「そのような事実はない」と否定し続けたという。
このほか、「技術調査やバグ調査の詰めが甘い」「動かないコードを自信満々で吐いた」「びびるくらい速いけど、時々ポンコツ」といった声も上がった。コーディング中に同じ修正を繰り返す、画像やグラフの内容を誤って読み取る、プロンプトで指定した条件を無視するといった報告もあった。ハルシネーションやコーディング時のミスを指摘する投稿は、7月28日時点でも引き続きみられる。
「タスクを選べば使える」との声も
Gemini 3.6 Flashに寄せられているのは、否定的な評価ばかりではない。一部のユーザーからは、「回答が高速だからタスクを選べば使える」「Gemini特有のハルシネーションをうまく活用できればありかも」「クリエイティブの発想の種としては最高」といった声も上がっている。
Googleが21日に公開したプレスリリースによると、Gemini 3.6 Flashは「3.5 Flash」へのフィードバックを反映し、コーディングや知識作業、画像などの処理性能を高めたという。トークン効率も改善し、3.5 Flash比で17%、一部のベンチマークでは最大65%削減したとしている。
ITmedia NEWS読者調査
当社では企業のビジネストレンドを明らかにするために読者調査を行っております。ご回答いただきました方の中から抽選で5名の方にAmazonギフトカード(3000円分)をプレゼント。何卒ご協力お願い致します。回答はこちらから!
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
Anthropic、「Claude Opus 5」公開 Fable 5に迫る性能を半額で――サイバー安全策は緩和、拒否時は自動フォールバックも
-
3
「iPhone高騰」はこれからも続く? 中国CXMTに近づくApple、メモリ競合へのけん制が不発に終わりそうなワケ【後編】
-
4
「ニューロマンサー」実写ドラマ、Apple TV+で2027年1月配信開始へ
-
5
海外の新作バカゲー「電車アタック」にマンガ家が感心した理由 ブッ飛んだ内容と完成度の高さ、そして“日本”
-
6
「めっちゃカメレオン」公式Discord乗っ取り 担当者PCがマルウェア感染、管理者が全員BANに 現在は復旧
-
7
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
8
暑さ対策が熱い! 「猛暑対策展」で感じた、転んでもただでは起き上がらない日本人のエネルギー
-
9
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
10
スーパーに並んだ「ごちゃごちゃ生成AIポップ」が物議 “看板王”こと、きぬた歯科院長「これはアリ」
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR