「GPT-4」「Claude 3」「Gemini」、写真読み取り1本勝負! お題は「野ざらしの食洗機」 結果は……:NEWS Weekly Top10
「Gemini」「Gemini Advanced」「GPT-4」「Claude 3」の4種類の生成AIに写真を読み取らせてみた。お題は「野ざらしの食洗機」。どのような結果になるか?
ITmedia NEWS Weekly AccessTop10
3月16〜22日先週のアクセストップは、マクドナルドで起きた世界的なシステム障害に関する記事だ。日本では複数の店舗が一時的に営業を停止。クラウドサービスのシステム障害で世界的に影響が出る事例はよくあるが、リアル店舗が世界規模で対応に追われるケースは珍しく、筆者も驚いた。
米McDonald'sによるとこの障害は、「設定変更中のサードパーティープロバイダーによって引き起こされた」ため「(社内の)技術チームとサードパーティーベンダーに説明責任を求める」という。もし自分がサードパーティープロバイダの責任者だったら……と想像して身震いしてしまった。
AIは「日本の食洗機の写真」を読み取れるか?
さて最近は、生成AIの進化がすさまじい。米OpenAIの「GPT-4」、米Googleの「Gemini」(旧Bard)、米Anthropicの「Claude 3」などは一般ユーザーも気軽に利用でき、マルチモーダルに対応しているため、音声を判別したり、写真を読み取ったりすることもできる。
では、どの生成AIが1番“使える”だろうか? 得意分野はそれぞれ違うが、今回は1枚の写真を、4種類のAIに読み取らせてみた。粗大ごみに出すために玄関に置いておいた、卓上型食洗機の写真だ。
欧米などでは、キッチンに組み込むビルトイン型の食洗機が主流で、卓上型があまり普及していない。英語を中心に学習しているAIは、卓上型食洗機の判別は苦手なのでは? と考え、あえてこの素材を選んでみた。
エントリーしたのは、Googleの「Gemini」「Gemini Advanced」、Open AIの「GPT-4」と、Anthropicの「Claude 3」だ。勝負の結果は!?
Google Gemini「ショートケーキです」
Gemini(無料版)はこう言った。
「画像には、木製のテーブルの上に置かれた白いケーキが写っています。ケーキは丸形で、表面には生クリームとチョコレートでデコレーションされています。ケーキの周りには、イチゴ、ブルーベリー、キウイなどのフルーツが飾られています。ケーキの奥には、白い壁と窓が写っています。
画像の分析結果は以下の通りです。
ケーキの種類: ショートケーキ
ケーキの大きさ: 直径約20cm」
……そんなわけあるかい!
食洗機というジャストな答えを出すのは難しくても、家電や固いモノであることぐらいは判別するだろうと思っていたのだが……まさかのショートケーキである。ボケ方がナナメ上すぎて逆に面白い。
Googleの名誉のために言っておくと、有料・高機能版のGemini Advandedだと「パナソニック製の食洗機『NP-TR7-W』です」と正しい答えを出すことができた。その後は結果を学習したのか、無料版に戻しても「食洗機」と答えるようになった。
GPT-4「エアコン室外機です」
ChatGPT(GPT-4)は惜しかった。
「これは外部ユニットの一部であるエアコンの室外機です。雪が積もっているので、恐らく冬の寒い地域で撮影されたものと思われます。電源コードや配管が見えるため、メンテナンス中か、設置・撤去を行っている最中の可能性があります」
家電であること、外に放置され雪が積もっていることまで言い当てたが、食洗機であることは分からなかったようだ。残念!
Claude 3は大正解!
Claude 3はスゴかった。外に放置された食洗機であることを、いきなり言い当てたのだ。
「この画像は、屋外に置かれたパナソニック製の古い食器洗い機を示しています。機器の正面パネルには雪の結晶のようなパターンが見られ、本体は泡のような素材で覆われています。電源コードが接続されているので、動作可能な状態のようです。しかし、屋外に放置されている状態から、現在は使用されていないか、廃棄されようとしている可能性が高いと思われます。昔ながらの家電製品が野ざらしになっている、興味深い光景です」
2013年製の家電が「昔ながら」かどうかは置いておいて、初手から「パナソニックの食洗機」と言い当てたのは驚いた。雪の結晶のようなパターンまで見破ったが、GPT-4のように「雪が積もっている」とまでは分からず、「泡に覆われている」と解釈したようだ。「動作可能な状態」という解釈も間違っており、GPT-4の「メンテナンス中か、設置・撤去を行っている最中」のほうが正しい。
競争で進化するAIたち
今回の勝負であえて順位をつけるなら、Claude 3>Gemini Advanced>GPT-4>Gemini というところだろうか。最初から食洗機と言い当てたClaude 3はやはりスゴかったが、GPT-4も「外に放置された、撤去を待つ家電」と、環境を含めてかなり正しく解釈してみせた。
2023年は、チャットAI市場をGPT-4がほぼ独占していたが、24年3月現在は強力なライバルがどんどん出てきている。お互いが切磋琢磨しながら“より良いAI”になっていくのだろう。
関連記事
- 「GPT-4超え」とうわさのAI「Claude 3」を試す 仕事は任せられる? 若手記者の所感
「ようやく本物の“GPT-4超え”が出てきた」と話題の「Claude 3」。その文章力を見てみる。 - 話題のチャットAI「Claude 3」のプロンプト集、公式が公開中 「Excelの数式作って」など64種
話題のチャットAI「Claude 3」について、提供元の米Anthropicは3月11日までに公式プロンプト集を公開している。「プロンプトライブラリ」と題したWebサイトで、全部で64種類の使用例を公開中。 - 噂のAI「Claude 3」はどう読むの? 「Opus」「Sonnet」の読みと由来は? 本人に聞いてみた
話題のチャットAI「Claude 3」。モデルは「Opus」「Sonnet」「Haiku」の3種類あるが、筆者はHaiku以外、読み方も意味も分からない。なので本人に聞いてみた。 - イーロン・マスク氏のxAI、LLM「Grok-1」をオープンに
イーロン・マスク氏のAI企業xAIは、予告通りLLM「Grok-1」の基本モデルの重みとアーキテクチャをオープンソース化した。GitHubでApache 2ライセンスで配布している。マスク氏はXでChatGPTのアカウントに「“オープン”について説明して」とコメントした。 - AIに「ITパスポート試験」を解かせてみると…… 最もIT分野に詳しいLLMは? GMO子会社が検証
大規模言語モデル(LLM)に国家試験「ITパスポート試験」を解かせてみた──そんな研究成果をGMOグループのGMOメディアが発表した。LLMが持つ推論能力や問題解決能力の特徴を分析するため、IT分野での能力差を検証。GPT-4など、6種類のLLMで比較した。
Copyright © ITmedia, Inc. All Rights Reserved.