「ChatGPT vs. Google」どっちで検索する? 95人を対象に米研究者らが違いを調査:Innovative Tech
米マイアミ大学に所属する研究者らは、情報探索タスクに検索エンジン(Google)とAIチャットツール(ChatGPT)を使用する際のユーザーにおける行動や考え方の違いを調査した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米マイアミ大学に所属する研究者らが発表した論文「ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience」は、情報探索タスクに検索エンジン(Google)とAIチャットツールChatGPT)を使用する際のユーザーにおける行動や考え方の違いを調査した研究報告である。
Microsoftは2月、Bing検索エンジンに大規模言語モデル「GPT-4」ベースのチャットAIを統合。この後、Bingのトラフィックは2月から3月にかけて15.8%も増加し、一方で同期間にGoogleのトラフィックは1%近く減少した。検索広告の市場シェアが1%上昇するだけで、年間20億ドルの収益に相当すると考えると、この顕著な変化は、ChatGPTのような製品が従来の検索エンジンに与える影響や、検索と情報発見の将来について懸念を抱かせる要素となっている。
従来の検索エンジンとChatGPTのシステムでは、情報検索のアプローチが異なる。検索エンジンは、キーワード検索とマッチングに基づいて関連するリンクのリストを提供する。一方、ChatGPTは会話ベースのアプローチを採用しており、ユーザーは自然言語で問い合わせできる。Googleは素晴らしいスピードを持っているが、ユーザーは個別に検索結果をフィルタリングする必要があり、時間がかかる。
しかし、ChatGPTはユーザーフレンドリーで直感的な検索体験を提供するために、ユーザーの意図を理解し、整理された回答の提供を目指している。ただし、従来の検索エンジンと比較すると、ChatGPTは誤った情報や誤解を招く可能性などの潜在的な欠点がある。
この研究では、AIチャットサービスのChatGPTと、Google Searchに代表される検索エンジンツールを利用した際のユーザーの検索行動とパフォーマンスを包括的に比較することを目的として、オンライン実験を実施する。
実験では、ChatGPTとGoogle Searchを再現した2つの検索ツールを開発した。95人の参加者が、3つの情報検索タスクを行う。ChatGPTグループには48人、Google検索グループには47人が含まれる。
実験の結果は次に示す通りである、ChatGPTの再現ツールを使った参加者は、全てのタスクで一貫して短い時間を費やしていることが分かった。驚くことに、ChatGPTの再現ツールを使用したタスクに費やされた平均時間は1分未満であった。
Google検索を使う場合、ユーザーは自分で検索クエリを作成しなければならず、何度も試行錯誤を繰り返して最も関連性の高い結果を見つける必要がある。
一方、ChatGPTは、ユーザーが自然言語で質問するだけで検索プロセスを効率化できる。ChatGPTは要約された回答を提供し、追加の調査の必要性を排除する。これにより、ユーザーはより直接的な方法で情報を得られ、結果としてChatGPTグループはGoogle検索グループと比較して費やす時間が大幅に短縮される結果となった。
一方、この利便性がユーザーがさらに探索を進めたり、回答内の誤った情報を特定したりすることを不注意にも妨げている可能性がある。つまり、より深く調べる探究心を奪っている可能性を示唆した。
参加者の全体的なタスクのパフォーマンスには、2つのツール間で有意な差は見られなかった。ただし、興味深いことに、ChatGPTは分かりやすい質問のタスクでは高いパフォーマンスを示したが、事実確認のタスクではあまり高いパフォーマンスを示さなかったことが分かった。
さらに、ChatGPTは異なる学歴を持つユーザーの検索パフォーマンスを均等化する効果があったが、Google検索では学歴と検索パフォーマンスとの間に正の相関があることが分かった。つまり、Google検索のパフォーマンスは学歴に大きく依存するが、ChatGPTは学歴の差を埋める効果があることを示唆した。
ChatGPTグループのユーザーは、有用性や楽しさ、満足度の点で有意に高いユーザー体験を報告しているが、使いやすさの知覚レベルは同程度であった。
参加者は、両ツールに対して同程度の信頼度を示しているにもかかわらず、Google検索から得られる情報と比較すると、ChatGPTの回答はより高い情報品質を持っていると認識していた。ただし、これはChatGPTの回答が高い情報品質を持っていると思い込みたい心理が働いている可能性があることが懸念される。ChatGPTは迅速に信ぴょう性がありそうな回答を提供するため、数回の対話で満足し、追加の検証をちゅうちょする傾向があると推測できる。
Source and Image Credits: Xu, Ruiyun, Yue Feng, and Hailiang Chen. “ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience.” arXiv preprint arXiv:2307.01135(2023).
関連記事
- GPT-4の精度は悪化している? 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証
「GPT-4の精度は時間と共に変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。 - ChatGPTで思考する人型AIと“同棲”したらどうなる? 「AIを信頼していく」 米中の研究者らが検証
米マサチューセッツ大学アマースト校などに所属する研究者らは、大規模言語モデル(LLM)が他のLLMエージェントや人間と協調して複雑なタスクを遂行する協調型エージェントの構築に役立つかどうかを調査した研究報告を発表した。 - 言語生成AIの入力文、最初と最後に“重要情報”を入れた方が良い結果に 米スタンフォード大などが検証
米スタンフォード大学などに所属する研究者らは、大規模言語モデル(LLM)の性能について、入力コンテキストの長さや関連情報の位置を変えることでどのような影響があるかについて調査した研究報告を発表した。 - 「もしよろしければ……」VS「やれ」 ChatGPTは丁寧にほめたほうがパフォーマンスがいい? 対応を変えて接してみた
AIチャットサービス「ChatGPT」に、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 - 企業の“生成AI活用”のトレンドは? 他社モデル活用と独自モデル開発、東大発ベンチャー・ELYZAが解説
国内外問わず、さまざまな企業で言語生成AIの利用が急速に進んでいる。東大発ベンチャー・ELYZAは、他社製のAIモデルを活用する動きと、独自の大規模言語モデルを開発する動きの2つがトレンドになっていると指摘。それぞれの特徴について解説した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.