Innovative Tech

「ChatGPT vs. Google」どっちで検索する？　95人を対象に米研究者らが違いを調査

　米マイアミ大学に所属する研究者らが発表した論文「ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience」は、情報探索タスクに検索エンジン（Google）とAIチャットツールChatGPT）を使用する際のユーザーにおける行動や考え方の違いを調査した研究報告である。

　Microsoftは2月、Bing検索エンジンに大規模言語モデル「GPT-4」ベースのチャットAIを統合。この後、Bingのトラフィックは2月から3月にかけて15.8％も増加し、一方で同期間にGoogleのトラフィックは1％近く減少した。検索広告の市場シェアが1％上昇するだけで、年間20億ドルの収益に相当すると考えると、この顕著な変化は、ChatGPTのような製品が従来の検索エンジンに与える影響や、検索と情報発見の将来について懸念を抱かせる要素となっている。

　従来の検索エンジンとChatGPTのシステムでは、情報検索のアプローチが異なる。検索エンジンは、キーワード検索とマッチングに基づいて関連するリンクのリストを提供する。一方、ChatGPTは会話ベースのアプローチを採用しており、ユーザーは自然言語で問い合わせできる。Googleは素晴らしいスピードを持っているが、ユーザーは個別に検索結果をフィルタリングする必要があり、時間がかかる。

　しかし、ChatGPTはユーザーフレンドリーで直感的な検索体験を提供するために、ユーザーの意図を理解し、整理された回答の提供を目指している。ただし、従来の検索エンジンと比較すると、ChatGPTは誤った情報や誤解を招く可能性などの潜在的な欠点がある。

　この研究では、AIチャットサービスのChatGPTと、Google Searchに代表される検索エンジンツールを利用した際のユーザーの検索行動とパフォーマンスを包括的に比較することを目的として、オンライン実験を実施する。

　実験では、ChatGPTとGoogle Searchを再現した2つの検索ツールを開発した。95人の参加者が、3つの情報検索タスクを行う。ChatGPTグループには48人、Google検索グループには47人が含まれる。

　実験の結果は次に示す通りである、ChatGPTの再現ツールを使った参加者は、全てのタスクで一貫して短い時間を費やしていることが分かった。驚くことに、ChatGPTの再現ツールを使用したタスクに費やされた平均時間は1分未満であった。

　Google検索を使う場合、ユーザーは自分で検索クエリを作成しなければならず、何度も試行錯誤を繰り返して最も関連性の高い結果を見つける必要がある。

　一方、ChatGPTは、ユーザーが自然言語で質問するだけで検索プロセスを効率化できる。ChatGPTは要約された回答を提供し、追加の調査の必要性を排除する。これにより、ユーザーはより直接的な方法で情報を得られ、結果としてChatGPTグループはGoogle検索グループと比較して費やす時間が大幅に短縮される結果となった。

　一方、この利便性がユーザーがさらに探索を進めたり、回答内の誤った情報を特定したりすることを不注意にも妨げている可能性がある。つまり、より深く調べる探究心を奪っている可能性を示唆した。

　参加者の全体的なタスクのパフォーマンスには、2つのツール間で有意な差は見られなかった。ただし、興味深いことに、ChatGPTは分かりやすい質問のタスクでは高いパフォーマンスを示したが、事実確認のタスクではあまり高いパフォーマンスを示さなかったことが分かった。

　さらに、ChatGPTは異なる学歴を持つユーザーの検索パフォーマンスを均等化する効果があったが、Google検索では学歴と検索パフォーマンスとの間に正の相関があることが分かった。つまり、Google検索のパフォーマンスは学歴に大きく依存するが、ChatGPTは学歴の差を埋める効果があることを示唆した。

　ChatGPTグループのユーザーは、有用性や楽しさ、満足度の点で有意に高いユーザー体験を報告しているが、使いやすさの知覚レベルは同程度であった。

　参加者は、両ツールに対して同程度の信頼度を示しているにもかかわらず、Google検索から得られる情報と比較すると、ChatGPTの回答はより高い情報品質を持っていると認識していた。ただし、これはChatGPTの回答が高い情報品質を持っていると思い込みたい心理が働いている可能性があることが懸念される。ChatGPTは迅速に信ぴょう性がありそうな回答を提供するため、数回の対話で満足し、追加の検証をちゅうちょする傾向があると推測できる。

Source and Image Credits: Xu, Ruiyun, Yue Feng, and Hailiang Chen. “ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience.” arXiv preprint arXiv:2307.01135（2023）.

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  GPT-4の精度は悪化している？　3月に解けた数学の問題解けず　GPT-3.5にも敗北──米国チームが検証

• 

  ChatGPTで思考する人型AIと“同棲”したらどうなる？　「AIを信頼していく」　米中の研究者らが検証

• 

  言語生成AIの入力文、最初と最後に“重要情報”を入れた方が良い結果に　米スタンフォード大などが検証

• 

  「もしよろしければ……」VS「やれ」　ChatGPTは丁寧にほめたほうがパフォーマンスがいい？　対応を変えて接してみた

• 

  企業の“生成AI活用”のトレンドは？　他社モデル活用と独自モデル開発、東大発ベンチャー・ELYZAが解説