「ChatGPT vs. Google」どっちで検索する？ 95人を対象に米研究者らが違いを調査：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米マイアミ大学に所属する研究者らが発表した論文「ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience」は、情報探索タスクに検索エンジン（Google）とAIチャットツールChatGPT）を使用する際のユーザーにおける行動や考え方の違いを調査した研究報告である。

　Microsoftは2月、Bing検索エンジンに大規模言語モデル「GPT-4」ベースのチャットAIを統合。この後、Bingのトラフィックは2月から3月にかけて15.8％も増加し、一方で同期間にGoogleのトラフィックは1％近く減少した。検索広告の市場シェアが1％上昇するだけで、年間20億ドルの収益に相当すると考えると、この顕著な変化は、ChatGPTのような製品が従来の検索エンジンに与える影響や、検索と情報発見の将来について懸念を抱かせる要素となっている。

　従来の検索エンジンとChatGPTのシステムでは、情報検索のアプローチが異なる。検索エンジンは、キーワード検索とマッチングに基づいて関連するリンクのリストを提供する。一方、ChatGPTは会話ベースのアプローチを採用しており、ユーザーは自然言語で問い合わせできる。Googleは素晴らしいスピードを持っているが、ユーザーは個別に検索結果をフィルタリングする必要があり、時間がかかる。

　しかし、ChatGPTはユーザーフレンドリーで直感的な検索体験を提供するために、ユーザーの意図を理解し、整理された回答の提供を目指している。ただし、従来の検索エンジンと比較すると、ChatGPTは誤った情報や誤解を招く可能性などの潜在的な欠点がある。

（上）ChatGPTと対話している様子、（下）Googleで検索している様子

　この研究では、AIチャットサービスのChatGPTと、Google Searchに代表される検索エンジンツールを利用した際のユーザーの検索行動とパフォーマンスを包括的に比較することを目的として、オンライン実験を実施する。

　実験では、ChatGPTとGoogle Searchを再現した2つの検索ツールを開発した。95人の参加者が、3つの情報検索タスクを行う。ChatGPTグループには48人、Google検索グループには47人が含まれる。

　実験の結果は次に示す通りである、ChatGPTの再現ツールを使った参加者は、全てのタスクで一貫して短い時間を費やしていることが分かった。驚くことに、ChatGPTの再現ツールを使用したタスクに費やされた平均時間は1分未満であった。

　Google検索を使う場合、ユーザーは自分で検索クエリを作成しなければならず、何度も試行錯誤を繰り返して最も関連性の高い結果を見つける必要がある。

　一方、ChatGPTは、ユーザーが自然言語で質問するだけで検索プロセスを効率化できる。ChatGPTは要約された回答を提供し、追加の調査の必要性を排除する。これにより、ユーザーはより直接的な方法で情報を得られ、結果としてChatGPTグループはGoogle検索グループと比較して費やす時間が大幅に短縮される結果となった。

　一方、この利便性がユーザーがさらに探索を進めたり、回答内の誤った情報を特定したりすることを不注意にも妨げている可能性がある。つまり、より深く調べる探究心を奪っている可能性を示唆した。

　参加者の全体的なタスクのパフォーマンスには、2つのツール間で有意な差は見られなかった。ただし、興味深いことに、ChatGPTは分かりやすい質問のタスクでは高いパフォーマンスを示したが、事実確認のタスクではあまり高いパフォーマンスを示さなかったことが分かった。

　さらに、ChatGPTは異なる学歴を持つユーザーの検索パフォーマンスを均等化する効果があったが、Google検索では学歴と検索パフォーマンスとの間に正の相関があることが分かった。つまり、Google検索のパフォーマンスは学歴に大きく依存するが、ChatGPTは学歴の差を埋める効果があることを示唆した。

Google検索とChatGPTの比較

　ChatGPTグループのユーザーは、有用性や楽しさ、満足度の点で有意に高いユーザー体験を報告しているが、使いやすさの知覚レベルは同程度であった。

　参加者は、両ツールに対して同程度の信頼度を示しているにもかかわらず、Google検索から得られる情報と比較すると、ChatGPTの回答はより高い情報品質を持っていると認識していた。ただし、これはChatGPTの回答が高い情報品質を持っていると思い込みたい心理が働いている可能性があることが懸念される。ChatGPTは迅速に信ぴょう性がありそうな回答を提供するため、数回の対話で満足し、追加の検証をちゅうちょする傾向があると推測できる。

Source and Image Credits: Xu, Ruiyun, Yue Feng, and Hailiang Chen. “ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience.” arXiv preprint arXiv:2307.01135（2023）.