Innovative Tech

ChatGPTと人間の違いは？　約4万件の質疑応答から中国の研究者らが分析（1/2 ページ）

公開 2023年01月30日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　中国の上海財経大学などに所属する研究者らが発表した論文「How Close is ChatGPT to Human Experts？ Comparison Corpus, Evaluation, and Detection」は、ChatGPTと人間の専門家が答える内容のそれぞれの特徴や違いを調査した研究報告である。

　2022年11月のリリース以来、OpenAIのChatGPTは自然言語処理（NLP）コミュニティー含め、学術界や産業界など多くの分野で注目を集めている。有用性の面でこれまでの公共チャットbotを大幅にしのいでおり、さまざまなところで活用されている。

　一方で、論文や宿題への利用やサイバー攻撃への悪用など、悪い方に活用されるケースもあり、ChatGPTを禁止にする団体も出てきた。さらにChatGPTの回答にも限界があり、適切ではない回答が返ってくるケースもある。

　この研究では、人間の専門家とChatGPTの違いはなんなのかという問いに対して、多数の質疑応答を調査し分析する。分析するに当たって、約4万件の質問とそれに対応する人間／ChatGPTの回答（英語と中国語）を収集した。幅広いドメイン（コンピュータサイエンス、金融、医学、法律、心理学など）をカバーしており、HC3（Human ChatGPT Comparison Corpus）データセットと名付けた。

HC3データセットのメタ情報

　ChatGPTの回答の特徴、人間の専門家との違いを調べるため、まずChatGPTが生成したコンテンツを人間のものと比較し、人間による総合評価を行った。具体的には、参加者全員に両方の回答を見て比べてもらい、それぞれの特徴をまとめてもらう。最終的に200件以上のフィードバックがあった。

ChatGPTの特徴や人間との相違点

　以下、ChatGPTの特徴的なパターン。

ChatGPTは明確な論理で、整理された方法で書いており、一般性を損なわず、問題の核となる概念を定義することが好き。
「一文で説明してください」などのプロンプトを与えない限り、ChatGPTは長くて詳細な答えを提供する傾向がある。
ChatGPTは偏見や有害情報をあまり示さず、デリケートな話題には中立的で、政治の領域や差別的な有害会話にはほとんど態度を示さない。
2021年9月以降の情報を必要とする問い合わせにはChatGPTは回答できないし、また知識不足な場合は回答を拒否する傾向がある。
ChatGPTは事実を捏造することがある。例えば、法律に関する質問では、ChatGPTは質問に答えるために存在しない法律規定を捏造する可能性がある。また既存の回答がない質問を投げかけた場合、ChatGPTは回答を提供するために事実を捏造することもある。

　以下、人間とChatGPTの主な相違点。

ChatGPTの回答は質問に厳密に集中しているのに対し、人間の回答は発散的で他の話題に移行しやすい。内容の充実度という点では、人間の方がさまざまな面で発散しているが、ChatGPTは質問そのものに集中することを好む。
ChatGPTは客観的な答えを出すが、人間は主観的な表現を好む傾向がある。ChatGPTは人間に比べ、より安全でバランスの取れた、中立的で有益な文章を生成する。その結果、ChatGPTは専門用語や概念の解釈に優れている一方で、人間の回答はより具体的で、特に医療や法律、技術問題などに対する提案を行う場合、法律の規定や書籍、論文に基づくソースの詳細な引用を含む傾向がある。
ChatGPTの回答は通常フォーマルだが、人間の回答はより口語的（話し言葉的）である。人間は、略語やスラングが多く、より簡潔である傾向がある。また、人間はユーモア、皮肉、比喩、例えを使うのが好きだが、ChatGPTは決して反語を使わない。
ChatGPTは感情をあまり表現しないが、人間は自分の感情を伝えるために、文脈に応じて多くの句読点や文法的特徴を選択する。人間は、感嘆符や疑問符、省略記号を複数使って強い感情を表現し、さまざまな括弧を使って物事を説明する。一方、ChatGPTは「一般的に」「一方で」「まず、次に、最後に」など、接続詞や副詞を使って論理的な思考の流れを伝えることを好む。

次ページへ人間とChatGPT、どちらが感情的？

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る