Innovative Tech

ChatGPTと人間の違いは？　約4万件の質疑応答から中国の研究者らが分析（2/2 ページ）

公開 2023年01月30日 08時02分

更新 2024年04月02日 11時21分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

統計的分析結果

　次に、収集したコーパスの語彙の特徴を統計的に分析する。まず回答で使われた単語数や、文章中にどれだけ多くの異なる単語が使われているかの密度を比較した。例えば、1000字の記事を書いても100種類の単語しか使われていなければ密度は低いとする。

　反対に同じ長さの文章でも異なる語彙がたくさん使われていれば密度は高いとする。分析結果では、ChatGPTと比較して人間の回答は比較的短いが、より多くの語彙が使用されていると分かった。これは、ChatGPTよりも人間の方が密度が高いことを示す。

　次に、品詞分析を行った結果、ChatGPTは名詞（NOUN）、動詞（VERB）、限定詞（DET）、形容詞（ADJ）、助動詞（AUX）、接続詞（CCONJ）、助詞（PART）を多く使用し、副詞（ADV）と句読点（PUNCT）はあまり使わないことが分かった。名詞の比率が高いと、文章がより論証的で、情報性や客観性を示すことが多い。

　それに伴い、設置詞（ADP）や形容詞（ADJ）の出現頻度も高くなる傾向がある。接続詞（CCONJ）が頻繁に共起するのは、記事の構造や因果関係、進行関係、対比関係が明確であることを示す。これらは、学術論文や公文書における典型的な特徴でもある。

ChatGPTと人間の回答との品詞分布の比較

　次に、ChatGPTが人間と比較してどの程度「感情的」であるかを調べるため、Twitterコーパスで微調整した多言語感情分類モデルを用いて、英語と中国語の比較データに対して感情分析を実施した。

　結果は、人間とChatGPTの両方で中立的な感情の割合が最も大きく、ChatGPTは人間よりも中立的な感情を表現している。また人間の方がChatGPTよりも有意に多くのネガティブな感情を表現している。人間のポジティブな感情の割合は、ChatGPTよりもわずかに高い。全体として、ChatGPTは人間よりも感情表現が少ないが、完全に無感情というわけではない。

コーパスに含まれる3種類の感情（中立、肯定、否定）の割合

　別の分析では、人間は、書く文章の文脈や読者、目的に応じて、さまざまな方法で自分を表現する能力を持っていることが分かった。これには、隠喩や比喩、ユニークな言葉の選択など、創造的または想像的な要素を用いることも含まれる。

Source and Image Credits: Guo, Biyang, Xin Zhang, Ziyuan Wang, Minqi Jiang, Jinran Nie, Yuxuan Ding, Jianwei Yue and Yupeng Wu. “How Close is ChatGPT to Human Experts？ Comparison Corpus, Evaluation, and Detection.”（2023）.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る