ITmedia NEWS > 科学・テクノロジー >
ITmedia AI+ AI活用のいまが分かる

ChatGPTと人間の違いは? 約4万件の質疑応答から中国の研究者らが分析Innovative Tech(2/2 ページ)

» 2023年01月30日 08時00分 公開
[山下裕毅ITmedia]
前のページへ 1|2       

統計的分析結果

 次に、収集したコーパスの語彙の特徴を統計的に分析する。まず回答で使われた単語数や、文章中にどれだけ多くの異なる単語が使われているかの密度を比較した。例えば、1000字の記事を書いても100種類の単語しか使われていなければ密度は低いとする。

 反対に同じ長さの文章でも異なる語彙がたくさん使われていれば密度は高いとする。分析結果では、ChatGPTと比較して人間の回答は比較的短いが、より多くの語彙が使用されていると分かった。これは、ChatGPTよりも人間の方が密度が高いことを示す。

 次に、品詞分析を行った結果、ChatGPTは名詞(NOUN)、動詞(VERB)、限定詞(DET)、形容詞(ADJ)、助動詞(AUX)、接続詞(CCONJ)、助詞(PART)を多く使用し、副詞(ADV)と句読点(PUNCT)はあまり使わないことが分かった。名詞の比率が高いと、文章がより論証的で、情報性や客観性を示すことが多い。

 それに伴い、設置詞(ADP)や形容詞(ADJ)の出現頻度も高くなる傾向がある。接続詞(CCONJ)が頻繁に共起するのは、記事の構造や因果関係、進行関係、対比関係が明確であることを示す。これらは、学術論文や公文書における典型的な特徴でもある。

ChatGPTと人間の回答との品詞分布の比較

 次に、ChatGPTが人間と比較してどの程度「感情的」であるかを調べるため、Twitterコーパスで微調整した多言語感情分類モデルを用いて、英語と中国語の比較データに対して感情分析を実施した。

 結果は、人間とChatGPTの両方で中立的な感情の割合が最も大きく、ChatGPTは人間よりも中立的な感情を表現している。また人間の方がChatGPTよりも有意に多くのネガティブな感情を表現している。人間のポジティブな感情の割合は、ChatGPTよりもわずかに高い。全体として、ChatGPTは人間よりも感情表現が少ないが、完全に無感情というわけではない。

コーパスに含まれる3種類の感情(中立、肯定、否定)の割合

 別の分析では、人間は、書く文章の文脈や読者、目的に応じて、さまざまな方法で自分を表現する能力を持っていることが分かった。これには、隠喩や比喩、ユニークな言葉の選択など、創造的または想像的な要素を用いることも含まれる。

Source and Image Credits: Guo, Biyang, Xin Zhang, Ziyuan Wang, Minqi Jiang, Jinran Nie, Yuxuan Ding, Jianwei Yue and Yupeng Wu. “How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection.”(2023).



前のページへ 1|2       

Copyright © ITmedia, Inc. All Rights Reserved.