次に、収集したコーパスの語彙の特徴を統計的に分析する。まず回答で使われた単語数や、文章中にどれだけ多くの異なる単語が使われているかの密度を比較した。例えば、1000字の記事を書いても100種類の単語しか使われていなければ密度は低いとする。
反対に同じ長さの文章でも異なる語彙がたくさん使われていれば密度は高いとする。分析結果では、ChatGPTと比較して人間の回答は比較的短いが、より多くの語彙が使用されていると分かった。これは、ChatGPTよりも人間の方が密度が高いことを示す。
次に、品詞分析を行った結果、ChatGPTは名詞(NOUN)、動詞(VERB)、限定詞(DET)、形容詞(ADJ)、助動詞(AUX)、接続詞(CCONJ)、助詞(PART)を多く使用し、副詞(ADV)と句読点(PUNCT)はあまり使わないことが分かった。名詞の比率が高いと、文章がより論証的で、情報性や客観性を示すことが多い。
それに伴い、設置詞(ADP)や形容詞(ADJ)の出現頻度も高くなる傾向がある。接続詞(CCONJ)が頻繁に共起するのは、記事の構造や因果関係、進行関係、対比関係が明確であることを示す。これらは、学術論文や公文書における典型的な特徴でもある。
次に、ChatGPTが人間と比較してどの程度「感情的」であるかを調べるため、Twitterコーパスで微調整した多言語感情分類モデルを用いて、英語と中国語の比較データに対して感情分析を実施した。
結果は、人間とChatGPTの両方で中立的な感情の割合が最も大きく、ChatGPTは人間よりも中立的な感情を表現している。また人間の方がChatGPTよりも有意に多くのネガティブな感情を表現している。人間のポジティブな感情の割合は、ChatGPTよりもわずかに高い。全体として、ChatGPTは人間よりも感情表現が少ないが、完全に無感情というわけではない。
別の分析では、人間は、書く文章の文脈や読者、目的に応じて、さまざまな方法で自分を表現する能力を持っていることが分かった。これには、隠喩や比喩、ユニークな言葉の選択など、創造的または想像的な要素を用いることも含まれる。
Source and Image Credits: Guo, Biyang, Xin Zhang, Ziyuan Wang, Minqi Jiang, Jinran Nie, Yuxuan Ding, Jianwei Yue and Yupeng Wu. “How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection.”(2023).
Microsoft、OpenAIに数十億ドル追加出資
ChatGPTに「ログイン、ログオン、サインインの違いは?」と尋ねたら……
ChatGPTに“おすすめラーメン店”を聞いたら幻の名店を教えてくれる その正体とは……?
OpenAI、ChatGPTの有料版提供を検討中 「いくらなら使いますか?」
米Microsoft、全製品にAIを搭載へ WSJが報道Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR