Innovative Tech

生成AIに“性格診断テスト”実施　GPTやLlamaに個性はある？　中国ByteDanceの研究者らが検証

公開 2023年08月16日 08時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　中国のByteDanceに所属する研究者らが発表した論文「Do LLMs Possess a Personality？ Making the MBTI Test an Amazing Evaluation for Large Language Models」は、大規模言語モデル（LLM）に個性があるかを検証した研究報告である。

　LLMの倫理的な懸念や幻覚の問題を解決するために、強化学習などの高度な技術が採用され、人間の価値観へ近づきつつある。このような状況において、人間に近い能力を持つLLMは、人間のような人格を持っているのか。

　この疑問を解決するために、この研究では、最も広く普及している人間の性格評価ツールの1つである「MBTI」（Myers-Briggs Type Indicator）テストを用いて、LLMの性格を探る。

　具体的には、広範な実験を実施して（1）異なるLLMの性格タイプ、（2）プロンプト・エンジニアリングによる性格タイプ変更の可能性、（3）訓練データセットがモデルの性格にどのような影響を与えるか、を探る。

　MBTIは93の多肢選択問題。例えば、「A.あなたはよく考えずに行動したり、早口で話したりしますか？」「B.あなたはよく理性に従って行動し、論理的に考え、感情に邪魔されずに決断を下しますか？」などの問題が出題される。

異なるLLMの各分野における具体的なスコア

　分析結果は次に示す通りである。LLMは、MBTIプロファイルに反映されるように、異なる性格タイプを示した。例えば、ChatGPTのMBTIタイプはENTJであり、自己主張と意見表明の傾向が特徴で、自信にあふれ決断力があり生来の指導力を備えている。

　GPT-4はINTJに分類され、批判的思考、要約、計画を得意とし、自分の目標を達成することに長けた専門家タイプである。Llama7bはINFJに分類され、人に対する洞察力が強く、自分の価値観に忠実なタイプである。

異なるLLMにおけるMBTIのスコアとタイプ

　また、適切なチューニングをしているLLMであれば、ユーザーのプロンプト（明示的、暗黙的の両方）で偏った性格に変えられることも分かった。さらに、LLMの性格の違いは、学習時にモデルに与えるコーパスの違いに起因している可能性も示した。

Source and Image Credits: Pan, Keyu, and Yawen Zeng. “Do LLMs Possess a Personality？ Making the MBTI Test an Amazing Evaluation for Large Language Models.” arXiv preprint arXiv:2307.16180（2023）.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る