「もうAIって人間と区別つかないよね……」　米研究者らがGPT-4などでチューリングテスト　結果は？

公開 2024年05月29日 12時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X：＠shiropen2

　米カリフォルニア大学サンディエゴ校に所属する研究者らが発表した論文「People cannot distinguish GPT-4 from a human in a Turing test」は、AIが人間と区別がつかないレベルに達しているかどうかを調べるために、チューリングテストを実施した研究報告である。

AIは人間と区別がつかないレベルに達しているか？

　チューリングテストとは、人間の判定者が、人間とAIのどちらかと会話し、相手が人間かAIかを当てるというものである。実験では、参加者500人を対象に、3種類のAI（ELIZA、GPT-3.5、GPT-4）と人間が、判定者役の人間参加者とランダムにマッチングされ、テキストチャットで5分間の会話を行う。判定者には、相手が人間かAIかを判断し、その確信度と理由を答えてもらった。

チューリングテストのインタフェース

テキストチャットで会話をしたサンプル

　結果として、GPT-4は54％、GPT-3.5は50％の確率で人間だと判定された。これは古典的なAIであるELIZA（22％）よりも高く、統計的にチャンスレベル（50％）と有意差がなかった。一方、実際の人間は67％の確率で人間と判定された。

（左）人間と判定された確率、（右）確信度

　判定者が使った戦略を分析すると、36％が雑談を通じて相手の人となりを探ろうとした。また、25％が感情や経験、ユーモアのセンスを尋ねるなど、社会的・感情的なアプローチを取っていた。論理的思考や一般知識を問うたのは13％にとどまった。

　判定理由を分析した結果、43％が言語的スタイル（スペル、文法、語調など）に関するもので、24％が社会的・感情的要因（ユーモアのセンス、人格など）に関するものであった。知識や論理的思考に関する理由（知りすぎている、知らなさすぎているなど）は10％にとどまった。

　AIだと判定した理由として「わざとらしい人格を演じている」「過度にくだけすぎている」「個性に欠けている」ことが挙げられた。逆に人間だと判定された主な理由は「人間らしく、くだけた言葉遣い」「もっともらしい受け答え」「スペルや文法の間違いを含むこと」などであった。以上の結果から、判定者は知性よりも言語的・社会的要因を重視してAIと人間を見分けようとしていたことが分かった。

　また、年齢が高いほど判定の正解率が下がる傾向が見られた。性別、学歴、チャットbotとのやりとりの頻度などの属性は、正解率と有意な関連がなかった。

（左）参加者が採用した戦略の分類（右）戦略が展開されたテストの平均精度

Source and Image Credits: Jones, Cameron R., and Benjamin K. Bergen. “People cannot distinguish GPT-4 from a human in a Turing test.” arXiv preprint arXiv:2405.08007（2024）.

この連載新着通知をメールで受け取る

印刷する

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る