大学の試験を生成AIで回答してもばれなかった……　しかも高得点　英国の大学でこっそり検証

公開 2024年07月02日 10時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X：＠shiropen2

　英レディング大学などに所属する研究者らが発表した論文「A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study」は、大学の試験において生成AIで回答した答案がバレるかを抜き打ちで実施した現実世界のチューリングテストの研究報告である。

大学の試験を生成AI　ばれない＆高得点　英国の大学が検証

　研究チームは、英レディング大学の心理学の学士課程5科目の試験に対し、GPT-4を使用して63の回答を作成した。これらの回答は実際の学生の回答と共に提出され、平均して採点された全回答の約5％を占めた。採点者には、33人の架空の学生（その名前もGPT-4が生成）の回答を採点していることは知らされなかった。

　学生はこれらの試験を自宅で受けたため、メモや参考文献を見ることが許可されており、許可されていなかったもののAIを使用することもできた。

　評価には短答式と長文エッセイの2種類の問題が含まれていた。全科目を通じて、AI生成の回答のうち学生自身の回答でない可能性があるとして指摘されたのはわずか6％であった。つまり、GPT-4を使用して作成された大学の試験回答の94％がAI生成だとは検出されなかった。

各科目および全ての科目に対して、生成AIだとバレた割合（オレンジ）とバレなかった割合（青）

　研究チームによると、平均してAI回答は実際の学生の回答よりも高い成績を獲得した。ただし、科目によって多少のばらつきがあった。63のAI回答全体では、AI回答が学生の回答を上回る確率は83.4％であった。

各科目および全ての科目に対して、生徒の回答（オレンジ）と AIの回答（青）によって達成できた平均成績

　この結果は、生成AIが単純で制約のあるテキスト質問に対して、もっともらしい回答を生成できることを示している。また、監督なしの評価、特に短答式の問題は常に不正行為の影響を受けやすいことも指摘している。

　採点者の負担も、AI生成の回答を見抜く能力に影響を与えている可能性がある。時間的制約のある採点者が、軽々しくAIの不正使用を指摘することは難しい。この問題は、他の教育機関でも起こっている可能性が高いと推測される。

Source and Image Credits: Scarfe P, Watcham K, Clarke A, Roesch E （2024）A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study. PLOS ONE 19（6）: e0305354. https://doi.org/10.1371/journal.pone.0305354

この連載新着通知をメールで受け取る

印刷する

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る