Innovative Tech(AI+)
大学の試験を生成AIで回答してもばれなかった…… しかも高得点 英国の大学でこっそり検証
Innovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。
X: @shiropen2
英レディング大学などに所属する研究者らが発表した論文「A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study」は、大学の試験において生成AIで回答した答案がバレるかを抜き打ちで実施した現実世界のチューリングテストの研究報告である。
研究チームは、英レディング大学の心理学の学士課程5科目の試験に対し、GPT-4を使用して63の回答を作成した。これらの回答は実際の学生の回答と共に提出され、平均して採点された全回答の約5%を占めた。採点者には、33人の架空の学生(その名前もGPT-4が生成)の回答を採点していることは知らされなかった。
学生はこれらの試験を自宅で受けたため、メモや参考文献を見ることが許可されており、許可されていなかったもののAIを使用することもできた。
評価には短答式と長文エッセイの2種類の問題が含まれていた。全科目を通じて、AI生成の回答のうち学生自身の回答でない可能性があるとして指摘されたのはわずか6%であった。つまり、GPT-4を使用して作成された大学の試験回答の94%がAI生成だとは検出されなかった。
研究チームによると、平均してAI回答は実際の学生の回答よりも高い成績を獲得した。ただし、科目によって多少のばらつきがあった。63のAI回答全体では、AI回答が学生の回答を上回る確率は83.4%であった。
この結果は、生成AIが単純で制約のあるテキスト質問に対して、もっともらしい回答を生成できることを示している。また、監督なしの評価、特に短答式の問題は常に不正行為の影響を受けやすいことも指摘している。
採点者の負担も、AI生成の回答を見抜く能力に影響を与えている可能性がある。時間的制約のある採点者が、軽々しくAIの不正使用を指摘することは難しい。この問題は、他の教育機関でも起こっている可能性が高いと推測される。
Source and Image Credits: Scarfe P, Watcham K, Clarke A, Roesch E (2024)A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study. PLOS ONE 19(6): e0305354. https://doi.org/10.1371/journal.pone.0305354
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech(AI+)
2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
2
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
3
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
4
ガートナーが考えるフィジカルAI実装のロードマップと人の役割
-
5
アクセンチュアが説く「業務そのものの創り直し」とは? AI活用が事業成果に結びつかない企業に向けた2つのポイント
-
6
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
7
NTTが宇宙光通信網の構築へ 「IOWN搭載」衛星と宇宙データセンターで米中に挑む
-
8
AIが設計データの分析からCAD操作まで支援する「SOLIDWORKS 2027」
-
9
大手自動車メーカーの検図工数を90%削減 AIが図面の重要な変更点を判別
-
10
「回答するAI」から「現実の課題を解決するAI」へ、ダッソーが掲げる産業AI戦略
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR