このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
ブラジルのラブラス国立大学に所属する研究者らが発表した論文「May We Consult ChatGPT in Our Human-Computer Interaction Written Exam? An Experience Report After a Professor Answered Yes」は、学生の筆記試験にAIチャット「ChatGPT」の使用を認めた結果を考察した研究報告である。
この研究では、2023年にブラジルのラヴラス国立大学で行われたHCI(Human-Computer Interaction)の筆記試験において、ChatGPTの使用が許可されたことが背景にある。このHCIコースでは、5年以上にわたり筆記試験で教科書やスライドなどの資料を参照することが許されている(オープンブック試験)。研究の目的は、筆記試験においてChatGPTを学生支援ツールとして使用することの利点と欠点を探求することである。
研究では、試験中に学生がどのようにChatGPTを利用し、それが学生の学習プロセスや理解度にどのように影響を与えたかについてデータを収集し分析した。データには、学生の試験回答、ChatGPTの使用頻度、どのような質問でChatGPTが参照されたか、どのような情報が検索されたかなどが含まれる。
さらに、学生がChatGPTの使用についてどのように感じ、それが学習や試験へのアプローチにどのように影響したかに関する自己評価やフィードバックも収集した。
問題の中には、学生が授業で実際に体験した内容に基づく問題など、単純な情報検索や知識ベースの問題とは異なり、ChatGPTの回答をコピー&ペーストして答えられない質問も含まれている。
分析の結果、いくつかの重要なテーマが明らかになった。これらには「誤った方向への誘導」「不完全な回答」「プロンプトの偏見」「不適切な用語」「画像処理の時間」「否定的フィードバックの欠如」「図表の不足」が含まれる。以下が各項目の詳細になる。
これらのテーマを認識し、適切な注意を払うことで、学習者と教育者はChatGPTとの相互作用を向上させ、より信頼性の高い有益な学習体験を実現できると、研究チームは指摘している。
Source and Image Credits: Andre Pimenta Freire, Paula Christina Figueira Cardoso, and Andre de Lima Salgado. 2024. May We Consult ChatGPT in Our Human-Computer Interaction Written Exam? An Experience Report After a Professor Answered Yes. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems(IHC ’23). Association for Computing Machinery, New York, NY, USA, Article 6, 1-11. https://doi.org/10.1145/3638067.3638100
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR