生徒「筆記試験にChatGPTを使ってもよいですか？」 教授「いいよ」 ブラジルの大学が検証 結果は？：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　ブラジルのラブラス国立大学に所属する研究者らが発表した論文「May We Consult ChatGPT in Our Human-Computer Interaction Written Exam？ An Experience Report After a Professor Answered Yes」は、学生の筆記試験にAIチャット「ChatGPT」の使用を認めた結果を考察した研究報告である。

筆記試験にChatGPT　ブラジルの大学が検証

　この研究では、2023年にブラジルのラヴラス国立大学で行われたHCI（Human-Computer Interaction）の筆記試験において、ChatGPTの使用が許可されたことが背景にある。このHCIコースでは、5年以上にわたり筆記試験で教科書やスライドなどの資料を参照することが許されている（オープンブック試験）。研究の目的は、筆記試験においてChatGPTを学生支援ツールとして使用することの利点と欠点を探求することである。

　研究では、試験中に学生がどのようにChatGPTを利用し、それが学生の学習プロセスや理解度にどのように影響を与えたかについてデータを収集し分析した。データには、学生の試験回答、ChatGPTの使用頻度、どのような質問でChatGPTが参照されたか、どのような情報が検索されたかなどが含まれる。

　さらに、学生がChatGPTの使用についてどのように感じ、それが学習や試験へのアプローチにどのように影響したかに関する自己評価やフィードバックも収集した。

　問題の中には、学生が授業で実際に体験した内容に基づく問題など、単純な情報検索や知識ベースの問題とは異なり、ChatGPTの回答をコピー＆ペーストして答えられない質問も含まれている。

　分析の結果、いくつかの重要なテーマが明らかになった。これらには「誤った方向への誘導」「不完全な回答」「プロンプトの偏見」「不適切な用語」「画像処理の時間」「否定的フィードバックの欠如」「図表の不足」が含まれる。以下が各項目の詳細になる。

• 誤った方向への誘導：ChatGPTが学習者を誤った方向に誘導する可能性があり、関連性のないトピックや逸脱した側面に焦点を当てる可能性がある。生徒はChatGPTの誘導を批判的に評価し、他の信頼できる情報源と照らし合わせる必要がある。
• 不完全な回答：ChatGPTが時折不完全な回答を提供する可能性がある。利用者はこの可能性を認識し、ChatGPTが提供する回答の完全性を外部のリソースや追加の研究を通じて二重に確認することが重要である。
• プロンプトの偏見：ChatGPTの回答は、利用者が与えたプロンプトの影響を受ける可能性がある。利用者はこの偏見に注意し、中立で偏見のないプロンプトを作成して、システムから正確で客観的な回答を得る必要がある。
• 不適切な用語：ChatGPTが要求していない用語を生成する可能性がある。利用者はChatGPTが使用する用語を慎重に評価し、その文脈に適切であるかどうかを確認する必要がある。
• 画像処理の時間：ChatGPTは、画像がクエリに含まれる場合、処理と正確な応答にさらに時間を要する可能性がある。これは、視覚情報を解釈するモデルの能力が、テキストベースの理解よりも比較的遅いか、正確でない可能性があることを示唆する。ユーザーはこの限界を認識し、画像に関連する情報を求める際に、テキストによる説明や別のアプローチの提供を検討する必要がある。
• 否定的フィードバックの欠如：ChatGPTが十分な情報や文脈を持たずに正確な回答を提供できない場合でも、回答を生成しようとすることがある。利用者はこの問題を認識し、必要なデータが足りないことを明確に伝えるようChatGPTに期待するべきである。
• 図表の不足：ChatGPTはコンテンツの説明時に図表を欠いている。図表は理解を深める上で重要な役割を果たすため、利用者はこの制限を認識し、図表を含めることが有益であるコンテンツを扱う際に補足的な視覚的手段を求めることを検討する必要がある。

論文のトップページ

　これらのテーマを認識し、適切な注意を払うことで、学習者と教育者はChatGPTとの相互作用を向上させ、より信頼性の高い有益な学習体験を実現できると、研究チームは指摘している。

Source and Image Credits: Andre Pimenta Freire, Paula Christina Figueira Cardoso, and Andre de Lima Salgado. 2024. May We Consult ChatGPT in Our Human-Computer Interaction Written Exam？ An Experience Report After a Professor Answered Yes. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems（IHC ’23）. Association for Computing Machinery, New York, NY, USA, Article 6, 1-11. https://doi.org/10.1145/3638067.3638100