生徒「筆記試験にChatGPTを使ってもよいですか?」 教授「いいよ」 ブラジルの大学が検証 結果は?:Innovative Tech
ブラジルのラブラス国立大学に所属する研究者らがは、学生の筆記試験にChatGPTの使用を認めた結果を考察した研究報告である。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
ブラジルのラブラス国立大学に所属する研究者らが発表した論文「May We Consult ChatGPT in Our Human-Computer Interaction Written Exam? An Experience Report After a Professor Answered Yes」は、学生の筆記試験にAIチャット「ChatGPT」の使用を認めた結果を考察した研究報告である。
この研究では、2023年にブラジルのラヴラス国立大学で行われたHCI(Human-Computer Interaction)の筆記試験において、ChatGPTの使用が許可されたことが背景にある。このHCIコースでは、5年以上にわたり筆記試験で教科書やスライドなどの資料を参照することが許されている(オープンブック試験)。研究の目的は、筆記試験においてChatGPTを学生支援ツールとして使用することの利点と欠点を探求することである。
研究では、試験中に学生がどのようにChatGPTを利用し、それが学生の学習プロセスや理解度にどのように影響を与えたかについてデータを収集し分析した。データには、学生の試験回答、ChatGPTの使用頻度、どのような質問でChatGPTが参照されたか、どのような情報が検索されたかなどが含まれる。
さらに、学生がChatGPTの使用についてどのように感じ、それが学習や試験へのアプローチにどのように影響したかに関する自己評価やフィードバックも収集した。
問題の中には、学生が授業で実際に体験した内容に基づく問題など、単純な情報検索や知識ベースの問題とは異なり、ChatGPTの回答をコピー&ペーストして答えられない質問も含まれている。
分析の結果、いくつかの重要なテーマが明らかになった。これらには「誤った方向への誘導」「不完全な回答」「プロンプトの偏見」「不適切な用語」「画像処理の時間」「否定的フィードバックの欠如」「図表の不足」が含まれる。以下が各項目の詳細になる。
- 誤った方向への誘導:ChatGPTが学習者を誤った方向に誘導する可能性があり、関連性のないトピックや逸脱した側面に焦点を当てる可能性がある。生徒はChatGPTの誘導を批判的に評価し、他の信頼できる情報源と照らし合わせる必要がある。
- 不完全な回答:ChatGPTが時折不完全な回答を提供する可能性がある。利用者はこの可能性を認識し、ChatGPTが提供する回答の完全性を外部のリソースや追加の研究を通じて二重に確認することが重要である。
- プロンプトの偏見:ChatGPTの回答は、利用者が与えたプロンプトの影響を受ける可能性がある。利用者はこの偏見に注意し、中立で偏見のないプロンプトを作成して、システムから正確で客観的な回答を得る必要がある。
- 不適切な用語:ChatGPTが要求していない用語を生成する可能性がある。利用者はChatGPTが使用する用語を慎重に評価し、その文脈に適切であるかどうかを確認する必要がある。
- 画像処理の時間:ChatGPTは、画像がクエリに含まれる場合、処理と正確な応答にさらに時間を要する可能性がある。これは、視覚情報を解釈するモデルの能力が、テキストベースの理解よりも比較的遅いか、正確でない可能性があることを示唆する。ユーザーはこの限界を認識し、画像に関連する情報を求める際に、テキストによる説明や別のアプローチの提供を検討する必要がある。
- 否定的フィードバックの欠如:ChatGPTが十分な情報や文脈を持たずに正確な回答を提供できない場合でも、回答を生成しようとすることがある。利用者はこの問題を認識し、必要なデータが足りないことを明確に伝えるようChatGPTに期待するべきである。
- 図表の不足:ChatGPTはコンテンツの説明時に図表を欠いている。図表は理解を深める上で重要な役割を果たすため、利用者はこの制限を認識し、図表を含めることが有益であるコンテンツを扱う際に補足的な視覚的手段を求めることを検討する必要がある。
これらのテーマを認識し、適切な注意を払うことで、学習者と教育者はChatGPTとの相互作用を向上させ、より信頼性の高い有益な学習体験を実現できると、研究チームは指摘している。
Source and Image Credits: Andre Pimenta Freire, Paula Christina Figueira Cardoso, and Andre de Lima Salgado. 2024. May We Consult ChatGPT in Our Human-Computer Interaction Written Exam? An Experience Report After a Professor Answered Yes. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems(IHC ’23). Association for Computing Machinery, New York, NY, USA, Article 6, 1-11. https://doi.org/10.1145/3638067.3638100
関連記事
- 大学入試共通テスト、3つのチャットAIに解かせてみたら? GPT-4はバケモノだった
LifePromptは16日、大学入試共通テストを3つのチャットAIに解かせた結果を「note」で公開した。「やはりGPT-4はバケモノだった」という。 - AIは予想より“ポンコツ”だった? 共通テストの数学、ChatGPTでも平均点未満という結果に驚く
大学入試共通テストが行われた先週、生成AIに試験問題を解かせてみた、というブログ(note)を紹介した記事がアクセス7位に入った。点数を競ったのは、米OpenAIの「ChatGPT」(GPT-4)、米Googleの「Bard」、米Anthropicの「Claude2」の3つの文章生成AIだ。 - 「ChatGPTを駆使した」芥川賞作品を読む “ポリコレ的にOKな表現”が支配する未来とは
芥川賞を受賞した『東京都同情塔』は、「一部がChatGPTなどの生成AIで書かれた」という話題が一人歩きしているが、実際に読んでみて、「なんだこれは」と衝撃を覚えた。 - アリゾナ州立大学、OpenAIの「ChatGPT Enterprise」採用 教育機関としては初
アリゾナ州立大学は、OpenAIの「ChatGPT Enterprise」を採用すると発表した。2月からコースワークや研究に使う計画だ。学生もGPT-4やDALL・Eを無制限に使えるようになる。 - 商品名「何をおっしゃっているのか理解できません」 Amazonで見かけるナゾ商品 その正体とは?
Amazonで「申し訳ありませんが 私はそのような情報を提供することはできません おっぱいの大きいランジェリー女性は 他の人に危害や不快感を与える可能性のある下品で悪意のあるコンテンツを含む可能性があります」という奇妙な商品が売られている。一体これは何なのか。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.