ChatGPTを学生が利用すると“質の良い論文”が書ける？ 医学生18人を調査 クロアチアの研究者が発表：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　クロアチアのスプリット大学に所属する研究者らが発表した「Better by you, better than me, chatgpt3 as writing assistance in students essays」は、ChatGPTを利用して論文を書く学生グループと、従来の方法で論文を書くグループとを比較し、執筆スピードや内容の質などを評価した研究報告である。

学生がChatGPTを利用して書いた小論文の質は向上するのかを評価した論文のトップページ

　ChatGPTは、あくまで学習した内容を返しているだけにすぎないため、専門的過ぎるととんちんかんな答えが返ってくる。それは当然のことだが、人間が自動車を開発して楽に遠くへ行く手段を手に入れたように、ツールとして使うのは見方によっては利用方法の一つだろう。とりわけ文章を書くジャンルでは直接的である。

　そのため学問の世界では、論文作成に学生が利用する問題が浮上している。それは駄目なことだと一蹴する意見もあれば、そのようなアシスタントツールを使った上で論文を速く書けばいいという意見もある。後者は、余った時間を研究の中身に利用したらいいという考えだ。

　だが、実際にChatGPTを使用して“良い論文”は書けるのだろうか。ChatGPTが学生の環境において、ライティングアシスタントツールとしてどのように機能し、学生のパフォーマンスを向上させるかはまだ不明である。

　この研究では、ChatGPTが学生の小論文の成績を向上させるのか、執筆時間を短縮するのか、文章の信ぴょう性に影響するのかを調査した。

　クロアチアのスプリット大学法医学部の修士課程2年生を対象に、法医学セミナーのコースの一環として、小論文の書き方に関する研究に自主的に参加するよう呼びかけた。同コースに在籍する50人の学生のうち、18人がWebフォームから応募し、研究に参加した。半分の9人が既存の方法で小論文を執筆し、もう半分の9人がChatGPTを使って執筆した。

　小論文のタイトルは「科学捜査における生体認証の利点と欠点」、クロアチア語で800〜1000語とした。小論文の採点は2人の教員が行う。米ペンシルバニア州立大学「Schreyer Institute for Teaching Excellence」の小論文ルーブリックを使用し、AからDまでで評点した。

　盗用検出ソフトウェア「PlagScan」を用いて各文書の真偽を確認し、Jaccard類似度係数を用いて文書の類似性のペアワイズ比較を実施した。AIテキスト分類器でAIが作成した可能性も調査。統計解析や執筆時間も考慮して、総合得点を捻出した。

　結果、ChatGPTの支援は、必ずしも学生の小論文の質を向上させないことが分かった。ChatGPTグループは、いずれの指標においても成績が向上せず、学生はより質の高いコンテンツを提供することも、より速く書くことも、より高度なオーセンティックテキストを持つこともなかった。

小論文の点数　（A）グループ別、（B）期間別、（C）平均成績別、（D）非正規文の割合別

　小論文の総合得点は対照群の方が若干良かったが、これはおそらくツールに過度に依存したためか、生徒がツールに不慣れであったためと思われる。これは、学生は自分自身で書くよりもツールを用いて書く方が難しいと報告している先行研究と一致する。

　もう1つの興味深い発見は、ChatGPTの使用は小論文の作成を加速させず、両グループの学生はタスクを完了するために同程度の時間（平均時間の差は約7分）を要したということである。生成したテキストと自分のスタイルを組み合わせることの難しさを報告したように、ChatGPTは最初の段階でのライティングを加速させるが、タスクを完成させ、内容を組み立てるために、より多くの時間を必要とする。

　ChatGPTを使用しているかどうかに関わらず、学生の推論やスタイルが異なっていることを示した。これはChatGPTを適用すると、同じ課題でもユーザーの入力によって異なる結果が得られることから、プロンプトの作成スキルが問われることを示唆する。

　検出ツールの観点や、ChatGPTの支援を受けた学生が対照群を上回らなかったという調査結果を考慮すると、アカデミックライティングへの適用に大きな懸念を抱く理由はない、と研究チームは結論付けた。

　反対に、ChatGPTはWeb検索と同じように機能するため、学生の注意をそらし、パフォーマンスを低下させる可能性を示唆した。

Source and Image Credits: Basic, Zeljana, Anamarija Banovac, Ivana Kruzic and Ivan Jerkovic. “Better by you, better than me, chatgpt3 as writing assistance in students essays.”（2023）.