「査読前論文は信用できない」はどこまで本当か? 査読前後での内容の変化、7万件の分析結果は:Innovative Tech
ウェスタン大学と南カリフォルニア大学に所属する研究者らが発表した論文「Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models」は、プレプリント(査読前論文)の信頼性を検証した研究報告だ。
Innovative Tech:
2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X:@shiropen2
ウェスタン大学と南カリフォルニア大学に所属する研究者らが発表した論文「Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models」は、プレプリント(査読前論文)の信頼性を検証した研究報告だ。
査読前の論文を公開するプレプリントは、研究内容をいち早く世界中に無料共有できるメリットがあり、プレプリント公開サイト(arXivやbioRxivなど)で膨大な件数が日々公開されている。しかし、査読を経ていないことから、その主張の信頼性を疑問視する声も一部に存在する。
そこで研究チームは、18年から25年の間にbioRxivに投稿され、その後査読済み論文として出版された7万2644件の論文ペアを対象に、大規模言語モデル(Claude Sonnet 4.6)を用いてその内容の変化を追跡した。
分析の結果、査読によって論文の主要な主張が大きく覆るケースは稀であることが判明した。抄録における主要な主張の内容は、全体の39.9%で変化がなく、50.0%が軽微な修正にとどまっており、大幅な修正が加えられたのは10.2%であった。
表現の確信度合いについて調べたところ、全体の85.6%は査読前後で変化がなかった。表現に変化があったものの中では、より慎重な表現になった割合が8.4%、より自信に満ちた表現になった割合が4.2%であり、査読を通じて論文の主張が2倍の割合で慎重なトーンへと修正されていることがわかる。
さらに、査読期間の長さやジャーナルの影響力と修正の度合いには関連が見られた。査読期間が最も短いグループでの大幅な修正の割合は7.0%だったのに対し、最も長いグループでは14.1%に上昇した。
また、プレプリントとして公開されたかどうかが、その後の論文撤回率に与える影響も調査された。その結果、プレプリントとして公開されたことのない論文は1万件あたり18.7件の割合で撤回されたのに対し、プレプリントとして公開された論文の撤回率は1万件あたり8.1件であった。つまり、プレプリントを経由しなかった論文は、経由した論文の約2倍の確率で撤回されていることになる。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
「GPT-4」は論文の査読ができるか? 米スタンフォード大らが検証 参加者の80%以上「AI査読は有益」
米スタンフォード大学、米ノースウェスタン大学、米コーネル大学に所属する研究者らは、大規模言語モデル(LLM)が研究論文の査読を行えるかを調査した研究報告を発表した。
出版料をだまし取る“ニセ学術誌”のリストが登場 本物と見分けがつかない詐欺サイト150以上を掲載
ドイツのFree University of BerlinのAnna Abalkina氏とRetraction Watchは、クローンジャーナル(詐欺をするために本物を模倣して作られた偽の学術誌)を一覧にしたリストを発表した。
論文サイト「arXiv」、投稿の約9割で非公開情報が“丸見え状態”か パスワードや秘密鍵、自宅のGPS座標なども 270万件を調査
ドイツのアーヘン工科大学に所属する研究者らが発表した論文「Hidden Secrets in the arXiv: Discovering, Analyzing, and Preventing Unintentional Information Disclosure in Source Files of Scientific Preprints」は、査読前論文を公開するWebサイト「arXiv」に投稿された論文から個人情報や機密情報、意図しない情報が漏えいしていることを明らかにした研究報告だ。
「速く計算するには多くのメモリが必要」という50年来の常識を覆す? 米MIT教授が新理論 査読前論文を発表
米国マサチューセッツ工科大学(MIT)のRyan Williams教授は、コンピュータが計算処理を行う際の「時間」と「空間」の関係性について、従来の理論を大幅に改善するという研究報告(査読前のプレプリント)を発表した。
AIは論文発表を変える? 民間企業が“学会で発表する意義” サイバーエージェントなどが議論
企業において、研究開発組織はどのような役割を果たすべきなのか。AIは、研究開発をどう変えていくのか。サイバーエージェントとCygames、パナソニックホールディングスの3社で研究組織を率いる3人が議論を交わした。


