Innovative Tech

言語生成AIは文章を“盗作”しているのか？　21万件の文章から米国の研究者らが分析

公開 2023年02月22日 08時05分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　米ペンシルベニア州立大学と米ミシシッピ大学に所属する研究者らが発表した論文「Do Language Models Plagiarize？」は、自然言語生成モデルが剽窃（ひょうせつ）している可能性を分析した研究報告である。剽窃されたコンテンツを自動的に識別するためのパイプラインを構築することにより、言語モデルがコピー＆ペーストだけでなく、気が付かないうちにより高度な盗用をしていないかを検証する。

　この研究では、21万件のテキストを用い、事前に訓練された言語モデルと専門分野に特化するよう微調整された言語モデルの2パターンの剽窃行動を検証する。具体的には、事前に訓練された言語モデルとしてOpenAIのGPT-2と、GPT-2モデルを学術論文と法律分野（特許請求の範囲）のデータセットを利用して微調整を行ったモデルを用いる。事前学習用データセットはOpenWebText、微調整用データセットはPatentClaim、Cord-19、ArxivAbstractである。

　実験に当たって、自動剽窃検出のための新しいパイプラインを構築し、3つの属性（すなわち、モデルサイズ、デコーディング方法、コーパスの類似性）に起因する剽窃率の変化を特徴付ける。

　剽窃は、3種類の形式を特定することに焦点を当てる。1つ目は「コピペ」で、コンテンツを直接コピーして貼り付けることを指す。2つ目は「言い換え」で、元のソースを引用せずにコンテンツを言い換えたり再構成したりすることを指す。3つ目の「アイデア」で、テキストの主要アイデアを適切に帰属させずに使用することを指す。

　出力した複数の文章を分析した結果、研究チームは、言語モデルが3種類の剽窃を全て行っていることを発見した。GPT-2は生成したテキスト中の単語や文、さらには（事前学習用コーパスであるOpenWebTextにもともと含まれている）コアアイデアを利用し、再利用していることを示した。

　事前学習したGPT-2が剽窃したテキストは合計1193個（コピペ: 388、言い換え: 507、アイデア: 298）であった。例えば、以下の図のような剽窃している例が出力される。左がモデルが出力した文章で、右が学習時に参照した元データになる。黄色のハイライト部分がコピペされたように全文重複する文章を示す。オレンジ色のハイライト部分はコピペではないが類似した意味を持つ箇所を示す。

GPT-2とその学習セットで作成した文章から検出された3種類の剽窃の例。左がモデルが出力した文章。右が訓練時の元の文章。重複する文章は黄色、重複が少なく類似した意味を持つ単語／フレーズはオレンジでハイライトしている

GPT-2とその学習セットによって書かれた文章から検出した剽窃の例。重複する文章は黄色、重複が少なく類似した意味を持つ単語／フレーズはオレンジでハイライトしている

　コピペ盗用に関連するテキストの長さと出現頻度を調査した結果、中央値は483文字であり、最も長いテキストは5920文字であると分かった。また、データセットやモデルの学習に用いるパラメータが大きくなるほど、剽窃の発生頻度が高くなることを発見した。

　次に、3種類の剽窃に個人情報や機密情報が含まれているかどうかに注目する。そのために、個人を特定できる情報（例：クレジットカード情報、電子メールアドレス、電話番号など）を検出するためのPythonツールキットであるMicrosoftのPresidio analyzerを使用する。

　剽窃したテキスト総数1193件のうち、約28％に位置情報と人名が含まれていた。機密性の高い情報（運転免許証番号、クレジットカード情報、銀行番号、社会保障番号、IPアドレスなど）は含まれていなかった。

　続いて、言語モデルを微調整した出力結果を分析した結果、コピペ的な盗用は減少したが、言い換えやアイデアの盗用が増加したことを確認した。PatentGPTとCord19GPTでは、剽窃が事前学習したGPTよりも多く発生した。一方、ArxivAbstractGPTはテキストをほとんど剽窃していなかった。

Source and Image Credits: Lee, Jooyoung, et al. “Do Language Models Plagiarize？.” arXiv preprint arXiv:2203.07618（2022）.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る