Innovative Tech（AI+）

生成AIが“AI生成コンテンツ”を学習し続けるとどうなる？→「モデル崩壊」が起こる　英国チームが発表

　英オックスフォード大学や英ケンブリッジ大学などに所属する研究者らが発表した論文「AI models collapse when trained on recursively generated data」は、AIモデルが自己生成したデータで繰り返し学習すると、モデルの性能が低下していく「モデル崩壊」という現象を発見した研究報告である。

　ここで言うモデル崩壊とは“生成AIモデルが生成したデータ”が次世代の訓練データを汚染し、世代を重ねるごとに元の真のデータ分布から逸脱して現実を誤認していく退行的プロセスを意味する。

　研究チームは、大規模言語モデル（LLM）、変分オートエンコーダー（VAE）、ガウス混合モデル（GMM）など、幅広い生成AIモデルを対象に実験を行った。その結果、AIモデルが生成したデータを次世代のモデルの学習に使用し、これを繰り返すと、世代を重ねるごとにモデルの性能が低下していくことが分かった。

　LLMを用いた実験では、米Metaが公開している1億2500万のパラメータを持つ「OPT-125m」というモデルを使用。実験ではまず、このモデルを「wikitext2データセット」（Wikipediaの記事から抽出されたテキストデータ）で微調整（ファインチューニング）した。

　微調整後、研究者たちは学習済みモデルを使って新しいテキストデータを生成した。次に、この生成したデータセットで新しいモデルを微調整した。このプロセスを繰り返し、各世代のモデルの性能を評価した。

　実験は2つの設定で行った。1つ目の設定では、各世代で5エポックの学習を行い、元のトレーニングデータは保持しなかった。2つ目の設定では、10エポックの学習を行い、各世代で元のデータの10％をランダムに保持した。

　結果は、両方の設定でモデル崩壊の兆候が見られた。1つ目の設定では、世代を重ねるごとにモデルの性能が大きく低下。2つ目の設定では、元のデータの一部を保持したことで性能低下は緩和されたが、それでも世代を重ねるごとに徐々に性能が低下していった。VAEとGMMを用いた実験でも同様の現象を観察した。

　この結果は、LLMなどのAIシステムのトレーニングには「先行者利益」があることを示唆している。長期的な学習を維持するには、元のデータソースへのアクセスを保持し、LLM以外が生成したデータを継続的に利用可能にする必要があるからだ。

　研究チームは「AIが生成したWebコンテンツが増加する傾向にあるため、LLMの新しいバージョンを訓練する際、人間が直接作成したデータにアクセスできなくなり、開発がますます困難になるだろう」と指摘している。

　一つの解決策として、LLMの開発と展開に関わる各関係者が、生成AIなのか人間が生成したデータなのかの出どころの情報を共有し、コミュニティー全体で協調することが考えられる。

Source and Image Credits: Shumailov, I., Shumaylov, Z., Zhao, Y. et al. AI models collapse when trained on recursively generated data. Nature 631, 755-759（2024）. https://doi.org/10.1038/s41586-024-07566-y

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• https://www.itmedia.co.jp/news/articles/2306/21/news059.html
• 

  LLMが別のLLMを何度も改善　より良い回答を出す最適化手法をAIが発見する技術　Sakana AIなどが開発

• 

  Excelなどの“表計算ソフト専用”の大規模言語モデル　米Microsoftが「SpreadsheetLLM」発表

• 

  LLMから“有害”を引き出すアーケードゲーム「ハックマン」　AIに卑劣な言葉を吐かせたら勝ち

• 

  “人間には簡単なパズル”、AIが解ければ賞金　総額約1億7700万円　「AGI」を目指すコンテスト開催中