生成AIが“AI生成コンテンツ”を学習し続けるとどうなる？→「モデル崩壊」が起こる 英国チームが発表：Innovative Tech（AI+）

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　英オックスフォード大学や英ケンブリッジ大学などに所属する研究者らが発表した論文「AI models collapse when trained on recursively generated data」は、AIモデルが自己生成したデータで繰り返し学習すると、モデルの性能が低下していく「モデル崩壊」という現象を発見した研究報告である。

生成AIが“AI生成コンテンツ”を学習し続けるとどうなる？

　ここで言うモデル崩壊とは“生成AIモデルが生成したデータ”が次世代の訓練データを汚染し、世代を重ねるごとに元の真のデータ分布から逸脱して現実を誤認していく退行的プロセスを意味する。

AIが生成したデータを学習し続けると、世代が重ねるごとに性能が低下しモデル崩壊が発生

　研究チームは、大規模言語モデル（LLM）、変分オートエンコーダー（VAE）、ガウス混合モデル（GMM）など、幅広い生成AIモデルを対象に実験を行った。その結果、AIモデルが生成したデータを次世代のモデルの学習に使用し、これを繰り返すと、世代を重ねるごとにモデルの性能が低下していくことが分かった。

　LLMを用いた実験では、米Metaが公開している1億2500万のパラメータを持つ「OPT-125m」というモデルを使用。実験ではまず、このモデルを「wikitext2データセット」（Wikipediaの記事から抽出されたテキストデータ）で微調整（ファインチューニング）した。

　微調整後、研究者たちは学習済みモデルを使って新しいテキストデータを生成した。次に、この生成したデータセットで新しいモデルを微調整した。このプロセスを繰り返し、各世代のモデルの性能を評価した。

　実験は2つの設定で行った。1つ目の設定では、各世代で5エポックの学習を行い、元のトレーニングデータは保持しなかった。2つ目の設定では、10エポックの学習を行い、各世代で元のデータの10％をランダムに保持した。

　結果は、両方の設定でモデル崩壊の兆候が見られた。1つ目の設定では、世代を重ねるごとにモデルの性能が大きく低下。2つ目の設定では、元のデータの一部を保持したことで性能低下は緩和されたが、それでも世代を重ねるごとに徐々に性能が低下していった。VAEとGMMを用いた実験でも同様の現象を観察した。

　この結果は、LLMなどのAIシステムのトレーニングには「先行者利益」があることを示唆している。長期的な学習を維持するには、元のデータソースへのアクセスを保持し、LLM以外が生成したデータを継続的に利用可能にする必要があるからだ。

　研究チームは「AIが生成したWebコンテンツが増加する傾向にあるため、LLMの新しいバージョンを訓練する際、人間が直接作成したデータにアクセスできなくなり、開発がますます困難になるだろう」と指摘している。

　一つの解決策として、LLMの開発と展開に関わる各関係者が、生成AIなのか人間が生成したデータなのかの出どころの情報を共有し、コミュニティー全体で協調することが考えられる。

Source and Image Credits: Shumailov, I., Shumaylov, Z., Zhao, Y. et al. AI models collapse when trained on recursively generated data. Nature 631, 755-759（2024）. https://doi.org/10.1038/s41586-024-07566-y