生成AIに「夢」を見せる→“過学習”を防ぐ 「人間が夢(合成データ)を見る理由も同じか?」 米研究者が21年に提唱:ちょっと昔のInnovative Tech(AI+)
米タフツ大学に所属するエリック・ホエルさんは2021年に、夢が過学習(オーバーフィッティング)を減少させる手段であると提案した研究報告を発表した。
ちょっと昔のInnovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。通常は新規性の高い、AI領域の科学論文を解説しているが、ここでは番外編として“ちょっと昔”に発表された個性的な科学論文を取り上げる。
X: @shiropen2
米タフツ大学に所属するエリック・ホエルさんが2021年に発表した論文「The Overfitted Brain: Dreams evolved to assist generalization」は、夢が過学習(オーバーフィッティング)を減少させる手段であると提案した研究報告である。
夢を見る目的は何なのか。従来の理論では、夢は記憶の固定化や情報の整理に役立つと考えられているが、夢を見る理由やメカニズムについてはいまだ十分に解明されていない。一方、夢と最も関連の深い睡眠段階を抑制すると、哺乳類の学習能力が低下することは以前から知られている。
研究者らは機械学習の概念を用いてこの問題にアプローチし、夢の役割について新しい視点を提示した。具体的には、夢が現実の経験を少し変形させたバージョンを提供することで、脳が特定のパターンに過度に適応するのを防いでいるというものだ。体験したことだけでなく、夢によって少し変形したバージョンを脳内で見ることで応用が学習され汎化学習が促進することをいう。
この仮説は、夢の特徴的な性質をうまく説明できる。例えば、夢がしばしば現実離れしていることや、細部があいまいであること、夢の中で見慣れた環境や人物が少し違った形で現れることも、この文脈で理解できる。
この考え方は、機械学習の分野で用いられる技術と類似している。AIモデルが学習するときに、データにわざと少しノイズ(乱れ)を加えた合成データにして、過学習(AIが学習した訓練データにあまりにも固執してしまい、新しい状況に対応できなくなること)を防止する。これにより、データに過度に依存したモデルではなく、より柔軟な汎化性能の高いシステムの構築が可能となる。
提唱された「過学習防止としての夢」仮説は、脳科学と機械学習の両分野に新たな視点をもたらす。
Source and Image Credits: Erik Hoel. The overfitted brain: Dreams evolved to assist generalization.
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
- 後継者不足の“COBOL言語”を生成AIに引き継ぎ 政府や銀行の“いにしえのプログラム”を近代化へ
FPT Software AI Centerに所属する研究者らは、メインフレームコンピュータの近代化を支援する新しい大規模言語モデルを提案した研究報告を発表した。 - 学生が生成AIでマルウェアをつくってみた――ほぼコーディングせず脱獄もなし 北海道科学大が検証
北海道科学大学に所属する研究者らは、コーディング作業を極力せずに、GPT-4を用いてマルウェアが作れるかを実際に検証した研究報告を発表した。 - メモリ内で「データ保存」と「計算処理」を実行する「CRAM」 実証実験に成功 AIタスクの消費電力を大幅削減へ
- 「著作権トラップ」――生成AIに作品を“無断盗用”されたか後から証明する方法 英ICLなどが開発
英インペリアル・カレッジ・ロンドンなどに所属する研究者らは、大規模言語モデル(LLM)の訓練データに著作権所有者の作品が含まれているかを特定する方法を開発した研究報告を発表した。 - “HDMIケーブルから漏れる信号”を屋外から傍受→モニターの表示内容を盗み見るAI ウルグアイチームが開発
ウルグアイのUniversidad de la Republica Montevideoに所属する研究者らは、HDMIケーブルから意図せずに放射される電磁波を傍受し、AIを使用して解読することでモニターに表示されている画像を再現する攻撃を提案した研究報告を発表した。