数回の練習が数千回分の効果にも──物事の上達スピードを決めるのは練習量より「報酬の大きさ」 マウス実験がScience誌掲載:Innovative Tech
米ハワード・ヒューズ医学研究所に所属する研究者らがScience誌で発表した論文「Reward magnitude determines reinforcement learning efficiency」は、報酬の大きさが、学習速度の効率を高めることを明らかにした研究報告だ。
Innovative Tech:
2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X:@shiropen2
米ハワード・ヒューズ医学研究所に所属する研究者らがScience誌で発表した論文「Reward magnitude determines reinforcement learning efficiency」は、報酬の大きさが、学習速度の効率を高めることを明らかにした研究報告だ。
マウスを用いた実験において、従来の研究で使われていた標準的な量よりも大きな報酬を与えたところ、ナビゲーションや運動スキル、意思決定といった複雑な課題において、学習スピードが向上することが確認された。
通常であれば何百回、何千回という報酬経験が必要なタスクであっても、特大の報酬を与えられたマウスは、わずか数回の経験で学習を完了させることすらあった。しかも、最終的に到達する上手さは変わらなかった。速く上手くなるだけで、雑になったわけではなかった。
この学習効率の向上には、脳内の線条体におけるドーパミンの働きが深く関わっていた。大きな報酬を得ると、マウスの脳内ではドーパミンがより多く、そして長く持続して放出される。
事実、光遺伝学(オプトジェネティクス)を用いて、人工的にドーパミンの反応を持続させたところ、通常の小さな報酬しか与えていない場合でも、特大の報酬による学習促進効果の多くが再現された。
研究チームは、大きな報酬がもたらす学習の効率化は、単に理解するスピードが上がるからだけではないと分析している。大きな報酬は、前回のセッションからの学習内容をしっかりと引き継ぐ力や、タスクに途中で飽きずに取り組み続ける意欲を強く引き出していた。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
SNSの「いいね」は怒りを増幅させるフィードバックループを生む──イェール大学が論文発表
SNSでは“道徳的な怒り”を表す投稿が増える傾向があると、イェール大学の研究者がTwitterの投稿を解析した研究結果を発表した。「プラットフォーマーは集団運動に影響を与える能力を持っていることを自覚するべきだ」としている。
子犬、子猫、狼の子は訓練なしに人の動きをまねるのか? ハンガリーの研究者らが検証
ハンガリーのEotvos Lorand Universityに所属する研究者らは、子犬、子猫、狼の子に対して、事前の訓練や食べ物の報酬がなくても、人が行った行動を観察してまねするかを検証した研究報告を発表した。
AIが「言語生成AIとの対話」で賢くなり続ける自動成長モデル 米Meta含む研究者らが開発
米Metaやカナダのマギル大学などに所属する研究者らは、環境と直接対話せずに大規模言語モデル(LLM)からのフィードバックを用いてAIエージェントを強化学習で訓練する手法を提案した研究報告を発表した。
話し方で「飲みすぎ」か分かるAI 12秒の会話で酩酊状態を特定
オーストラリアのLa Trobe UniversityとDeakin Universityに所属する研究者らは、12秒間の発話に基づいて個人の酩酊(めいてい)状態を予測できる機械学習モデルを提案した研究報告を発表した。
生命の起源、「RNAワールド仮説」が現実味 自己複製できる45塩基のRNA「QT45」発見 Science誌に掲載
英ケンブリッジ大学などに所属する研究者らは、たった45塩基の短いRNAが自己複製能力を持つことを実証した研究報告を発表した。
