On First-Order Meta-Learning Algorithms
tm4roon opened this issue · comments
Takumi MARUYAMA commented
On First-Order Meta-Learning Algorithms
Model-Agnostic Meta-Learning (MAML)は、二次勾配の計算が含まれることからメモリ効率が悪く計算コストが高いことが知られている。本論文では、MAMLの一次近似手法First-Order MAML (FOMAML)を拡張したReptileという手法を提案し、高速かつ頑健に動作することを示していた。手法は以下の通りで非常にシンプルである。
文献情報
- 著者: Alex Nichol, Joshua Achiam, John Schulman
- リンク: https://arxiv.org/abs/1803.02999
- 学会: arXiv