标签：RMSProp

理解 Adam 如何融合动量（一阶矩）与 RMSProp（二阶矩）、偏差修正的作用、各超参数的默认值，以及它在显存上的代价

理解统一学习率的困境、RMSProp 自适应学习率的核心思想（梯度大的除以大数、梯度小的除以小数），以及梯度平方指数加权平均的递推计算