标签：优化器

理解 Adam 如何融合动量（一阶矩）与 RMSProp（二阶矩）、偏差修正的作用、各超参数的默认值，以及它在显存上的代价

理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优

理解统一学习率的困境、RMSProp 自适应学习率的核心思想（梯度大的除以大数、梯度小的除以小数），以及梯度平方指数加权平均的递推计算