标签：Momentum

理解 Adam 如何融合动量（一阶矩）与 RMSProp（二阶矩）、偏差修正的作用、各超参数的默认值，以及它在显存上的代价

理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优