理解指数加权平均的递推公式与递推思想、β 参数对衰减速度的控制、偏差修正的作用，以及在深度学习中（优化器、BatchNorm）的应用场景
标签：指数加权平均
共 3 篇相关内容，按发布时间排列。
理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优
理解统一学习率的困境、RMSProp 自适应学习率的核心思想（梯度大的除以大数、梯度小的除以小数），以及梯度平方指数加权平均的递推计算
共 3 篇相关内容，按发布时间排列。
理解指数加权平均的递推公式与递推思想、β 参数对衰减速度的控制、偏差修正的作用，以及在深度学习中（优化器、BatchNorm）的应用场景
理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优
理解统一学习率的困境、RMSProp 自适应学习率的核心思想（梯度大的除以大数、梯度小的除以小数），以及梯度平方指数加权平均的递推计算