理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优
标签：梯度下降
共 4 篇相关内容，按发布时间排列。
从全量数据到单个样本再到小批量，理解三种梯度下降变体的权衡，以及 Batch Size 的选值原则（2 的幂、GPU 显存上限）
特征尺度不一致导致梯度下降不稳定的根本原因，以及归一化与标准化的原理、实现和预测时的注意事项
一元/多元线性回归、梯度下降算法、损失函数与学习率
共 4 篇相关内容，按发布时间排列。
理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优
从全量数据到单个样本再到小批量，理解三种梯度下降变体的权衡，以及 Batch Size 的选值原则（2 的幂、GPU 显存上限）
特征尺度不一致导致梯度下降不稳定的根本原因，以及归一化与标准化的原理、实现和预测时的注意事项
一元/多元线性回归、梯度下降算法、损失函数与学习率