← 全部标签

标签：Adam

共 2 篇相关内容，按发布时间排列。

深度学习:Adam 优化器 — Momentum + RMSProp = 默认选择

2026 年 08 月 12 日深度学习

理解 Adam 如何融合动量（一阶矩）与 RMSProp（二阶矩）、偏差修正的作用、各超参数的默认值，以及它在显存上的代价

Adam 优化器 Momentum RMSProp 自适应学习率

深度学习:权重衰减 — 直接缩小参数的防过拟合技术

2026 年 08 月 12 日深度学习

理解权重衰减的原理（每次更新时直接缩小参数）、与 L2 正则化在 SGD 下等价但在 Adam 下不等价的数学推导，以及 PyTorch 中的一行实现

权重衰减 Weight Decay L2正则化过拟合 Adam