理解 Batch Normalization 的核心操作(标准化 → 缩放平移)、γ/β 可学习参数的意义、为什么 BN 前不加 bias、推理时的指数加权平均切换,以及 PyTorch 实现
标签:正则化
共 3 篇相关内容,按发布时间排列。
理解 Dropout 训练阶段的随机丢弃与 1/(1-p) 缩放机制、推理阶段的全神经元启用、防止神经元共适应的原理,以及 PyTorch 中的 nn.Dropout 使用方法
理解正则化解决过拟合的核心思想、L1 产生稀疏解而 L2 产生平滑解的区别及数学原因,以及 PyTorch 中一行代码实现 L2 正则化的方法