← 全部标签

标签:正则化

共 3 篇相关内容,按发布时间排列。

深度学习:批量归一化 — 让深层网络每一层的输入都稳定

理解 Batch Normalization 的核心操作(标准化 → 缩放平移)、γ/β 可学习参数的意义、为什么 BN 前不加 bias、推理时的指数加权平均切换,以及 PyTorch 实现

深度学习:Dropout — 随机丢弃神经元的正则化技术

理解 Dropout 训练阶段的随机丢弃与 1/(1-p) 缩放机制、推理阶段的全神经元启用、防止神经元共适应的原理,以及 PyTorch 中的 nn.Dropout 使用方法

深度学习:L1 与 L2 正则化 — 用奥卡姆剃刀修剪神经网络

理解正则化解决过拟合的核心思想、L1 产生稀疏解而 L2 产生平滑解的区别及数学原因,以及 PyTorch 中一行代码实现 L2 正则化的方法