标签：过拟合

理解 Dropout 训练阶段的随机丢弃与 1/(1-p) 缩放机制、推理阶段的全神经元启用、防止神经元共适应的原理，以及 PyTorch 中的 nn.Dropout 使用方法

理解正则化解决过拟合的核心思想、L1 产生稀疏解而 L2 产生平滑解的区别及数学原因，以及 PyTorch 中一行代码实现 L2 正则化的方法

理解权重衰减的原理（每次更新时直接缩小参数）、与 L2 正则化在 SGD 下等价但在 Adam 下不等价的数学推导，以及 PyTorch 中的一行实现

理解欠拟合（训练集差）、过拟合（训练集好验证集差）、适度拟合（两者都好）的判断标准、原因和调整策略，以及训练过程中的诊断最佳实践

Sigmoid激活函数、交叉熵损失、二元/多元逻辑回归与多分类