从残差路径出发比较 Pre-Norm 与 Post-Norm，理解两者的公式、梯度传播、训练稳定性和 LLaMA 的选择。
标签：训练稳定性
共 2 篇相关内容，按发布时间排列。
理解 Batch Normalization 的核心操作（标准化 → 缩放平移）、γ/β 可学习参数的意义、为什么 BN 前不加 bias、推理时的指数加权平均切换，以及 PyTorch 实现
共 2 篇相关内容，按发布时间排列。
从残差路径出发比较 Pre-Norm 与 Post-Norm，理解两者的公式、梯度传播、训练稳定性和 LLaMA 的选择。
理解 Batch Normalization 的核心操作（标准化 → 缩放平移）、γ/β 可学习参数的意义、为什么 BN 前不加 bias、推理时的指数加权平均切换，以及 PyTorch 实现