← 全部标签

标签：残差连接

共 2 篇相关内容，按发布时间排列。

LLaMA（4）：Pre-Norm 与 Post-Norm 的结构、梯度和取舍

2026 年 09 月 10 日 LLaMA

从残差路径出发比较 Pre-Norm 与 Post-Norm，理解两者的公式、梯度传播、训练稳定性和 LLaMA 的选择。

Pre-Norm Post-Norm 残差连接训练稳定性 LLaMA 1

深度学习:ResNet — 残差连接让百层网络成为可能

2026 年 08 月 16 日深度学习

理解"网络越深训练误差反而上升"的退化问题、恒等映射为何难以学习、残差连接 F(x)+x 的设计思想，以及捷径连接如何让梯度直达浅层

ResNet 残差连接恒等映射捷径连接深层网络