← 全部标签

标签：LayerNorm

共 2 篇相关内容，按发布时间排列。

LLaMA（3）：RMSNorm 原理及其与 LayerNorm 的区别

2026 年 09 月 10 日 LLaMA

从中心化与尺度归一化出发，推导 RMSNorm 公式、性质和计算流程，并辨析它与 LayerNorm 的真正差异。

RMSNorm LayerNorm 归一化 LLaMA 1

Transformer（五）：Encoder、LayerNorm、残差与 FFN

2026 年 08 月 26 日 Transformer

把多头自注意力、残差连接、LayerNorm 和逐位置前馈网络组装成 Encoder Layer，并比较 Pre-LN 与 Post-LN。

Transformer Encoder LayerNorm Feed Forward Network Residual