← 全部标签

标签:Residual

共 1 篇相关内容,按发布时间排列。

Transformer(五):Encoder、LayerNorm、残差与 FFN

把多头自注意力、残差连接、LayerNorm 和逐位置前馈网络组装成 Encoder Layer,并比较 Pre-LN 与 Post-LN。