标签：SwiGLU

从输入、Decoder Block 到词表输出，理解 LLaMA 1 如何在原始 Transformer 基础上组合 Pre-Norm、RMSNorm、RoPE 与 SwiGLU。