← 全部标签

标签:Decoder-only

共 1 篇相关内容,按发布时间排列。

LLaMA(2):LLaMA 1 的整体架构与四项关键改进

从输入、Decoder Block 到词表输出,理解 LLaMA 1 如何在原始 Transformer 基础上组合 Pre-Norm、RMSNorm、RoPE 与 SwiGLU。