← 全部标签

标签:位置编码

共 1 篇相关内容,按发布时间排列。

LLaMA(6):从正弦位置编码的问题走向 RoPE

回顾 Transformer 的正弦余弦位置编码,辨析相对位置、外推能力与内容位置耦合问题,并理解 LLaMA 为什么采用 RoPE。