标签：Sinusoidal Encoding

回顾 Transformer 的正弦余弦位置编码，辨析相对位置、外推能力与内容位置耦合问题，并理解 LLaMA 为什么采用 RoPE。

从自注意力的排列等变性出发，推导正弦余弦位置编码、相对位置信息与正确 PyTorch 实现，并概览现代位置机制。