标签：RoPE

辨析 RoPE 中“向量携带绝对相位”和“注意力分数只依赖相对位移”两个看似矛盾的结论。

修正并扩展 ROPE.ipynb 的实验，用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。

从多频率余弦和解释 RoPE 的远程衰减倾向，区分振荡、衰减包络与长度外推，并理解长上下文扩展的困难。

以课程 ROPE.ipynb 为主线，完成频率预计算、复数旋转、广播与 shape 检查，并验证范数和相对位置性质。

从二维旋转、复数乘法和块对角矩阵三种视角推导 RoPE，证明注意力分数中的位置项只依赖相对距离。

回顾 Transformer 的正弦余弦位置编码，辨析相对位置、外推能力与内容位置耦合问题，并理解 LLaMA 为什么采用 RoPE。

从输入、Decoder Block 到词表输出，理解 LLaMA 1 如何在原始 Transformer 基础上组合 Pre-Norm、RMSNorm、RoPE 与 SwiGLU。

从自注意力的排列等变性出发，推导正弦余弦位置编码、相对位置信息与正确 PyTorch 实现，并概览现代位置机制。