标签：长上下文

区分放得下与用得好，解释幻觉、重复、记忆衰退，并建立检索、验证与状态管理的处理思路。

从多频率余弦和解释 RoPE 的远程衰减倾向，区分振荡、衰减包络与长度外推，并理解长上下文扩展的困难。

回顾 Transformer 的正弦余弦位置编码，辨析相对位置、外推能力与内容位置耦合问题，并理解 LLaMA 为什么采用 RoPE。