← 全部标签

标签:远程衰减

共 2 篇相关内容,按发布时间排列。

LLaMA(11):用代码验证 RoPE 的远程衰减

修正并扩展 ROPE.ipynb 的实验,用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。

LLaMA(9):RoPE 对长距离和短距离依赖有什么区别?

从多频率余弦和解释 RoPE 的远程衰减倾向,区分振荡、衰减包络与长度外推,并理解长上下文扩展的困难。