修正并扩展 ROPE.ipynb 的实验,用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。
标签:远程衰减
共 2 篇相关内容,按发布时间排列。
从多频率余弦和解释 RoPE 的远程衰减倾向,区分振荡、衰减包络与长度外推,并理解长上下文扩展的困难。
共 2 篇相关内容,按发布时间排列。
修正并扩展 ROPE.ipynb 的实验,用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。
从多频率余弦和解释 RoPE 的远程衰减倾向,区分振荡、衰减包络与长度外推,并理解长上下文扩展的困难。