以课程 ROPE.ipynb 为主线,完成频率预计算、复数旋转、广播与 shape 检查,并验证范数和相对位置性质。
标签:复数
共 2 篇相关内容,按发布时间排列。
从二维旋转、复数乘法和块对角矩阵三种视角推导 RoPE,证明注意力分数中的位置项只依赖相对距离。
共 2 篇相关内容,按发布时间排列。
以课程 ROPE.ipynb 为主线,完成频率预计算、复数旋转、广播与 shape 检查,并验证范数和相对位置性质。
从二维旋转、复数乘法和块对角矩阵三种视角推导 RoPE,证明注意力分数中的位置项只依赖相对距离。