← 全部标签

标签:旋转矩阵

共 1 篇相关内容,按发布时间排列。

LLaMA(7):RoPE 如何捕获向量之间的相对位置

从二维旋转、复数乘法和块对角矩阵三种视角推导 RoPE,证明注意力分数中的位置项只依赖相对距离。