RoPE 旋转位置编码 · 完整笔记

摘要

RoPE 用位置 m 旋转 query、位置 n 旋转 key,点积后绝对位置抵消,只剩相对距离 (n−m)。按「是什么 → 为什么 → 怎么做 → 局限与现状」整理,含正交矩阵、分块对角与频率表推导。

整理自本次会话,按”是什么 → 为什么 → 怎么做 → 局限与现状”的逻辑组织。


0. 一句话总览

RoPE 把”位置”变成”旋转角度”:用位置 (m) 去旋转 query、用位置 (n) 去旋转 key,二者点积后绝对位置抵消,只剩相对距离 ((n-m))。它之所以成立,是因为几何旋转这一对象天然自带正交性、正余弦元素、角度可加、保内积四重性质,而这四重性质恰好就是位置编码需要的全部。


1. 核心机制:绝对位置如何变成相对位置

1.1 操作流程(不是 q、k “自己转”)

  1. 模型正常算出 (q_m)、(k_n)(长度任意,无位置信息);
  2. RoPE 人为拨动:按位置 (m) 把 (q_m) 旋转 (m\theta),按位置 (n) 把 (k_n) 旋转 (n\theta);
  3. 用旋转后的 (q_m’=R(m\theta)q_m)、(k_n’=R(n\theta)k_n) 做点积。

“旋转”是外部乘旋转矩阵,不是向量内在属性。站在位置 5 的箭头拨 5 格,位置 8 拨 8 格——是人拨的。

1.2 推导链(关键三步)

[
(q_m’)^T k_n’ = q_m^T R(m\theta)^T R(n\theta) k_n
]

  • 性质一(转置=反向转):(R(\alpha)^T = R(-\alpha))
  • 性质二(角度可加):(R(\alpha)R(\beta)=R(\alpha+\beta))

代入:
[
= q_m^T R(-m\theta)R(n\theta)k_n = q_m^T, R\big((n-m)\theta\big), k_n
]

绝对位置 (m,n) 消失,只剩相对距离 (n-m)。

1.3 对 (R((n-m)\theta)) 的理解

[
R((n-m)\theta)=\begin{pmatrix}\cos((n-m)\theta) & -\sin((n-m)\theta)\ \sin((n-m)\theta) & \cos((n-m)\theta)\end{pmatrix}
]

  • (n=m):角度 0,(R=I),退回纯内容相似度(同位置不加偏置);
  • (n\neq m):按距离转,距离越大调制越明显;
  • 符号有意义:(n>m) 与 (n<m) 转向相反,模型能区分”前/后”;
  • 写成 (R((m-n)\theta)) 只是差个负号((R(-\alpha)=R(\alpha)^T)),结构一样,关键必须是 (m,n) 的差。

2. 为什么选正交矩阵

2.1 正交矩阵与标准正交基

  • 标准正交基:两两垂直((ei^Te_j=0))且长度为一((e_i^Te_i=1)),即 (e_i^Te_j=\delta{ij})。
  • 好处:分解与求坐标只需点积((v_i=e_i^Tv)),无需解方程,无冗余、数值稳定。
  • 正交矩阵 = 列构成标准正交基的矩阵,满足 (R^TR=I)。

2.2 选它的三层理由

  1. 保长度、保夹角(保内积):((Ru)^T(Rv)=u^Tv),位置编码只该”挪方向”,不该篡改内容相似度;
  2. 可逆、不丢信息:(R^{-1}=R^T) 恒存在;若 (Rv=Rw) 则 (v=w);行列式 ±1,体积不被压成 0;
  3. 让绝对位置能抵消:正因为 (R^T=R(-\cdot)) 与角度可加,才能化简出 (R((n-m)\theta))——换非正交矩阵,相对位置性质就没了。

2.3 为什么逆=转置(几何意义)

(R^TR=I) 直接给出 (R^{-1}=R^T)。几何上:正交变换是”保长度保夹角的刚体运动”,转多少反着转同样多就回来;而转置恰好对应”反向操作”((R(\alpha)^T=R(-\alpha)))。“沿对角线翻折矩阵”≡“反向执行变换”。

2.4 为什么 R 长这样(正余弦是必然)

要求:保长度保夹角(列标准正交)+ 不翻面(行列式 +1)+ 能用连续角度参数描述 + 角度可加。四条一约束,形式唯一确定为 (\begin{pmatrix}\cos\alpha & -\sin\alpha\ \sin\alpha & \cos\alpha\end{pmatrix})。

  • 验证:(e_1=(1,0)\mapsto(\cos\alpha,\sin\alpha)),(e_2=(0,1)\mapsto(-\sin\alpha,\cos\alpha)),正是”逆时针转 (\alpha)”。
  • (\sin,\cos) 不是被挑中的,而是”连续旋转+角度可加”逼出的唯一形式。

2.5 澄清:“初始都是单位向量”是误解

  • RoPE 不要求 q、k 是单位向量,它们长度任意;旋转是正交的,只保长度不变,不把向量变成单位向量。
  • “单位向量”印象来自:旋转矩阵的列是单位向量(正交矩阵列构成标准正交基),不是被旋转的 q、k。

2.6 四件事其实是一件事

观察到的性质几何来源代数表现
正交、转置=逆旋转不改变长度和夹角(R^TR=I)
元素是正余弦单位圆上随角度连续转动(\cos\alpha,\sin\alpha)
角度可累加转两次=转总角度(R(\alpha)R(\beta)=R(\alpha+\beta))
几何旋转意义平面刚体转动保内积、行列式 +1

选”旋转”这一个几何对象,就自动获得这四副面孔。


3. 高维如何落地:分块对角 + 多频率”小表盘”

3.1 为什么两两配对

高维向量不能直接”转一个角度”,RoPE 把它切成 (d/2) 个二维子空间,每两个相邻维度配一对,各自在二维平面里转。旋转矩阵是分块对角的:
[
R=\begin{pmatrix}R(\theta_1) & & \ & R(\theta_2) & \ & & \ddots\end{pmatrix}
]
空白处为 0 → 各对独立旋转,对与对之间不混合。

3.2 点积为什么自动拆成”每对各自点积之和”

  • 点积本身是逐维相乘再相加:(u^Tv=\sum_i u_iv_i),可重组为按对求和;
  • RoPE 的分块对角保证”配对一致、对间不混合”;
  • 两者结构对齐,点积塌缩为:
    [
    (q’)^Tk’=\sum{j=1}^{d/2}\begin{pmatrix}q{2j-1}\q{2j}\end{pmatrix}^T R\big((n-m)\theta_j\big)\begin{pmatrix}k{2j-1}\k_{2j}\end{pmatrix}
    ]
    每对贡献一个”用相对距离和该对频率算出的二维旋转点积”,再全部相加。

3.3 频率表 (\theta_i=10000^{-2i/d})

  • (i=0):(\theta_0=1) 最大,转最快;
  • (i) 增大:单调下降趋近 0,转最慢;
  • 取值 ≤1,(i) 大趋近 0(观察正确)。
  • “快慢”= 单位位置变化引起的角度变化量:快→对近距离敏感;慢→只在远距离显差异。
  • 顺序”前快后慢”是实现约定,关键是频率覆盖从 1 到近 0 的宽范围,形成多尺度;反过来排也等价。

3.4 正确理解”快慢分工”(重要纠正)

  • ✅ 正确:高频维度分辨距离小的相对位置,低频维度分辨距离大的相对位置;按距离尺度分工。
  • ❌ 错误:低频维度”专门学序列后段的 token”。RoPE 只依赖 ((n-m)),与绝对位置无关——跟谁是序列前段/后段无关,只跟”两 token 相隔多远”有关。
  • 序列变长时不是”切换到后面维度”,而是所有维度都要在更大距离范围工作,低频维度承担更多长程区分——这正是外推问题的根源。

4. 与加性位置编码的对比(耦合问题)

  • 老办法(加性):(x_i’=x_i+p_i),位置”加”进内容,点积展开出现 (x_i^Tp_j)、(p_i^Tx_j) 交叉项,内容与位置纠缠。
  • RoPE(乘性):位置”转”上去,点积后绝对位置抵消,避免了加性交叉项,更干净。
  • 但 RoPE 并未彻底解耦:旋转仍作用在内容上,角度由位置定,无法区分”哪部分是纯内容、哪部分是纯位置”。“位置与内容彻底解耦”仍是研究前沿(如 PoPE/Decoupled RoPE 等工作)。

5. 长上下文的两个痛点与主流做法

5.1 你担心的两点

  1. “稀释”:需分两层——softmax 在长序列下趋于均匀是注意力固有倾向(与 RoPE 无关);而 RoPE 低频维度在训练长度外”失活”、未被充分利用,是确实存在的现象。
  2. “外推”:RoPE 不天然具备外推能力。低频表盘训练时只转了一点点,推理时位置远超训练范围 → 相位”失控” → 注意力崩溃。

5.2 主流做法(2026 现状)

  • 基座模型:RoPE 是事实标准(Llama、Qwen、Mistral、DeepSeek 等)。
  • 长上下文扩展:普遍用 YaRN / NTK-aware 类频率重映射——
    • 位置插值(PI):把长位置压回训练范围,简单但牺牲近距离分辨率;
    • NTK-aware / YaRN:对快慢表盘区别对待(高频保精度、低频做缩放/插值),YaRN 还调注意力温度,可用少 10 倍 token 完成扩展;
    • Dynamic NTK:推理时零训练动态扩展。
  • 学术前沿(未成主流):Hamiltonian Attention(针对”傅里叶壁垒”)、PoPE(解耦内容与位置)等。
  • 内在权衡:调低基值改善外推但损长距离语义区分;调高基值保局部精度但低频趋近恒等映射——没有免费午餐。

改进 RoPE 几乎都改”频率表怎么设”,很少动”旋转”骨架——因为骨架已把该给的性质都给全了。


6. 关键结论速记

  1. RoPE = 用位置旋转 q、k;点积后绝对位置抵消,只剩 ((n-m))。
  2. 抵消靠两条性质:转置=反向转、角度可加。
  3. 选正交矩阵 = 选几何旋转,自动获得保内积、可逆、不丢信息、数值稳定。
  4. 正余弦元素是”连续旋转+角度可加”的唯一形式,不是巧合。
  5. 高维靠分块对角切成二维对,点积自然拆成”每对二维点积之和”。
  6. 频率 (10000^{-2i/d}) 前快后慢,按距离尺度分工,不是按序列位置前后分工。
  7. RoPE 比加性编码干净,但未彻底解耦内容与位置。
  8. 外推是 RoPE 短板,主流靠 YaRN/NTK 频率重映射缓解,代价是精度与范围的权衡。

相关笔记