RoPE 旋转位置编码 · 完整笔记
摘要
RoPE 用位置 m 旋转 query、位置 n 旋转 key,点积后绝对位置抵消,只剩相对距离 (n−m)。按「是什么 → 为什么 → 怎么做 → 局限与现状」整理,含正交矩阵、分块对角与频率表推导。
整理自本次会话,按”是什么 → 为什么 → 怎么做 → 局限与现状”的逻辑组织。
0. 一句话总览
RoPE 把”位置”变成”旋转角度”:用位置 (m) 去旋转 query、用位置 (n) 去旋转 key,二者点积后绝对位置抵消,只剩相对距离 ((n-m))。它之所以成立,是因为几何旋转这一对象天然自带正交性、正余弦元素、角度可加、保内积四重性质,而这四重性质恰好就是位置编码需要的全部。
1. 核心机制:绝对位置如何变成相对位置
1.1 操作流程(不是 q、k “自己转”)
- 模型正常算出 (q_m)、(k_n)(长度任意,无位置信息);
- RoPE 人为拨动:按位置 (m) 把 (q_m) 旋转 (m\theta),按位置 (n) 把 (k_n) 旋转 (n\theta);
- 用旋转后的 (q_m’=R(m\theta)q_m)、(k_n’=R(n\theta)k_n) 做点积。
“旋转”是外部乘旋转矩阵,不是向量内在属性。站在位置 5 的箭头拨 5 格,位置 8 拨 8 格——是人拨的。
1.2 推导链(关键三步)
[
(q_m’)^T k_n’ = q_m^T R(m\theta)^T R(n\theta) k_n
]
- 性质一(转置=反向转):(R(\alpha)^T = R(-\alpha))
- 性质二(角度可加):(R(\alpha)R(\beta)=R(\alpha+\beta))
代入:
[
= q_m^T R(-m\theta)R(n\theta)k_n = q_m^T, R\big((n-m)\theta\big), k_n
]
绝对位置 (m,n) 消失,只剩相对距离 (n-m)。
1.3 对 (R((n-m)\theta)) 的理解
[
R((n-m)\theta)=\begin{pmatrix}\cos((n-m)\theta) & -\sin((n-m)\theta)\ \sin((n-m)\theta) & \cos((n-m)\theta)\end{pmatrix}
]
- (n=m):角度 0,(R=I),退回纯内容相似度(同位置不加偏置);
- (n\neq m):按距离转,距离越大调制越明显;
- 符号有意义:(n>m) 与 (n<m) 转向相反,模型能区分”前/后”;
- 写成 (R((m-n)\theta)) 只是差个负号((R(-\alpha)=R(\alpha)^T)),结构一样,关键必须是 (m,n) 的差。
2. 为什么选正交矩阵
2.1 正交矩阵与标准正交基
- 标准正交基:两两垂直((ei^Te_j=0))且长度为一((e_i^Te_i=1)),即 (e_i^Te_j=\delta{ij})。
- 好处:分解与求坐标只需点积((v_i=e_i^Tv)),无需解方程,无冗余、数值稳定。
- 正交矩阵 = 列构成标准正交基的矩阵,满足 (R^TR=I)。
2.2 选它的三层理由
- 保长度、保夹角(保内积):((Ru)^T(Rv)=u^Tv),位置编码只该”挪方向”,不该篡改内容相似度;
- 可逆、不丢信息:(R^{-1}=R^T) 恒存在;若 (Rv=Rw) 则 (v=w);行列式 ±1,体积不被压成 0;
- 让绝对位置能抵消:正因为 (R^T=R(-\cdot)) 与角度可加,才能化简出 (R((n-m)\theta))——换非正交矩阵,相对位置性质就没了。
2.3 为什么逆=转置(几何意义)
(R^TR=I) 直接给出 (R^{-1}=R^T)。几何上:正交变换是”保长度保夹角的刚体运动”,转多少反着转同样多就回来;而转置恰好对应”反向操作”((R(\alpha)^T=R(-\alpha)))。“沿对角线翻折矩阵”≡“反向执行变换”。
2.4 为什么 R 长这样(正余弦是必然)
要求:保长度保夹角(列标准正交)+ 不翻面(行列式 +1)+ 能用连续角度参数描述 + 角度可加。四条一约束,形式唯一确定为 (\begin{pmatrix}\cos\alpha & -\sin\alpha\ \sin\alpha & \cos\alpha\end{pmatrix})。
- 验证:(e_1=(1,0)\mapsto(\cos\alpha,\sin\alpha)),(e_2=(0,1)\mapsto(-\sin\alpha,\cos\alpha)),正是”逆时针转 (\alpha)”。
- (\sin,\cos) 不是被挑中的,而是”连续旋转+角度可加”逼出的唯一形式。
2.5 澄清:“初始都是单位向量”是误解
- RoPE 不要求 q、k 是单位向量,它们长度任意;旋转是正交的,只保长度不变,不把向量变成单位向量。
- “单位向量”印象来自:旋转矩阵的列是单位向量(正交矩阵列构成标准正交基),不是被旋转的 q、k。
2.6 四件事其实是一件事
| 观察到的性质 | 几何来源 | 代数表现 |
|---|---|---|
| 正交、转置=逆 | 旋转不改变长度和夹角 | (R^TR=I) |
| 元素是正余弦 | 单位圆上随角度连续转动 | (\cos\alpha,\sin\alpha) |
| 角度可累加 | 转两次=转总角度 | (R(\alpha)R(\beta)=R(\alpha+\beta)) |
| 几何旋转意义 | 平面刚体转动 | 保内积、行列式 +1 |
选”旋转”这一个几何对象,就自动获得这四副面孔。
3. 高维如何落地:分块对角 + 多频率”小表盘”
3.1 为什么两两配对
高维向量不能直接”转一个角度”,RoPE 把它切成 (d/2) 个二维子空间,每两个相邻维度配一对,各自在二维平面里转。旋转矩阵是分块对角的:
[
R=\begin{pmatrix}R(\theta_1) & & \ & R(\theta_2) & \ & & \ddots\end{pmatrix}
]
空白处为 0 → 各对独立旋转,对与对之间不混合。
3.2 点积为什么自动拆成”每对各自点积之和”
- 点积本身是逐维相乘再相加:(u^Tv=\sum_i u_iv_i),可重组为按对求和;
- RoPE 的分块对角保证”配对一致、对间不混合”;
- 两者结构对齐,点积塌缩为:
[
(q’)^Tk’=\sum{j=1}^{d/2}\begin{pmatrix}q{2j-1}\q{2j}\end{pmatrix}^T R\big((n-m)\theta_j\big)\begin{pmatrix}k{2j-1}\k_{2j}\end{pmatrix}
]
每对贡献一个”用相对距离和该对频率算出的二维旋转点积”,再全部相加。
3.3 频率表 (\theta_i=10000^{-2i/d})
- (i=0):(\theta_0=1) 最大,转最快;
- (i) 增大:单调下降趋近 0,转最慢;
- 取值 ≤1,(i) 大趋近 0(观察正确)。
- “快慢”= 单位位置变化引起的角度变化量:快→对近距离敏感;慢→只在远距离显差异。
- 顺序”前快后慢”是实现约定,关键是频率覆盖从 1 到近 0 的宽范围,形成多尺度;反过来排也等价。
3.4 正确理解”快慢分工”(重要纠正)
- ✅ 正确:高频维度分辨距离小的相对位置,低频维度分辨距离大的相对位置;按距离尺度分工。
- ❌ 错误:低频维度”专门学序列后段的 token”。RoPE 只依赖 ((n-m)),与绝对位置无关——跟谁是序列前段/后段无关,只跟”两 token 相隔多远”有关。
- 序列变长时不是”切换到后面维度”,而是所有维度都要在更大距离范围工作,低频维度承担更多长程区分——这正是外推问题的根源。
4. 与加性位置编码的对比(耦合问题)
- 老办法(加性):(x_i’=x_i+p_i),位置”加”进内容,点积展开出现 (x_i^Tp_j)、(p_i^Tx_j) 交叉项,内容与位置纠缠。
- RoPE(乘性):位置”转”上去,点积后绝对位置抵消,避免了加性交叉项,更干净。
- 但 RoPE 并未彻底解耦:旋转仍作用在内容上,角度由位置定,无法区分”哪部分是纯内容、哪部分是纯位置”。“位置与内容彻底解耦”仍是研究前沿(如 PoPE/Decoupled RoPE 等工作)。
5. 长上下文的两个痛点与主流做法
5.1 你担心的两点
- “稀释”:需分两层——softmax 在长序列下趋于均匀是注意力固有倾向(与 RoPE 无关);而 RoPE 低频维度在训练长度外”失活”、未被充分利用,是确实存在的现象。
- “外推”:RoPE 不天然具备外推能力。低频表盘训练时只转了一点点,推理时位置远超训练范围 → 相位”失控” → 注意力崩溃。
5.2 主流做法(2026 现状)
- 基座模型:RoPE 是事实标准(Llama、Qwen、Mistral、DeepSeek 等)。
- 长上下文扩展:普遍用 YaRN / NTK-aware 类频率重映射——
- 位置插值(PI):把长位置压回训练范围,简单但牺牲近距离分辨率;
- NTK-aware / YaRN:对快慢表盘区别对待(高频保精度、低频做缩放/插值),YaRN 还调注意力温度,可用少 10 倍 token 完成扩展;
- Dynamic NTK:推理时零训练动态扩展。
- 学术前沿(未成主流):Hamiltonian Attention(针对”傅里叶壁垒”)、PoPE(解耦内容与位置)等。
- 内在权衡:调低基值改善外推但损长距离语义区分;调高基值保局部精度但低频趋近恒等映射——没有免费午餐。
改进 RoPE 几乎都改”频率表怎么设”,很少动”旋转”骨架——因为骨架已把该给的性质都给全了。
6. 关键结论速记
- RoPE = 用位置旋转 q、k;点积后绝对位置抵消,只剩 ((n-m))。
- 抵消靠两条性质:转置=反向转、角度可加。
- 选正交矩阵 = 选几何旋转,自动获得保内积、可逆、不丢信息、数值稳定。
- 正余弦元素是”连续旋转+角度可加”的唯一形式,不是巧合。
- 高维靠分块对角切成二维对,点积自然拆成”每对二维点积之和”。
- 频率 (10000^{-2i/d}) 前快后慢,按距离尺度分工,不是按序列位置前后分工。
- RoPE 比加性编码干净,但未彻底解耦内容与位置。
- 外推是 RoPE 短板,主流靠 YaRN/NTK 频率重映射缓解,代价是精度与范围的权衡。
相关笔记
- LLM 与 Transformer 底层原理与架构演进总纲 — Transformer / LLM 原理总纲
- transformer架构和自注意力机制 — 自注意力与位置编码基础
- DeepSeek-MLA满秩高熵应对 — RoPE 与 MLA / KV 缓存的关联
- AI 大模型 MOC — 返回 AI 大模型内容地图