旋转位置编码（Rotary Position Embedding, RoPE）

RoPE 通过旋转矩阵将位置信息编码到向量方向，使注意力分数天然包含相对位置信息。

核心公式

$⟨ RoPE (q_{m}, m), RoPE (k_{n}, n)⟩ = g (q, k, n - m)$

旋转后的点积仅依赖相对位置 $n - m$ 。

$θ_{i} = 1000 0^{- 2 i / d}, i \in [0, d /2 - 1]$

$R_{m}^{(i)} = [cos m θ_{i} sin m θ_{i} - sin m θ_{i} cos m θ_{i}]$

$[q_{m, 2 i}^{'} q_{m, 2 i + 1}^{'}] = [q_{2 i} cos m θ_{i} - q_{2 i + 1} sin m θ_{i} q_{2 i} sin m θ_{i} + q_{2 i + 1} cos m θ_{i}]$

$q_{m}^{⊤} k_{n} = q^{⊤} R_{m}^{⊤} R_{n} k = q^{⊤} R_{n - m} k$

由旋转矩阵正交性 $R_{m}^{⊤} R_{n} = R_{n - m}$ 。