自注意力是置换不变的算子,位置信息必须从外部注入。注入方式只有三条路径——向量加法、注意力偏置、旋转乘法——十年间的方法演进本质上是在这三条路径上反复权衡外推性与表达力。本篇是位置编码子系统的总览与入口。
体系导航
七篇分篇按注入方式分组,建议顺序阅读;只关心工程落地的可直接跳到「旋转」与「多维」两组。
绝对
- 绝对位置编码 — 正弦函数与可学习嵌入:位置向量直接加到词向量上,最早也最简单的方案
相对
旋转
- 旋转位置编码(RoPE) — 复数旋转如何把绝对位置编码成相对位置函数,及其保范性质的证明
- RoPE 长度外推与插值 — PI / NTK-aware / Dynamic NTK / YaRN / LongRoPE,把 4K 上下文推到 128K+ 的全部手段
多维
- 3D RoPE — 通道维分组承载 T/H/W 三轴,视频 Transformer 的时空位置编码
- MRoPE 详细介绍 — Qwen2-VL 系的多模态 RoPE,让视觉 token 与文本 token 共享位置轴
置换不变性问题
自注意力的计算不含任何位置项:
对输入序列施加任意置换矩阵,输出只是同样被置换:。模型看到的是词袋而非序列,“猫追狗”与”狗追猫”完全等价。
CNN 靠卷积核的空间偏置、RNN 靠时序递归天然携带位置信息,Transformer 放弃了归纳偏置换取全局并行,代价就是必须显式补回位置。注意这与 注意力掩码 是两件事:掩码规定”能看到谁”,位置编码规定”看到的东西在哪”。
三类注入方式
位置信息只能从两个地方进入:表示层(改 的输入)或打分层(改 的结果)。
| 注入方式 | 作用位置 | 形式 | 代表 |
|---|---|---|---|
| 向量加法 | 表示层 | 绝对位置编码 | |
| 注意力偏置 | 打分层 | 相对位置编码、ALiBi | |
| 旋转乘法 | 表示层(保范) | 旋转位置编码(RoPE) |
加法最直接但把位置与语义混在同一向量空间,位置向量占用了本该属于语义的容量,且训练外的位置无定义。
偏置把位置降级为一个标量修正项,不干扰语义空间,天然编码相对距离,代价是每层每头都要构造的偏置矩阵。
旋转是加法与偏置的综合:作用在表示层却等价于打分层的相对位置函数,因为旋转矩阵满足。它保持向量范数不变,不消耗语义容量,这是 RoPE 成为 LLM 事实标准的根本原因。
设计原则
- 唯一性——每个位置有可区分的编码。可学习嵌入天然满足;正弦编码靠多频率组合保证。
- 相对位置感知——注意力应当只关心 token 间的距离,而非它们在序列中的绝对坐标。语言的局部结构(修饰、指代、共现)是平移不变的。
- 外推性——推理序列长于训练长度时性能不崩。这是长上下文的核心瓶颈,也是绝对编码的死穴。
- 计算与缓存效率——是否需要显式矩阵、是否兼容 KV Cache 与 FlashAttention。相对位置编码的 bucket 查表在长序列上成本显著,ALiBi 与 RoPE 都可融进 kernel。
四者存在张力:绝对可学习编码表达力最强但外推为零;ALiBi 外推最好但牺牲了远距离建模能力(远处偏置趋于);RoPE 在两端取得平衡,代价是需要额外的插值手段才能真正外推。
与注意力结构的耦合
位置编码不是可以随意替换的插件,它与注意力的实现细节深度绑定。
与 kernel 的兼容性:加法式绝对编码在进入 attention 之前就完成,对 FlashAttention 完全透明;显式偏置矩阵却与分块计算冲突,必须改写成可按块生成的解析形式(ALiBi 的线性斜率恰好满足,T5 的分桶查表则需要额外处理)。
与 KV Cache 的交互:RoPE 作用在 上,缓存的是已旋转的 ,位置一旦写入不可撤销。这个约束在压缩 KV 时会变成真问题——从 MHA 到 MLA 中 MLA 把 KV 压成低秩潜向量,而 RoPE 的位置相关旋转破坏了低秩分解的可交换性,DeepSeek 的解法是把维度拆成”压缩部分 + 独立携带 RoPE 部分”,这是位置编码反过来约束架构设计的典型案例。缓存机制本身见 KV Cache。
与稀疏化的叠加:长上下文往往同时上插值与稀疏注意力,两者都在改变 token 间的有效距离分布。稀疏注意力 的滑动窗口会让远距离位置几乎不被采样,此时激进的频率缩放收益有限。
顺带一提,这一整套讨论只对序列位置成立。CNN 领域的 CBAM(Convolutional Block Attention Module)注意力机制 之类通道/空间注意力不需要位置编码——卷积的感受野已经隐含了空间结构。
方法谱系
| 方法 | 年份 | 类别 | 一句话 |
|---|---|---|---|
| 正弦绝对编码 | 2017 | 加法 | 多频率三角函数,无参数,理论可外推但实测退化 |
| 可学习绝对编码 | 2018 | 加法 | 位置当作词表查嵌入,简单有效,硬截断于max_len |
| Transformer-XL | 2019 | 偏置 | 把展开成四项,引入相对位置项与全局偏置 |
| T5 relative bias | 2019 | 偏置 | 相对距离分桶映射到可学习标量,对数分桶实现远距离共享 |
| DeBERTa | 2020 | 偏置 | 内容与位置解耦成两套向量,双向注意力交叉计算 |
| ALiBi | 2021 | 偏置 | 每头一个固定斜率的线性惩罚,零参数、直接外推数倍长度 |
| RoPE | 2021 | 旋转 | 复数旋转把绝对位置编成相对位置函数,LLaMA/Qwen/GLM 全系采用 |
| PI / NTK / YaRN | 2023 | 旋转+插值 | 缩放或分频调整 RoPE 频率,把上下文从 4K 推到 128K+ |
| 3D RoPE | 2024 | 多维旋转 | 通道维分组承载 T/H/W 三轴,视频 Transformer 的时空编码 |
| MRoPE | 2024 | 多维旋转 | 文本与图像共享位置轴,多模态对齐 |
三条演进主线:从绝对到相对(2017→2019)确立了距离比坐标更重要;从表示层到打分层再回到保范旋转(2019→2021)解决了位置与语义争抢容量的问题;从一维到多维(2024→)把位置编码推广到图像与视频的多轴结构。
选型速查
| 场景 | 推荐 | 理由 |
|---|---|---|
| 短序列 encoder(分类、NER、检索) | 可学习绝对编码 | 长度固定且已知,表达力最强,实现最简 |
| 判别式预训练模型 | DeBERTa 式解耦偏置 | 双向注意力下相对偏置收益明显 |
| 长上下文 LLM | RoPE + 插值 | 生态默认,配合 RoPE 长度外推与插值 可扩到百 K 级 |
| 训练短、推理长且不愿改动 | ALiBi | 零参数直接外推,但远距离检索能力弱 |
| 视频 / 时空序列 | 3D RoPE | 时间与空间轴独立编码,相对关系在各轴分别成立 |
| 图文多模态 | MRoPE 详细介绍 | 视觉 token 与文本 token 位置对齐,避免位置错位 |
实践中的默认答案是 RoPE:新训 LLM 直接用,已有模型扩上下文走插值路线。ALiBi 的价值在于零成本外推的兜底方案,绝对编码仍是短序列判别任务的最优解——不要为了”先进”给 BERT 规模的分类器换上 RoPE。
本目录整体地图见 注意力机制 MOC。