绝对位置编码为序列中每个位置分配唯一向量，弥补自注意力机制的位置无关性。

核心概念

绝对位置编码（APE）通过加法注入位置信息：

$$X_{pos} = E_{word} + P_{pos}$$

其中 $P_{pos} \in \mathbb{R}^d$ 为第 $pos$ 个位置的编码向量。

技术演进

正弦/余弦编码公式

$$P_{(pos, 2i)} = \sin(pos / 10000^{2i/d})$$

$$P_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d})$$

• $pos$：位置索引
• $i$：维度索引
• $d$：编码维度

优缺点对比