注意力机制 MOC

注意力机制体系地图：从因果掩码与位置编码的结构先验，到 MLA 低秩压缩与稀疏注意力的效率革命。

基础与掩码

• 注意力机制 — QKV 软寻址通俗解释、发明史脉络、变体总览导航
• 注意力掩码 — padding mask / causal mask / 组合使用：对注意力分布施加先验约束

位置编码

• 位置编码 — 子系统总览与导航：注入方式、设计原则、方法谱系
• 绝对位置编码 — 正弦编码与可学习编码：公式、性质与局限
• 相对位置编码 — Transformer-XL 四项分解、T5 bucket、DeBERTa 解耦注意力
• ALiBi — 注意力分数线性偏置，免训练外推
• 旋转位置编码（RoPE） — 复数旋转推导与相对位置性质证明
• RoPE 长度外推与插值 — PI、NTK-aware、YaRN、LongRoPE 演进全景
• 3D RoPE — 视频 Transformer 的 T/H/W 时空位置编码
• MRoPE 详细介绍 — 多模态统一位置建模（Qwen2-VL 系，位于 Multimodal/VLM 目录）

头结构演进

• 从 MHA 到 MLA — MQA、GQA 到 DeepSeek 多头潜在注意力：低秩压缩与 RoPE 解耦

稀疏注意力

• 稀疏注意力 — 滑动窗口到 NSA、DSA：DeepSeek 长上下文效率路线

系统与算子效率

• FlashAttention — 分块计算与在线 Softmax 的 IO 感知注意力
• KV Cache — KV 缓存原理与推理优化

视觉注意力

• CBAM（Convolutional Block Attention Module）注意力机制 — CNN 的通道与空间注意力