吞吐优化的核心技术体系

多模态大模型训练的吞吐,很少是被某个慢算子卡死,更多是被三类”等待”磨掉的:等数据搬运、等小 GEMM 排队、等显存腾挪。对应的三项核心技术——Adaln Varlen Fuse、Modality-Aware Group GEMM、Multi-Stream Activation Offload——端到端收益分别 +10%、+20%、+33%。

训练多模态 Transformer 时,吞吐低的表现非常一致:SM 占用率忽高忽低,MFU 长期低位徘徊。原因通常不在某个单点慢,而在大量时间花在不产生 FLOPs 的事情上——同一份激活在显存里来回搬运、几十个微型 kernel 排队启动、因为 OOM 被迫砍 batch。这三类消耗分别对应本文的三项技术,它们共同的靶子只有一个:拉高 GPU 时间轴上”真正在算”的占比。

Adaln Varlen Fuse

一个 Transformer block 里,LayerNorm、缩放/偏移仿射、激活函数、残差加法是四个独立算子。单看每个都不慢,坏在它们全是访存受限(memory-bound)算子:各自把激活从 HBM 读一遍、写一遍,真正的乘加计算近乎免费。串行四趟读写,数据搬运时间远超计算时间——这就是内存墙的本体。未融合时还有第二层税:kernel 之间不共享寄存器,中间结果必须绕道显存;每次 kernel launch 附带微秒级的启动与调度开销,算子本身只跑几十微秒时,这笔固定成本占比相当可观。

Fuse 的做法是把归一化、仿射、激活、残差合并进单个 CUDA kernel:中间结果全程留在寄存器,激活只读写一趟,launch 只付一次。这里的 Adaln 指 LayerNorm 后接一组可学习的缩放/偏移参数,也就是 自适应层归一化 AdaLN——它出自扩散模型一系的条件注入设计,放到多模态场景的价值在于:视觉 token 与文本 token 的分布差异很大,模态感知的仿射参数能把两种分布拉回同一尺度,后续层不必独自适应这种漂移。Varlen 消灭的是另一种浪费:多模态 batch 的序列长度天然不齐,按最长 padding 会让短序列陪跑大量无效计算;VarLen 把 batch 重组成 packed 累加和格式,长度与 mask 信息并入 kernel,padding 计算直接消失。三件事合成一个 kernel,E2E 吞吐 +10%。

这套逻辑用 PyTorch 写出来很朴素:

class AdaLayerNorm(nn.Module):
    def __init__(self, dim: int, eps: float = 1e-6):
        super().__init__()
        self.eps = eps
        self.scale = nn.Parameter(torch.ones(1, 1, dim))
        self.shift = nn.Parameter(torch.zeros(1, 1, dim))
 
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        mean = x.mean(dim=-1, keepdim=True)
        var = x.var(dim=-1, keepdim=True, unbiased=False)
        x = (x - mean) / torch.sqrt(var + self.eps)
        return x * self.scale + self.shift

融合本身不需要手写 CUDA:torch.compile 的自动融合能吃掉大部分相邻 elementwise 链,FlashAttention-2 在 attention 侧干的是同一件事(IO 感知的算子融合),varlen mask 这类定制逻辑交给 Triton。

判断要不要融合:看算术强度

算术强度 = FLOPs / 访存字节数。低于 GPU 的平衡点就是访存受限,融合收益大;纯矩阵乘这类计算受限的算子,融合空间本来就小。

融合最大的坑在数值而非速度:单独算子时,var、eps、半精度中间态都走 PyTorch 的默认路径;融进一个 kernel 后计算顺序改变,bf16/fp16 下的误差路径也随之改变。上线前拿融合版本和 eager 路径对齐输出容差是绕不开的一步——融合得再快,训出来的 loss 不对就是白干。

Modality-Aware Group GEMM

GEMM 吃满 GPU 的前提是矩阵够大。Tensor Core 的峰值算力只有在 tile 数量足够、所有 SM 都有活干时才兑现:一次 的矩阵乘和八次 的小矩阵乘 FLOPs 相同,后者的利用率可能只剩几分之一——小矩阵切出的 tile 填不满一轮调度,尾部形成不平衡的 wave,闲置的 SM 就是纯粹的算力碎片。再叠加每小 GEMM 一次的 launch 开销与权重装载,小而多的矩阵乘是效率杀手。

MoE 与多模态恰好是小 GEMM 的重灾区。混合专家模型 MoE 里每个专家各持一份权重,router 把 token 分发过去,每个专家拿到的都是一小片 token,几十个专家就是几十个小矩阵乘;多模态模型更甚,不同模态各自走 projection 分支。Group GEMM 把这批小矩阵乘打包进一次 kernel:按模态/专家分组,同组共享分块与调度策略,形状一致的组可以直接 concat 权重退化成一次大 GEMM。“modality-aware” 的意义在于文本与图像 token 的长度分布、形状特征差异大,按模态分组才能给每组配最合适的 tile 策略。E2E 吞吐 +20%。

# 传统:N个专家 → N次小GEMM(低效)
outputs = [torch.matmul(x, e.weight) for e in experts]
 
# Group GEMM:合并为1次大GEMM(高效)
group_weights = torch.cat([e.weight for e in experts], dim=1)
group_out = torch.matmul(x, group_weights)
outputs = group_out.split(d_out, dim=-1)

工程上不必自己造轮子:Megatron 开 --moe-grouped-gemm,或直接用 DeepGEMM、CUTLASS 的 GroupGEMM 实现,这些实现已经按组内长度分布做了负载均衡。

分组别贪大

concat 出来的 group_weights 是一块临时大 buffer,组越大显存峰值越高。省下的 kernel 时间如果换成 OOM,就是负优化。

Multi-Stream Activation Offload

前两项优化”每一步跑多快”,这一项优化”一次能塞多少”。激活显存随 batch 和序列长度线性增长,OOM 之后唯一出路是砍 batch——batch 一小,GEMM 矩阵跟着变小,又掉回上一节的小矩阵低效问题(这笔账怎么估,见 显存估算)。打破死循环有两条经典路线:反向时重算激活,全量激活重计算 用一整次前向计算换掉全部激活显存,gradient checkpoint 把重算粒度切到 block 级、只存检查点,本质都是用计算换显存;offload 换的维度不同:激活照存,但搬到 CPU 内存,用 PCIe 带宽换显存容量。

offload 的代价是传输时间,而 CUDA stream 正是掩盖它的工具。stream 是异步执行队列,默认情况下计算与搬运串行——搬完再算、算完再搬;把传输放进独立 stream 后,计算流在算下一层时,传输流同时在搬上一层的激活,PCIe 传输被计算遮住,只要传输时间小于掩盖窗口,开销趋近于零。省下的显存直接兑现为 Batch Size 翻倍——矩阵变大、Tensor Core 吃满,+33% 的收益里有相当一部分来自这条正反馈:offload 本身不是让计算变快,而是解锁了让计算变快的空间。

from torch.utils.checkpoint import checkpoint
 
class TransformerBlock(nn.Module):
    def forward(self, x):
        return checkpoint(self._forward, x, use_reentrant=False)
 
# 多流重叠
stream_compute = torch.cuda.Stream()
stream_transfer = torch.cuda.Stream()
 
with torch.cuda.stream(stream_compute):
    out = self.block(x)
with torch.cuda.stream(stream_transfer):
    checkpoint_cpu = out.to('cpu', non_blocking=True)

代码里 non_blocking=True 是关键:.to('cpu') 立即返回,传输在后台流上走,调用线程继续推进计算。

待验证的两个细节

pageable 内存上 non_blocking=True 是否真异步——PyTorch 对非 pinned 内存可能走内部 staging 拷贝,等效同步;两条 stream 之间对同一块激活的读写依赖需要 event 显式同步,否则有竞态。这两点需要实测确认再定论。

技术对比

技术优化点收益适用场景
Adaln Varlen Fuse算子融合 + 变长计算+10%多模态 Transformer
Modality-Aware Group GEMM分组 GEMM + 模态调度+20%MoE、多分支模型
Multi-Stream Activation Offload重计算 + 显存卸载+33%,Batch Size 翻倍大模型、显存受限

落地优先级

顺序是 Offload → Group GEMM → Fuse。Activation Offload 是配置级改动,半天能见效,+33% 的收益性价比最高;Group GEMM 在多模态/MoE 架构下是必选项,框架已有现成实现,接入成本低;Adaln Varlen Fuse 收益相对最小,往往要手写 Triton,留到压榨最后一段性能时再做。背后的逻辑只有一条:按改动半径从小到大排,每一步的验证成本最低。

三项技术拆开看各管一段,合起来指向同一件事:吞吐优化的本质不是让某一步变快,而是消灭时间轴上的空洞——等访存、等 launch、等传输、等 OOM 逼出来的小 batch。先做配置级的 offload,再啃 kernel 级的融合与分组,把空洞填完,MFU 的水位才真正抬得起来。更完整的吞吐视角(并行策略、显存体系、推理侧优化)在 大模型吞吐优化 里展开。