Classifier-Free Guidance(CFG)是扩散模型条件生成的标配引导技术:训练时随机丢弃条件、推理时外推混合条件与无条件两种预测,不借助任何额外分类器即可大幅提升条件控制力。

条件生成的核心问题

扩散模型的去噪网络学的不是数据本身,而是数据分布的得分函数 ——一个指向高密度区域的梯度场,其中 是加噪到第 步的样本(推导细节见 DDPM的数学原理推导)。条件生成任务(文生图、类别条件合成)需要的是它的条件版本:

其中 是条件信息(文本提示、类别标签等), 是对 求梯度的算子。读作:在条件 成立的前提下, 处指向更高数据密度的方向。

拿到这个条件得分,传统上有两条路线,各有硬伤。纯条件训练把 直接输入去噪网络 ( 为网络参数);分类器引导(Classifier Guidance, CG)则依赖一个额外的噪声图像分类器:

方法问题
纯条件训练将 直接输入网络 ,条件控制力不足,生成结果易偏离描述
分类器引导(CG)需额外训练分类器 并计算梯度 ,分类器在噪声图像上训练不稳定,增加系统复杂度

CFG 的出发点是贝叶斯分解。由贝叶斯定理:

其中 是似然, 是先验, 是条件 的边缘概率。两边取对数后对 求梯度—— 与 无关,梯度为零——得到得分分解:

读作:条件得分 = 无条件得分 + 条件修正项。前者指向数据分布的高密度区域,后者把结果进一步推向符合 的区域——而修正项 恰好是分类器引导要靠外部分类器估计的量。更完整的条件引导方法谱系见 扩散模型生成的条件引导。

CFG 的全部设计围绕一件事:不用分类器也能拿到这个修正项。训练时让同一个模型同时学会条件与无条件两种生成,推理时用两者之差做外推,放大条件影响。

CFG 引导公式

CFG 引入引导强度 (guidance scale),在无条件预测的基础上沿条件方向外推:

其中 表示空条件(条件置空), 即无条件预测噪声, 是修正后实际用于去噪的预测, 通常取 7.5~15。读作:拿无条件预测当基准,把「条件预测 − 无条件预测」这个差值放大 倍加回去——这个差值正是条件修正项在噪声预测空间的化身。

整理为线性组合形式:

即两种预测的加权组合, 时无条件一侧权重为负,组合变成向外推。 退化为纯条件预测(无引导); 强化条件方向,牺牲多样性换一致性; 压低条件影响,增加多样性。

训练机制

联合训练只多了一条规则:每个样本以概率 (通常 10%~20%)随机丢弃条件——保留条件时输入 ,丢弃时输入空条件,其余训练流程不变:

# 训练代码示意
def train_step(x_0, y):
    # 随机决定是否丢弃条件
    use_condition = torch.rand(1) > p_uncond  # p_uncond ≈ 0.1
    
    # 加噪
    t = sample_timestep()
    x_t = add_noise(x_0, t)
    
    # 条件输入
    if use_condition:
        cond = y  # 正常条件
    else:
        cond = null_embedding  # 空条件(null token 或特殊 embedding)
    
    # 预测噪声
    eps_pred = model(x_t, t, cond)
    
    # 损失
    loss = MSE(eps_pred, true_noise)
    return loss

无条件分支学到的不是噪声预测的退化版本,而是 的分布——所有数据的全局平均。有条件时模型聚焦特定类别或描述的分布,无条件时退回这个平均分布;两者共享同一网络,唯一区别是条件输入。全局平均正是推理时外推的锚点:没有它,条件预测朝哪个方向偏移就无从度量。

丢弃比例直接决定两个分支的质量平衡:

效果
0%(纯条件)CFG 无效,无法区分条件/无条件预测
10%~20%常用设置,平衡条件学习与无条件能力
50%无条件能力增强,但条件生成质量下降

推理机制与引导强度

推理的每个去噪步骤需要两次前向传播——条件一次、无条件一次,再按引导公式混合:

def cfg_denoise_step(x_t, t, y, w):
    # 条件预测
    eps_cond = model(x_t, t, y)
    
    # 无条件预测
    eps_uncond = model(x_t, t, null_embedding)
    
    # CFG 混合
    eps_guided = eps_uncond + w * (eps_cond - eps_uncond)
    
    # 去噪
    x_t_minus_1 = denoise(x_t, eps_guided, t)
    return x_t_minus_1

推理开销

CFG 让每步前向传播次数翻倍(条件 + 无条件),这是它唯一但固定的代价。

是推理期最核心的旋钮,直接控制一致性与多样性的交换:

值生成效果适用场景
1.0无引导,多样性高,一致性弱创意生成
7.5Stable Diffusion 默认值,平衡一致性与多样性通用生成
15~20强引导,高度忠实于提示,细节可能过度锐化精确控制
>30过度引导,可能出现伪影、失真不推荐

调参起点

简单提示从 起步;复杂或抽象提示提到 ;超写实需求可到 。出现过饱和、细节过度锐化就是 过高的信号,先降 再动其他参数。

与分类器引导对比

对照得分分解,CFG 公式可以改写为:

形式与分类器引导完全一致:外推项就是条件修正项 。区别在于 CFG 从不训练分类器——这个梯度信息隐含在条件与无条件预测的差值里,两次前向传播就是获取它的全部成本。

方面分类器引导(CG)CFG
额外组件需训练分类器 无需额外模型
训练复杂度需在噪声图像上训练分类器单模型联合训练
推理开销分类器梯度计算 + 条件预测2 次条件预测
引导强度梯度缩放因子引导系数
适用范围类别条件任意条件(文本、图像等)
稳定性噪声图像上分类器不稳定稳定,无额外噪声训练

CFG 的优势近乎全面:单模型训练、条件类型不受限(文本、图像、部分遮挡描述均可)、不用碰「在带噪图像上训分类器」这个天生不稳定的任务。代价集中且明确——推理 2 倍前向传播,加上无条件预测在极端噪声时刻可能质量下降。

实际应用

Stable Diffusion 暴露的 guidance_scale 参数就是 CFG 的 :

# Stable Diffusion 推理
pipe = StableDiffusionPipeline.from_pretrained("SD15")
image = pipe(
    prompt="a cat sitting on a table",
    guidance_scale=7.5,  # CFG w 参数
    num_inference_steps=50
)

prompt-to-image 场景下,条件分支输入文本 prompt 的 CLIP embedding,无条件分支输入空字符串(或特殊 null token)的 embedding——训练时随机丢弃条件的操作,正好对应推理时拿空 prompt 做无条件基准。图生图(image-to-image)任务中 CFG 同样成立:条件是文本 prompt 加初始图像强度 strength,无条件是空 prompt 加同一初始图像,条件差异只体现在文本侧,外推逻辑不变。

Negative prompt 即反向 CFG

Negative prompt 不是独立机制,而是把 CFG 外推同时作用于正、负两个条件。

它把「远离某条件」也建模成一次引导:

其中 、 分别是正向与负向提示对应的条件,、 是各自的引导强度。读作:正向提示照常外推,再沿负向提示的方向反向减去一份。实践中 positive prompt 描述目标内容,negative prompt 填要避开的东西(如 “blurry, low quality”),比单纯加大 控制得更精细。

总结

要点说明
核心公式
训练随机丢弃条件(10%~20%),联合训练条件与无条件路径
推理每步 2 次前向传播,混合条件与无条件预测
引导强度 无引导, 常用, 过度
优势无需额外分类器,适用任意条件,训练简单稳定

CFG 是 Stable Diffusion、DALL-E 2、Imagen 等现代扩散模型实现高质量条件生成的核心技术。「训练时丢弃、推理时外推」以最小的机制改动换来条件控制力的量级提升,是「以退为进」的工程范本。