Classifier-Free Guidance(CFG)是扩散模型条件生成的标配引导技术:训练时随机丢弃条件、推理时外推混合条件与无条件两种预测,不借助任何额外分类器即可大幅提升条件控制力。
条件生成的核心问题
扩散模型的去噪网络学的不是数据本身,而是数据分布的得分函数 ——一个指向高密度区域的梯度场,其中 是加噪到第 步的样本(推导细节见 DDPM的数学原理推导)。条件生成任务(文生图、类别条件合成)需要的是它的条件版本:
其中 是条件信息(文本提示、类别标签等), 是对 求梯度的算子。读作:在条件 成立的前提下, 处指向更高数据密度的方向。
拿到这个条件得分,传统上有两条路线,各有硬伤。纯条件训练把 直接输入去噪网络 ( 为网络参数);分类器引导(Classifier Guidance, CG)则依赖一个额外的噪声图像分类器:
| 方法 | 问题 |
|---|---|
| 纯条件训练 | 将 直接输入网络 ,条件控制力不足,生成结果易偏离描述 |
| 分类器引导(CG) | 需额外训练分类器 并计算梯度 ,分类器在噪声图像上训练不稳定,增加系统复杂度 |
CFG 的出发点是贝叶斯分解。由贝叶斯定理:
其中 是似然, 是先验, 是条件 的边缘概率。两边取对数后对 求梯度—— 与 无关,梯度为零——得到得分分解:
读作:条件得分 = 无条件得分 + 条件修正项。前者指向数据分布的高密度区域,后者把结果进一步推向符合 的区域——而修正项 恰好是分类器引导要靠外部分类器估计的量。更完整的条件引导方法谱系见 扩散模型生成的条件引导。
CFG 的全部设计围绕一件事:不用分类器也能拿到这个修正项。训练时让同一个模型同时学会条件与无条件两种生成,推理时用两者之差做外推,放大条件影响。
CFG 引导公式
CFG 引入引导强度 (guidance scale),在无条件预测的基础上沿条件方向外推:
其中 表示空条件(条件置空), 即无条件预测噪声, 是修正后实际用于去噪的预测, 通常取 7.5~15。读作:拿无条件预测当基准,把「条件预测 − 无条件预测」这个差值放大 倍加回去——这个差值正是条件修正项在噪声预测空间的化身。
整理为线性组合形式:
即两种预测的加权组合, 时无条件一侧权重为负,组合变成向外推。 退化为纯条件预测(无引导); 强化条件方向,牺牲多样性换一致性; 压低条件影响,增加多样性。
训练机制
联合训练只多了一条规则:每个样本以概率 (通常 10%~20%)随机丢弃条件——保留条件时输入 ,丢弃时输入空条件,其余训练流程不变:
# 训练代码示意
def train_step(x_0, y):
# 随机决定是否丢弃条件
use_condition = torch.rand(1) > p_uncond # p_uncond ≈ 0.1
# 加噪
t = sample_timestep()
x_t = add_noise(x_0, t)
# 条件输入
if use_condition:
cond = y # 正常条件
else:
cond = null_embedding # 空条件(null token 或特殊 embedding)
# 预测噪声
eps_pred = model(x_t, t, cond)
# 损失
loss = MSE(eps_pred, true_noise)
return loss无条件分支学到的不是噪声预测的退化版本,而是 的分布——所有数据的全局平均。有条件时模型聚焦特定类别或描述的分布,无条件时退回这个平均分布;两者共享同一网络,唯一区别是条件输入。全局平均正是推理时外推的锚点:没有它,条件预测朝哪个方向偏移就无从度量。
丢弃比例直接决定两个分支的质量平衡:
| 效果 | |
|---|---|
| 0%(纯条件) | CFG 无效,无法区分条件/无条件预测 |
| 10%~20% | 常用设置,平衡条件学习与无条件能力 |
| 50% | 无条件能力增强,但条件生成质量下降 |
推理机制与引导强度
推理的每个去噪步骤需要两次前向传播——条件一次、无条件一次,再按引导公式混合:
def cfg_denoise_step(x_t, t, y, w):
# 条件预测
eps_cond = model(x_t, t, y)
# 无条件预测
eps_uncond = model(x_t, t, null_embedding)
# CFG 混合
eps_guided = eps_uncond + w * (eps_cond - eps_uncond)
# 去噪
x_t_minus_1 = denoise(x_t, eps_guided, t)
return x_t_minus_1推理开销
CFG 让每步前向传播次数翻倍(条件 + 无条件),这是它唯一但固定的代价。
是推理期最核心的旋钮,直接控制一致性与多样性的交换:
| 值 | 生成效果 | 适用场景 |
|---|---|---|
| 1.0 | 无引导,多样性高,一致性弱 | 创意生成 |
| 7.5 | Stable Diffusion 默认值,平衡一致性与多样性 | 通用生成 |
| 15~20 | 强引导,高度忠实于提示,细节可能过度锐化 | 精确控制 |
| >30 | 过度引导,可能出现伪影、失真 | 不推荐 |
调参起点
简单提示从 起步;复杂或抽象提示提到 ;超写实需求可到 。出现过饱和、细节过度锐化就是 过高的信号,先降 再动其他参数。
与分类器引导对比
对照得分分解,CFG 公式可以改写为:
形式与分类器引导完全一致:外推项就是条件修正项 。区别在于 CFG 从不训练分类器——这个梯度信息隐含在条件与无条件预测的差值里,两次前向传播就是获取它的全部成本。
| 方面 | 分类器引导(CG) | CFG |
|---|---|---|
| 额外组件 | 需训练分类器 | 无需额外模型 |
| 训练复杂度 | 需在噪声图像上训练分类器 | 单模型联合训练 |
| 推理开销 | 分类器梯度计算 + 条件预测 | 2 次条件预测 |
| 引导强度 | 梯度缩放因子 | 引导系数 |
| 适用范围 | 类别条件 | 任意条件(文本、图像等) |
| 稳定性 | 噪声图像上分类器不稳定 | 稳定,无额外噪声训练 |
CFG 的优势近乎全面:单模型训练、条件类型不受限(文本、图像、部分遮挡描述均可)、不用碰「在带噪图像上训分类器」这个天生不稳定的任务。代价集中且明确——推理 2 倍前向传播,加上无条件预测在极端噪声时刻可能质量下降。
实际应用
Stable Diffusion 暴露的 guidance_scale 参数就是 CFG 的 :
# Stable Diffusion 推理
pipe = StableDiffusionPipeline.from_pretrained("SD15")
image = pipe(
prompt="a cat sitting on a table",
guidance_scale=7.5, # CFG w 参数
num_inference_steps=50
)prompt-to-image 场景下,条件分支输入文本 prompt 的 CLIP embedding,无条件分支输入空字符串(或特殊 null token)的 embedding——训练时随机丢弃条件的操作,正好对应推理时拿空 prompt 做无条件基准。图生图(image-to-image)任务中 CFG 同样成立:条件是文本 prompt 加初始图像强度 strength,无条件是空 prompt 加同一初始图像,条件差异只体现在文本侧,外推逻辑不变。
Negative prompt 即反向 CFG
Negative prompt 不是独立机制,而是把 CFG 外推同时作用于正、负两个条件。
它把「远离某条件」也建模成一次引导:
其中 、 分别是正向与负向提示对应的条件,、 是各自的引导强度。读作:正向提示照常外推,再沿负向提示的方向反向减去一份。实践中 positive prompt 描述目标内容,negative prompt 填要避开的东西(如 “blurry, low quality”),比单纯加大 控制得更精细。
总结
| 要点 | 说明 |
|---|---|
| 核心公式 | |
| 训练 | 随机丢弃条件(10%~20%),联合训练条件与无条件路径 |
| 推理 | 每步 2 次前向传播,混合条件与无条件预测 |
| 引导强度 | 无引导, 常用, 过度 |
| 优势 | 无需额外分类器,适用任意条件,训练简单稳定 |
CFG 是 Stable Diffusion、DALL-E 2、Imagen 等现代扩散模型实现高质量条件生成的核心技术。「训练时丢弃、推理时外推」以最小的机制改动换来条件控制力的量级提升,是「以退为进」的工程范本。