DDPM(Denoising Diffusion Probabilistic Models)通过前向扩散把数据逐步转化为噪声,再学习逆向去噪从噪声恢复数据。
参考资料:Diffusion Models Papers Survey
扩散过程(Forward Process)
前向过程将数据样本 逐步变成纯噪声,是一个马尔可夫过程——每一步只依赖上一步:
读作:给定 , 服从以 为均值、 为协方差的高斯分布——旧样本先被轻微缩小,再叠加一份新噪声。其中:
- :初始数据样本
- :第 步样本,
- :第 步加入的噪声强度,随步数增大而增大
- :高斯分布,由均值 与方差 决定
从 出发逐轮加噪,样本逐渐失真,到 已接近纯噪声。
逆扩散过程(Reverse Process)
反向过程的目标是从噪声样本 恢复真实样本 :
读作:单步去噪同样建模为高斯分布,均值由参数为 的网络根据当前样本 和时间步 给出。其中:
- :模型学习的去噪分布
- :去噪过程均值
- :噪声协方差
损失函数与训练
训练目标是最大化变分下界(VLB):
其中 是期望算子,对前向过程 采样出的中间样本 取平均。读作:模型对数据的对数似然不会低于方括号内的期望值,优化它就是在逼近真实似然(变分推断背景见 变分)。
这个下界经过推导可简化为噪声预测损失:
读作:让网络从加噪样本 预测这一步混入的噪声,预测值与真实噪声的差取平方,期望含义同上。其中:
- :模型预测的噪声
- :实际加入的噪声
- :平方 L2 范数,即欧氏距离的平方
采样过程
训练完成后,从噪声样本 出发逐步去噪:每一步模型根据当前样本 和时间步 生成去噪后的 ,走完 步得到新样本。
总结
DDPM 的核心是前向加噪、反向去噪这对过程:训练时最大化变分下界,归结为预测噪声的 L2 损失,由此训练出的去噪网络能从纯噪声生成高质量样本。