DDPM(Denoising Diffusion Probabilistic Models)通过前向扩散把数据逐步转化为噪声,再学习逆向去噪从噪声恢复数据。

参考资料:Diffusion Models Papers Survey

扩散过程(Forward Process)

前向过程将数据样本 逐步变成纯噪声,是一个马尔可夫过程——每一步只依赖上一步:

读作:给定 , 服从以 为均值、 为协方差的高斯分布——旧样本先被轻微缩小,再叠加一份新噪声。其中:

  • :初始数据样本
  • :第 步样本,
  • :第 步加入的噪声强度,随步数增大而增大
  • :高斯分布,由均值 与方差 决定

从 出发逐轮加噪,样本逐渐失真,到 已接近纯噪声。

逆扩散过程(Reverse Process)

反向过程的目标是从噪声样本 恢复真实样本 :

读作:单步去噪同样建模为高斯分布,均值由参数为 的网络根据当前样本 和时间步 给出。其中:

  • :模型学习的去噪分布
  • :去噪过程均值
  • :噪声协方差

损失函数与训练

训练目标是最大化变分下界(VLB):

其中 是期望算子,对前向过程 采样出的中间样本 取平均。读作:模型对数据的对数似然不会低于方括号内的期望值,优化它就是在逼近真实似然(变分推断背景见 变分)。

这个下界经过推导可简化为噪声预测损失:

读作:让网络从加噪样本 预测这一步混入的噪声,预测值与真实噪声的差取平方,期望含义同上。其中:

  • :模型预测的噪声
  • :实际加入的噪声
  • :平方 L2 范数,即欧氏距离的平方

采样过程

训练完成后,从噪声样本 出发逐步去噪:每一步模型根据当前样本 和时间步 生成去噪后的 ,走完 步得到新样本。

总结

DDPM 的核心是前向加噪、反向去噪这对过程:训练时最大化变分下界,归结为预测噪声的 L2 损失,由此训练出的去噪网络能从纯噪声生成高质量样本。