基于扩散模型的深度生成建模：原理、进展与应用

一、引言

1.1 生成模型的演进与挑战

生成模型是人工智能领域中旨在学习复杂数据分布并生成新样本的一类重要模型。自深度学习兴起以来，生成模型经历了从简单到复杂、从基础到高级的快速发展过程。早期的生成模型如变分自编码器 (VAE) 和生成对抗网络 (GAN) 在生成能力和样本质量上存在显著局限：VAE 生成的样本往往模糊且缺乏细节，而 GAN 则面临训练不稳定、模式崩溃等问题(2)。随着研究的深入，研究者们提出了流模型 (Flow-based Models)，试图通过精确的概率密度估计来解决生成问题，但这类模型在高维数据上的应用受到计算复杂度的严重制约(1)。

这些传统生成模型的局限性主要源于其设计理念和数学框架的内在约束。例如，GAN 通过对抗训练机制优化生成器和判别器，这种 minimax 博弈过程容易导致训练不稳定和模式崩溃；VAE 通过最大化证据下界来近似数据分布，但这一近似过程可能引入显著的偏差；流模型虽然理论上可以精确建模数据分布，但由于需要设计复杂的可逆变换，在实际应用中难以处理高维数据(2)。

1.2 扩散模型的突破性贡献

扩散模型 (Diffusion Models) 作为一类新兴的生成模型，于 2020 年由 Ho 等人提出的去噪扩散概率模型 (DDPM) 而获得广泛关注，它通过引入一种全新的概率建模框架，成功地克服了传统生成模型的诸多局限(2)。扩散模型的核心创新在于将数据生成视为一个逐步去噪的过程，这一过程与物理中的扩散现象类似，从纯噪声开始，通过学习逐步去除噪声来生成逼真的数据样本(4)。

扩散模型的突破性贡献主要体现在以下几个方面：

1. 训练稳定性：与 GAN 的对抗训练不同，扩散模型通过最大化变分下界 (Variational Lower Bound, VLB) 来优化模型参数，这是一个确定性优化过程，训练过程更加稳定，不易出现模式崩溃问题(2)。

2. 样本质量：扩散模型能够生成高分辨率、细节丰富的样本，在图像生成领域已达到甚至超越 GAN 的水平。例如，通过大规模训练的扩散模型可以生成 256×256 甚至更高分辨率的高质量图像(4)。

3. 理论完备性：扩散模型建立在严格的概率理论基础上，与随机微分方程 (SDE) 和概率流常微分方程 (PF-ODE) 有着密切联系，这为模型提供了坚实的数学基础和理论支持(6)。

4. 灵活性与通用性：扩散模型可以自然地扩展到各种条件生成任务，如文本到图像生成、图像到图像转换等，并且可以灵活地与其他深度学习架构结合，如 Transformer 和 U-Net(1)。

5. 多模态融合能力：扩散模型在处理多模态数据方面表现出色，可以有效地结合文本、图像、音频等不同模态的信息，实现跨模态生成任务(11)。

1.3 扩散模型的发展历程

扩散模型的发展可以追溯到 2015 年 Sohl-Dickstein 等人的开创性工作，他们首次提出了通过扩散过程构建生成模型的思想(2)。然而，这一早期工作在生成质量和分辨率上存在明显局限，只能生成 32×32 的低分辨率图像。

真正推动扩散模型成为主流生成模型的关键工作是 2020 年 Ho 等人提出的去噪扩散概率模型 (DDPM)，该模型通过改进训练目标和网络架构，成功将生成图像的分辨率提高到 256×256，在 ImageNet 数据集上取得了显著优于之前生成模型的性能(2)。

随后，研究人员在 DDPM 的基础上进行了多方面的改进和扩展：

1. 连续时间公式化：2021 年，Song 等人将扩散模型从离散时间框架扩展到连续时间框架，提出了基于随机微分方程 (SDE) 的扩散模型，这一工作为扩散模型提供了更统一的理论框架和更灵活的建模能力(2)。

2. 采样加速技术：2021 年，Song 等人提出了去噪扩散隐式模型 (DDIM)，通过引入非马尔可夫采样过程，显著减少了采样所需的步数，同时保持了样本质量(2)。

3. 潜空间扩散模型：2022 年，Rombach 等人提出了潜空间扩散模型 (LDM)，通过在压缩的潜空间中运行扩散过程，大大降低了计算复杂度，使得在消费级 GPU 上进行大规模训练成为可能(6)。

4. 条件生成能力扩展：研究人员不断探索如何将条件信息 (如文本描述、类别标签、图像等) 有效地融入扩散模型，从而实现更复杂的条件生成任务(11)。

5. 多模态融合：近年来，扩散模型在多模态生成任务上取得了重大突破，如 OpenAI 的 DALL-E 2 和 Google 的 Imagen 等模型，能够根据文本描述生成高质量的图像(2)。

6. 3D 内容生成：2023-2025 年，研究人员开始将扩散模型应用于 3D 内容生成领域，如 GaussianAnything 等模型，实现了从文本到 3D 内容的直接生成(23)。

7. 混合专家架构：2025 年，研究人员提出了 DiffMoE 模型，通过动态令牌选择技术，实现了可扩展的扩散 Transformer，大大提高了模型的效率和性能(22)。

本文将全面综述扩散模型的基础原理、数学推导、最新进展和应用，特别关注 2023-2025 年间的前沿研究成果，为读者提供一个系统、深入的扩散模型知识框架。

二、基础原理

2.1 前向扩散过程（Forward Diffusion Process）

2.1.1 马尔可夫链加噪过程

扩散模型的基础是一个前向扩散过程，这是一个马尔可夫链，通过逐步向数据中添加噪声，将原始数据分布转换为简单的先验分布（通常是标准高斯分布）(2)。这一过程可以分为 T 个时间步骤，从 t=0 到 t=T，其中 t=0 对应原始数据，t=T 对应完全噪声。

形式上，前向扩散过程可以表示为一系列条件概率分布：

$q(x_1|x_0), q(x_2|x_1), \ldots, q(x_T|x_{T-1})$

其中，$x_0$是原始数据样本，$x_t$是经过 t 步加噪后的样本(2)。

在每一步 t，前向过程通过向当前样本$x_{t-1}$添加少量高斯噪声来生成下一个样本$x_t$：

$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I)$

其中，$\beta_t \in (0,1)$是预先定义的噪声时间表，控制每一步添加的噪声量(2)。$\beta_t$通常随着时间 t 的增加而递增，这意味着随着时间推移，添加的噪声量逐渐增加，数据结构逐渐被破坏。

2.1.2 累积噪声参数化

通过链式法则，可以将前向过程的联合分布分解为：

$q(x_1, x_2, \ldots, x_T|x_0) = \prod_{t=1}^T q(x_t|x_{t-1})$

Sohl-Dickstein 等人的研究表明，前向过程可以被参数化为累积噪声参数，使得可以直接计算任意时间步 t 的样本分布$q(x_t|x_0)$(2)。具体来说，定义：

$\alpha_t := 1 - \beta_t$

$\bar{\alpha}t := \prod{s=1}^t \alpha_s$

则，任意时间步 t 的条件分布可以表示为：

$q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$

这一表达式表明，经过 t 步加噪后的样本$x_t$可以表示为原始样本$x_0$的线性变换加上高斯噪声：

$x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$

其中，$\epsilon \sim \mathcal{N}(0, I)$是标准高斯噪声(2)。

这一参数化方式的重要性在于，它允许我们在训练过程中直接从原始样本$x_0$和随机噪声$\epsilon$生成任意时间步的样本$x_t$，而无需逐步执行整个前向过程。这大大简化了训练过程，使得可以通过重参数化技巧来计算梯度(2)。

当$\bar{\alpha}_T \approx 0$时，$x_T$几乎是标准高斯分布，即$q(x_T) \approx \mathcal{N}(x_T; 0, I)$。这意味着前向扩散过程成功地将原始数据分布转换为简单的高斯分布(2)。

2.2 反向去噪过程（Reverse Denoising Process）

2.2.1 贝叶斯反向采样

扩散模型的核心思想是学习一个反向过程，该过程从纯噪声开始，逐步去除噪声，最终恢复出原始数据。这一反向过程可以表示为条件概率分布序列：

$p_\theta(x_{T-1}|x_T), p_\theta(x_{T-2}|x_{T-1}), \ldots, p_\theta(x_0|x_1)$

其中，$\theta$表示模型参数(2)。

反向过程的目标是通过学习这些条件分布，使得从先验分布$p(x_T) = \mathcal{N}(x_T; 0, I)$开始，通过逐步采样$x_{T-1} \sim p_\theta(x_{T-1}|x_T), \ldots, x_0 \sim p_\theta(x_0|x_1)$，可以生成逼真的数据样本$x_0$。

根据贝叶斯定理，反向条件分布可以表示为：

$p_\theta(x_{t-1}|x_t) = \frac{p_\theta(x_t|x_{t-1})p(x_{t-1})}{p_\theta(x_t)}$

然而，直接计算这一分布是不可行的，因为$p(x_{t-1})$和$p_\theta(x_t)$都是未知的。因此，Ho 等人提出了一种近似方法，假设反向分布$p_\theta(x_{t-1}|x_t)$也是高斯分布：

$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))$

其中，均值$\mu_\theta(x_t, t)$和方差$\Sigma_\theta(x_t, t)$由参数化的神经网络估计(2)。

2.2.2 后验分布近似

为了训练反向过程，我们需要使$p_\theta(x_{t-1}|x_t)$尽可能接近真实的后验分布$q(x_{t-1}|x_t, x_0)$。通过分析前向过程的结构，可以推导出真实后验分布的表达式(2)。

真实后验分布$q(x_{t-1}|x_t, x_0)$可以表示为：

$q(x_{t-1}|x_t, x_0) = \frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}$

代入前向过程的高斯参数化，可以证明这一分布也是高斯分布：

$q(x_{t-1}|x_t, x_0) = \mathcal{N}(x_{t-1}; \tilde{\mu}(x_t, x_0), \tilde{\beta}_t I)$

其中，

$\tilde{\mu}(x_t, x_0) = \frac{\sqrt{\alpha_{t-1}}\beta_t}{1-\bar{\alpha}t}x_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}{t-1})}{1-\bar{\alpha}_t}x_t$

$\tilde{\beta}t = \frac{1-\bar{\alpha}{t-1}}{1-\bar{\alpha}_t}\beta_t$

这一表达式表明，真实后验分布的均值是原始样本$x_0$和当前样本$x_t$的线性组合，而方差$\tilde{\beta}_t$是一个与时间相关的常数(2)。

然而，在实际应用中，我们无法直接使用$x_0$来计算$\tilde{\mu}(x_t, x_0)$，因为$x_0$是未知的。因此，Ho 等人提出了一种替代方案，通过将$x_0$表示为$x_t$和噪声$\epsilon$的函数：

$x_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}x_t - \frac{\sqrt{1-\bar{\alpha}_t}}{\sqrt{\bar{\alpha}_t}}\epsilon$

代入$\tilde{\mu}(x_t, x_0)$的表达式，可以得到：

$\mu(x_t, \epsilon) = \frac{1}{\sqrt{\alpha_t}}x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}\sqrt{\alpha_t}}\epsilon$

这一表达式的重要性在于，它允许我们仅使用$x_t$和$\epsilon$来计算后验均值，而无需知道原始样本$x_0$。因此，我们可以设计一个神经网络$\epsilon_\theta(x_t, t)$来预测$\epsilon$，然后使用这一预测值来估计后验均值(2)。

具体来说，反向过程的均值估计可以表示为：

$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}}x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}t}\sqrt{\alpha_t}}\epsilon\theta(x_t, t)$

对于方差$\Sigma_\theta(x_t, t)$，通常有两种选择：一种是让模型学习估计方差，另一种是固定为某个预定义的值。Ho 等人的研究表明，在大多数情况下，固定方差为$\beta_t$（即$\Sigma_\theta(x_t, t) = \beta_t I$）可以取得良好的效果(2)。

2.3 与其他生成模型的对比

2.3.1 与 GAN 的对比

扩散模型与生成对抗网络 (GAN) 在设计理念、训练过程和性能特点上存在显著差异(1)：

1. 训练机制：

• GAN 通过对抗训练机制优化生成器和判别器，这是一个 minimax 博弈过程，容易导致训练不稳定和模式崩溃问题。

• 扩散模型通过最大化变分下界 (VLB) 来优化模型参数，这是一个确定性优化过程，训练过程更加稳定，不易出现模式崩溃问题。

1. 样本质量：

• 在高分辨率图像生成任务上，扩散模型和 GAN 都能生成高质量的样本，但扩散模型在细节保真度和多样性方面可能更具优势。

• GAN 通常能生成更锐利的样本，但可能存在模式崩溃问题，而扩散模型生成的样本更加多样化且分布更均匀。

1. 计算效率：

• GAN 的采样过程非常高效，通常只需要一次前向传播就能生成样本。

• 扩散模型的采样过程需要多次迭代（通常数百次），计算成本较高，但近年来的采样加速技术（如 DDIM）已经显著改善了这一问题。

1. 条件控制能力：

• GAN 在条件生成任务上需要精心设计的架构和训练技巧，条件控制可能不够精确。

• 扩散模型可以自然地融入各种条件信息，实现更精确的条件生成。

1. 理论基础：

• GAN 的理论基础相对薄弱，训练过程难以从理论上进行分析和解释。

• 扩散模型建立在严格的概率理论基础上，与随机微分方程和概率流常微分方程有着密切联系，理论框架更加完善。

2.3.2 与 VAE 的对比

扩散模型与变分自编码器 (VAE) 在概率建模框架上有相似之处，但也存在重要差异(21)：

1. 潜在变量建模：

• VAE 通过编码器将输入数据映射到潜在变量，然后通过解码器从潜在变量重构数据。潜在变量通常是低维的，且服从简单的分布（如高斯分布）。

• 扩散模型没有显式的编码器和解码器结构，而是通过前向扩散过程将数据逐步转换为噪声，然后通过反向过程学习去噪路径。

1. 优化目标：

• VAE 最大化证据下界 (ELBO)，该下界由重构项和 KL 散度项组成。

• 扩散模型也最大化类似的变分下界，但具体形式和优化方式不同，更侧重于去噪过程的建模。

1. 生成过程：

• VAE 的生成过程是直接从潜在变量分布中采样，然后通过解码器生成数据。

• 扩散模型的生成过程是一个逐步去噪的过程，从纯噪声开始，通过多次迭代逐步恢复数据。

1. 表达能力：

• VAE 的表达能力受限于潜在变量的维度和编码器 / 解码器的架构。

• 扩散模型理论上可以表示更复杂的数据分布，尤其是在高维空间中。

1. 扩散先验在 VAE 中的应用：

• 研究人员最近探索了将扩散模型作为 VAE 潜在变量的先验分布，这种混合模型（称为扩散先验 VAE）结合了两者的优势，提高了生成样本的质量和多样性(21)。

2.3.3 与流模型的对比

扩散模型与流模型 (Normalizing Flows) 都是基于概率密度估计的生成模型，但在建模方式上存在显著差异(2)：

1. 变换方式：

• 流模型通过一系列可逆变换将简单的先验分布（如高斯分布）转换为复杂的数据分布。每个变换都需要保持可逆性，这限制了变换的选择和复杂度。

• 扩散模型通过前向扩散过程将数据分布转换为简单的先验分布，然后通过反向过程学习去噪路径，不需要显式的可逆变换。

1. 计算复杂度：

• 流模型的计算复杂度通常与数据维度成二次关系，这使得它们在高维数据上的应用受到限制。

• 扩散模型的计算复杂度主要取决于神经网络的架构和采样步数，在高维数据上表现更好。

1. 概率密度估计：

• 流模型可以精确计算数据的概率密度，这对于密度估计任务非常有用。

• 扩散模型通常不直接估计概率密度，而是通过变分下界进行近似优化。

1. 生成质量：

• 在低维数据上，流模型可以生成高质量的样本，但在高维数据上性能下降。

• 扩散模型在高维数据（如图像）上表现出色，生成样本的质量和多样性都很高。

1. 混合模型：

• 研究人员已经提出了将流模型和扩散模型结合的混合模型，如 Rectified Flow，这种模型结合了两者的优势，在某些任务上取得了更好的性能(2)。

2.4 连续时间模型扩展

2.4.1 随机微分方程 (SDE) 框架

2021 年，Song 等人提出了将扩散模型从离散时间框架扩展到连续时间框架的方法，这一扩展为扩散模型提供了更统一的理论基础和更灵活的建模能力(2)。

在连续时间框架中，扩散过程可以表示为伊藤随机微分方程 (SDE)：

$dx_t = f(x_t, t)dt + g(t)dw_t$

其中，$w_t$是标准维纳过程，$f(x_t, t)$是漂移系数，$g(t)$是扩散系数(6)。

这一 SDE 描述了样本$x_t$随时间 t 的连续演化过程。通过选择不同的漂移系数和扩散系数，可以得到不同的扩散过程。例如，对于 DDPM 中的前向过程，可以选择：

$f(x_t, t) = -\frac{1}{2}g(t)^2x_t$

$g(t) = \sqrt{2\sigma’(t)}$

其中，$\sigma(t)$是一个随时间增加的函数，表示噪声水平随时间的变化(6)。

在这种情况下，前向 SDE 的解对应于 DDPM 中的前向过程，可以表示为：

$x_t = \alpha(t)x_0 + \sigma(t)\epsilon$

其中，$\alpha(t)$是一个随时间递减的函数，$\sigma(t)$是一个随时间递增的函数，满足$\alpha(0) = 1$，$\sigma(0) = 0$，$\alpha(T) = 0$，$\sigma(T) = 1$(2)。

2.4.2 概率流常微分方程 (PF-ODE)

与 SDE 密切相关的是概率流常微分方程 (PF-ODE)，它描述了一个确定性的流，该流与 SDE 共享相同的边际分布(6)。PF-ODE 的形式为：

$dx_t = [f(x_t, t) - \frac{1}{2}g(t)^2\nabla_{x_t}\log p_t(x_t)]dt$

其中，$p_t(x_t)$是时间 t 时的边际概率密度函数(6)。

PF-ODE 的重要性在于，它允许我们通过确定性积分（如 Runge-Kutta 方法）来生成样本，而无需模拟随机过程。这大大简化了采样过程，并为设计更高效的采样算法提供了可能(6)。

2.4.3 反向 SDE 与得分匹配

在连续时间框架中，反向过程可以表示为反向 SDE：

$dx_t = [f(x_t, t) - g(t)^2\nabla_{x_t}\log p_t(x_t)]dt + g(t)d\bar{w}_t$

其中，$\bar{w}_t$是另一个标准维纳过程(6)。

这一反向 SDE 的解对应于从噪声分布$p_T(x_T)$开始，逐步恢复数据分布$p_0(x_0)$的过程。然而，由于$\nabla_{x_t}\log p_t(x_t)$（称为得分函数）是未知的，我们需要通过神经网络来估计它。

得分匹配是一种用于估计得分函数的技术，其基本思想是最小化估计得分函数与真实得分函数之间的差异(2)。具体来说，我们可以训练一个神经网络$s_\theta(x_t, t)$来估计$\nabla_{x_t}\log p_t(x_t)$，通过最小化以下目标函数：

$\mathbb{E}{t, x_0, x_t}[\lambda(t)|\nabla{x_t}\log q_t(x_t|x_0) - s_\theta(x_t, t)|^2]$

其中，$\lambda(t)$是一个时间相关的权重函数，$q_t(x_t|x_0)$是前向过程的条件分布(2)。

这一目标函数可以通过重参数化技巧进行优化，利用前向过程的性质，可以证明$\nabla_{x_t}\log q_t(x_t|x_0) = -\frac{x_t - \alpha(t)x_0}{\sigma(t)^2}$，这使得我们可以直接计算梯度(2)。

2.4.4 连续时间与离散时间模型的联系

连续时间扩散模型与离散时间扩散模型之间存在密切联系。实际上，离散时间模型可以视为连续时间模型的离散化近似(2)。

具体来说，DDPM 中的前向过程可以视为连续时间 SDE 的 Euler-Maruyama 离散化。同样，DDIM 中的采样过程可以视为概率流 ODE 的离散化(2)。

这种联系为设计更高效的采样算法和理解不同模型之间的关系提供了理论基础。例如，DDIM 的非马尔可夫采样过程可以视为对连续时间 PF-ODE 的更精确离散化，从而在更少的采样步骤中保持样本质量(2)。

三、数学推导

3.1 前向过程的显式解

3.1.1 离散时间前向过程

在离散时间框架下，前向扩散过程的显式解可以通过累积噪声参数$\bar{\alpha}_t$来表示(2)。回顾之前的定义：

$\alpha_t = 1 - \beta_t$

$\bar{\alpha}t = \prod{s=1}^t \alpha_s$

则，任意时间步 t 的条件分布$q(x_t|x_0)$可以表示为：

$q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$

这一表达式表明，经过 t 步加噪后的样本$x_t$是原始样本$x_0$的线性变换加上高斯噪声：

$x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$

其中，$\epsilon \sim \mathcal{N}(0, I)$是标准高斯噪声(2)。

这一显式解的重要性在于，它允许我们在训练过程中直接从原始样本$x_0$和随机噪声$\epsilon$生成任意时间步的样本$x_t$，而无需逐步执行整个前向过程。这大大简化了训练过程，使得可以通过重参数化技巧来计算梯度(2)。

3.1.2 连续时间前向过程

在连续时间框架下，前向过程的显式解可以通过随机微分方程的解来表示(6)。对于方差爆炸 SDE：

$dx_t = \sqrt{2\sigma(t)\frac{d\sigma(t)}{dt}}dw_t$

其解为：

$q(x_t|x_0) = \mathcal{N}(x_t; x_0, [\sigma(t)^2 - \sigma(0)^2]I)$

这表明，在连续时间框架下，前向过程的条件分布也是高斯分布，其均值为原始样本$x_0$，方差随时间增加而线性增长(6)。

3.2 反向过程的均值与方差推导

3.2.1 离散时间反向过程

在离散时间框架下，反向过程的条件分布$p_\theta(x_{t-1}|x_t)$假设为高斯分布：

$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))$

为了推导$\mu_\theta(x_t, t)$和$\Sigma_\theta(x_t, t)$的表达式，我们可以利用贝叶斯定理和前向过程的性质(2)。

首先，根据贝叶斯定理：

$p_\theta(x_{t-1}|x_t) = \frac{p_\theta(x_t|x_{t-1})p(x_{t-1})}{p_\theta(x_t)}$

然而，由于$p(x_{t-1})$和$p_\theta(x_t)$是未知的，我们需要找到一种替代方法。通过分析前向过程的结构，可以证明真实后验分布$q(x_{t-1}|x_t, x_0)$也是高斯分布，其均值为：

$\tilde{\mu}(x_t, x_0) = \frac{\sqrt{\alpha_{t-1}}\beta_t}{1-\bar{\alpha}t}x_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}{t-1})}{1-\bar{\alpha}_t}x_t$

方差为：

$\tilde{\beta}t = \frac{1-\bar{\alpha}{t-1}}{1-\bar{\alpha}_t}\beta_t$

为了消除对$x_0$的依赖，我们可以将$x_0$表示为$x_t$和噪声$\epsilon$的函数：

$x_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}x_t - \frac{\sqrt{1-\bar{\alpha}_t}}{\sqrt{\bar{\alpha}_t}}\epsilon$

代入$\tilde{\mu}(x_t, x_0)$的表达式，得到：

$\mu(x_t, \epsilon) = \frac{1}{\sqrt{\alpha_t}}x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}\sqrt{\alpha_t}}\epsilon$

这一表达式表明，反向过程的均值可以表示为$x_t$和$\epsilon$的线性组合。因此，我们可以设计一个神经网络$\epsilon_\theta(x_t, t)$来预测$\epsilon$，然后使用这一预测值来估计均值：

$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}}x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}t}\sqrt{\alpha_t}}\epsilon\theta(x_t, t)$

对于方差$\Sigma_\theta(x_t, t)$，通常有两种选择：一种是让模型学习估计方差，另一种是固定为某个预定义的值。Ho 等人的研究表明，在大多数情况下，固定方差为$\beta_t$（即$\Sigma_\theta(x_t, t) = \beta_t I$）可以取得良好的效果(2)。

3.2.2 连续时间反向过程

在连续时间框架下，反向过程的均值和方差可以通过分析反向 SDE 和概率流 ODE 来推导(6)。

反向 SDE 的形式为：

$dx_t = [f(x_t, t) - g(t)^2\nabla_{x_t}\log p_t(x_t)]dt + g(t)d\bar{w}_t$

概率流 ODE 的形式为：

$dx_t = [f(x_t, t) - \frac{1}{2}g(t)^2\nabla_{x_t}\log p_t(x_t)]dt$

这两个方程的解对应于不同的采样过程：反向 SDE 是一个随机过程，而概率流 ODE 是一个确定性过程。两者都可以用于生成样本，但概率流 ODE 通常更高效，因为它不需要采样随机噪声(6)。

在连续时间框架下，得分函数$\nabla_{x_t}\log p_t(x_t)$可以通过神经网络$s_\theta(x_t, t)$来估计。训练这一网络的目标是最小化以下损失函数：

$\mathbb{E}{t, x_0, x_t}[\lambda(t)|\nabla{x_t}\log q_t(x_t|x_0) - s_\theta(x_t, t)|^2]$

其中，$\nabla_{x_t}\log q_t(x_t|x_0) = -\frac{x_t - \alpha(t)x_0}{\sigma(t)^2}$，这一表达式可以通过前向过程的性质推导得到(2)。

3.3 目标函数的变分下界分解

3.3.1 变分下界推导

扩散模型的训练目标是最大化数据的对数似然$log p_\theta(x_0)$。由于直接计算这一似然是不可行的，我们可以通过引入变分分布$q(x_{1:T}|x_0)$来构造一个变分下界 (VLB)(2)。

根据 KL 散度的非负性，有：

$KL(q(x_{1:T}|x_0)||p_\theta(x_{1:T}|x_0)) \geq 0$

展开这一表达式，得到：

$-log p_\theta(x_0) \leq -log p_\theta(x_0) + KL(q(x_{1:T}|x_0)||p_\theta(x_{1:T}|x_0))$

进一步整理，得到：

$log p_\theta(x_0) \geq \mathbb{E}{q(x{1:T}|x_0)}[log p_\theta(x_T) - \sum_{t=1}^T log \frac{q(x_t|x_{t-1})}{p_\theta(x_{t-1}|x_t)}]$

右边的表达式就是变分下界 (VLB)，我们的目标是最大化这一下界(2)。

3.3.2 损失函数分解

VLB 可以分解为多个项，每个项对应不同的训练目标(2)：

$\mathcal{L}{VLB} = \mathbb{E}{q(x_{1:T}|x_0)}[log p_\theta(x_T) - \sum_{t=1}^T log \frac{q(x_t|x_{t-1})}{p_\theta(x_{t-1}|x_t)}]$

这一表达式可以进一步分解为：

$\mathcal{L}{VLB} = \mathcal{L}T + \sum{t=1}^T \mathcal{L}{t-1}$

其中，

$\mathcal{L}T = \mathbb{E}{q(x_T|x_0)}[-log p_\theta(x_T)]$

$\mathcal{L}{t-1} = \mathbb{E}{q(x_{t-1}, x_t|x_0)}[log p_\theta(x_{t-1}|x_t) - log q(x_t|x_{t-1})]$

$\mathcal{L}_T$是最终时间步的 KL 散度项，通常被忽略，因为当$\bar{\alpha}T \approx 0$时，$x_T$近似为高斯分布，可以设置$p\theta(x_T) = \mathcal{N}(0, I)$(2)。

$\mathcal{L}{t-1}$是时间步 t-1 的损失项，它鼓励模型学习的反向分布$p\theta(x_{t-1}|x_t)$接近真实后验分布$q(x_{t-1}|x_t, x_0)$。通过分析这一项的结构，可以证明它等价于最小化以下损失函数：

$\mathcal{L}{t-1} = \mathbb{E}{q(x_{t-1}, x_t|x_0)}[\frac{1}{2}log(2\pi\Sigma_\theta(x_t, t)) + \frac{1}{2\Sigma_\theta(x_t, t)}|x_{t-1} - \mu_\theta(x_t, t)|^2]$

这一表达式表明，$\mathcal{L}{t-1}$由两部分组成：方差项和均值项。在实际应用中，通常固定方差$\Sigma\theta(x_t, t) = \beta_t$，这使得我们可以将损失函数简化为仅对均值项的优化(2)。

3.3.3 简化损失函数

Ho 等人提出了一种简化的损失函数，通过重参数化技巧将损失函数转换为对噪声预测的优化(2)。

具体来说，注意到在反向过程中，我们可以将$x_{t-1}$表示为：

$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}t}\sqrt{\alpha_t}}\epsilon + \sqrt{\frac{(1-\alpha_t)(1-\bar{\alpha}{t-1})}{1-\bar{\alpha}_t}}\epsilon'$

其中，$\epsilon$和$\epsilon’$是独立的标准高斯噪声。

这一表达式表明，$x_{t-1}$可以表示为$x_t$和两个噪声项的函数。通过引入神经网络$\epsilon_\theta(x_t, t)$来预测$\epsilon$，我们可以将损失函数简化为：

$\mathcal{L}{t-1} = \mathbb{E}{t, x_0, \epsilon}[|\epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, t)|^2]$

这一简化的损失函数不再需要显式地计算$\mu_\theta(x_t, t)$和$\Sigma_\theta(x_t, t)$，而是直接优化噪声预测的准确性。这大大简化了训练过程，并提高了稳定性(2)。

3.4 连续时间模型的分数匹配

3.4.1 分数函数定义与估计

在连续时间扩散模型中，分数函数 (score function) 定义为概率密度函数的对数梯度：

$s(x_t, t) = \nabla_{x_t}\log p_t(x_t)$

这一函数表示在点$x_t$处，概率密度函数增长最快的方向和速率(2)。

分数匹配是一种用于估计分数函数的技术，其基本思想是最小化估计分数函数与真实分数函数之间的差异。具体来说，我们可以训练一个神经网络$s_\theta(x_t, t)$来估计$s(x_t, t)$，通过最小化以下目标函数：

$\mathbb{E}{t, x_0, x_t}[\lambda(t)|s(x_t, t) - s\theta(x_t, t)|^2]$

其中，$\lambda(t)$是一个时间相关的权重函数，用于调整不同时间步的重要性(2)。

3.4.2 损失函数推导

在连续时间框架下，损失函数可以通过前向过程的性质进行推导(2)。

首先，注意到前向过程的条件分布$q_t(x_t|x_0)$是高斯分布，其对数概率的梯度为：

$\nabla_{x_t}\log q_t(x_t|x_0) = -\frac{x_t - \alpha(t)x_0}{\sigma(t)^2}$

这一表达式可以直接计算，因为$\alpha(t)$和$\sigma(t)$是已知的前向过程参数。

因此，损失函数可以重写为：

$\mathbb{E}{t, x_0, x_t}[\lambda(t)|\nabla{x_t}\log q_t(x_t|x_0) - s_\theta(x_t, t)|^2]$

这一损失函数的优势在于，它不需要知道真实分布$p_t(x_t)$，而只需要前向过程的性质。这使得我们可以通过重参数化技巧来优化模型参数(2)。

3.4.3 与离散时间模型的联系

连续时间分数匹配与离散时间损失函数之间存在密切联系。实际上，离散时间模型的损失函数可以视为连续时间分数匹配的离散化近似(2)。

具体来说，DDPM 中的简化损失函数可以视为对连续时间分数匹配目标的离散近似，其中时间步 t 的权重$\lambda(t)$被设置为 1。

这种联系为理解不同模型之间的关系和设计新的训练目标提供了理论基础。例如，研究人员已经提出了多种基于连续时间框架的改进损失函数，如加权分数匹配和高阶分数匹配，这些方法在某些任务上取得了更好的性能(2)。

四、最新进展

4.1 采样加速技术

4.1.1 知识蒸馏（Knowledge Distillation）

知识蒸馏是一种将复杂的教师模型的知识转移到轻量级学生模型的技术，已被广泛应用于加速扩散模型的采样过程(3)。

教师 - 学生模型架构：

在扩散模型的上下文中，知识蒸馏的基本思想是训练一个轻量级的学生模型来模仿教师模型（通常是一个训练好的高性能扩散模型）的采样轨迹。这使得学生模型可以在更少的采样步骤中生成高质量的样本(3)。

具体来说，教师模型通过完整的采样过程（如 1000 步）生成样本，而学生模型被训练来预测教师模型在每一步的中间状态。通过这种方式，学生模型可以学习到教师模型的隐式知识，从而在更少的步骤中生成相似的样本(3)。

最佳运输理论优化采样路径：

最近的研究探索了使用最佳运输理论（Optimal Transport）来优化采样路径，从而进一步提高采样效率(3)。这一方法的基本思想是找到一条从噪声到数据的最短路径，使得沿着这条路径的总变异最小。

通过将采样过程视为一个最优传输问题，研究人员提出了多种改进的采样算法，如路径积分蒙特卡洛（Path Integral Monte Carlo）和变分推断方法，这些方法在保持样本质量的同时，显著减少了采样所需的步数(3)。

4.1.2 训练计划优化

扩散方案学习：

传统的扩散模型使用预定义的噪声时间表（如线性、余弦或对数时间表），这些时间表可能不是最优的。近年来，研究人员提出了多种方法来学习最优的扩散方案，如 CCDF（Complementary Cumulative Distribution Function）和 TDPM（Temporal Discretization of the Diffusion Process）等动态噪声调度(3)。

这些方法的基本思想是通过训练过程自动学习噪声时间表，使得扩散过程能够更有效地探索数据分布。实验表明，学习到的扩散方案可以显著提高采样效率，同时保持样本质量(3)。

反向噪声设计：

FastDPM 是一种基于反向噪声设计的采样加速技术，它通过在反向过程中引入混合损失和噪声尺度预测，显著减少了采样所需的步数(3)。

具体来说，FastDPM 提出了一种新的损失函数，同时考虑了多个噪声尺度的信息，使得模型能够更准确地预测噪声，从而在更少的步骤中恢复原始数据。此外，FastDPM 还引入了一种噪声尺度预测机制，允许模型根据当前状态自适应地调整噪声水平，进一步提高了采样效率(3)。

4.1.3 免训练加速

神经操作器直接建模时间路径：

神经操作器（Neural Operator）是一种新型的神经网络架构，能够直接建模函数空间中的映射。最近的研究探索了使用神经操作器来直接建模扩散过程的时间路径，从而实现免训练的采样加速(3)。

这一方法的基本思想是训练一个神经操作器，将噪声水平 t 和当前状态 x_t 映射到下一状态 x_{t-1}，从而绕过传统的逐步采样过程。这种方法可以在保持样本质量的同时，将采样时间减少到原来的一小部分(3)。

渐进式蒸馏减少迭代步数：

渐进式蒸馏（Progressive Distillation）是一种通过逐步减少采样步数来加速扩散模型的技术。这一方法的基本思想是首先在完整步数上训练一个教师模型，然后通过蒸馏的方式训练一系列学生模型，每个学生模型使用更少的步数(3)。

具体来说，教师模型使用完整的 T 步进行采样，而第一个学生模型使用 T/2 步，并被训练来模仿教师模型的输出。接下来，第二个学生模型使用 T/4 步，并被训练来模仿第一个学生模型的输出，依此类推。通过这种方式，可以逐步减少采样步数，同时保持样本质量(3)。

4.2 高效架构设计

4.2.1 Transformer 扩散模型（DiT）

全局注意力机制替代 CNN：

Transformer 扩散模型（DiT）是一种将 Transformer 架构应用于扩散模型的方法，它使用全局注意力机制替代传统的卷积神经网络（CNN）作为主干网络(2)。

与 CNN 相比，Transformer 能够更好地捕捉全局上下文信息，这对于生成高质量的图像至关重要。此外，Transformer 的自注意力机制可以自然地处理不同尺度的特征，这使得 DiT 在处理高分辨率图像时表现出色(2)。

ViT 主干网络：

DiT 通常采用 Vision Transformer（ViT）作为主干网络，将输入图像分割成多个 patch，然后将这些 patch 序列输入到 Transformer 编码器中(2)。

ViT 的优势在于其简单的架构和高效的实现，同时能够捕捉长距离依赖关系。在 DiT 中，ViT 被用于提取图像的全局特征，这些特征随后被用于指导反向去噪过程(2)。

条件注入方式：

在条件生成任务中，如文本到图像生成，需要将条件信息（如文本描述）注入到扩散模型中。DiT 采用了两种主要的条件注入方式：交叉注意力（Cross-Attention）和 FiLM 调制（Feature-wise Linear Modulation）(2)。

交叉注意力机制允许模型将文本特征与图像特征进行交互，从而实现更精确的条件控制。FiLM 调制则通过对 Transformer 层的特征进行线性变换来注入条件信息，这种方法更加高效，且可以更好地保留特征的空间结构(2)。

4.2.2 混合专家模型（MoE）

DiffMoE 的动态路由机制：

DiffMoE 是一种基于混合专家（Mixture of Experts）的扩散模型架构，它引入了动态令牌选择（Dynamic Token Selection）机制，使得专家可以通过批处理级全局令牌池在训练期间访问全局令牌分布(22)。

在 DiffMoE 中，每个专家负责处理输入令牌的一个子集，这些子集是根据令牌的重要性动态选择的。具体来说，DiffMoE 使用一个容量预测器（Capacity Predictor）来根据噪声水平和样本复杂度动态分配计算资源，从而在复杂和简单案例之间高效分配计算资源(22)。

跨样本全局 token 分配：

与传统的 MoE 模型不同，DiffMoE 允许专家在训练期间访问跨样本的全局 token 分布，这通过将批次和 token 维度展平为一个全局 token 池来实现(22)。

这种跨样本的全局 token 分配机制使得专家能够更好地学习不同条件和噪声水平下的特征表示，从而提高模型的泛化能力和生成质量。此外，这种机制还可以有效缓解传统 MoE 模型中的负载不平衡问题(22)。

层级专家协作网络：

层级专家协作网络是 DiffMoE 的一个重要扩展，它引入了浅层 - 深层专家激活率渐变的机制，使得不同层次的专家可以更好地协作(22)。

具体来说，浅层专家主要处理低层次的特征（如边缘和纹理），而深层专家则处理高层次的语义特征（如物体和场景结构）。通过在不同层次之间引入渐变的激活率，可以实现更高效的特征提取和生成，从而提高模型的性能(22)。

4.2.3 高效架构优化

模型并行与分布式训练：

随着扩散模型规模的不断扩大，模型并行和分布式训练技术变得越来越重要。PipeFusion 和 AsyncDiff 是两种最新的分布式训练框架，它们利用激活相似性来加速扩散推理，通过重叠计算和通信来提高效率(25)。

PipeFusion 采用流水线并行策略，将模型分成多个阶段，在不同的设备上并行处理。AsyncDiff 则采用异步通信机制，允许模型在等待某些计算完成的同时继续处理其他部分，从而减少空闲时间(25)。

内存优化技术：

内存优化是高效训练和部署扩散模型的关键。Staleness-Centric Optimizations 是一种针对 MoE 扩散模型的内存优化技术，它通过交错并行（Interweaved Parallelism）、选择性同步（Selective Synchronization）和条件通信（Conditional Communication）等策略，有效减少了通信开销，提高了内存利用率(25)。

具体来说，交错并行通过交错执行不同时间步的计算，有效减少了时间步级别的延迟；选择性同步则保护了对陈旧激活敏感的层，防止性能下降；条件通信则根据令牌的重要性动态调整通信频率，减少了不必要的通信开销(25)。

硬件加速设计：

为了充分利用现代 GPU 和 TPU 等硬件加速器的性能，研究人员提出了多种硬件加速设计。例如，采用 NVIDIA 的 FasterMoE 框架，通过优化专家并行和令牌路由，显著提高了 MoE 扩散模型的训练和推理速度(25)。

此外，研究人员还探索了将扩散模型部署到移动端和边缘设备的方法，如使用 TensorRT 等工具进行模型优化和加速，使得在移动设备上实时生成高质量内容成为可能(3)。

4.3 多模态与跨模态生成

4.3.1 多流多模态架构（Versatile Diffusion）

全局层、数据层、上下文层的三模块设计：

Versatile Diffusion 是一种多流多模态扩散模型架构，它将模型分为全局层、数据层和上下文层三个模块，分别处理不同层次的信息(6)。

全局层负责处理跨模态的全局信息，如文本描述中的整体场景和主题；数据层负责处理特定模态的数据，如图像的像素值或音频的波形；上下文层则负责处理模态间的上下文信息，如文本中的关键词与图像中的物体之间的对应关系(6)。

这种三模块设计使得 Versatile Diffusion 能够灵活地处理多种模态的输入和输出，同时保持各模态之间的一致性和相关性(6)。

文本 - 图像双向生成：

Versatile Diffusion 支持文本到图像和图像到文本的双向生成任务。在文本到图像生成中，模型根据文本描述生成相应的图像；在图像到文本生成中，模型则根据图像内容生成描述性文本(6)。

这种双向生成能力建立在 CLIP（Contrastive Language-Image Pre-training）模型的基础上，该模型学习了文本和图像之间的联合表示空间。通过在扩散过程中引入 CLIP 特征对齐损失，Versatile Diffusion 能够生成与文本描述高度一致的图像，同时也能生成准确描述图像内容的文本(6)。

视频生成扩展：

Versatile Diffusion 还可以扩展到视频生成任务，通过引入时空注意力机制来捕捉视频帧之间的时间依赖关系(6)。

具体来说，模型在处理视频时，不仅考虑每一帧的空间信息，还考虑相邻帧之间的时间信息。这通过在扩散过程中引入时间维度的自注意力机制来实现，使得模型能够生成连贯的视频序列(6)。

4.3.2 3D 生成突破

高斯溅射（Gaussian Splatting）与扩散结合：

高斯溅射是一种 3D 渲染技术，它将 3D 场景表示为一组高斯分布，每个高斯分布代表一个表面点。最近的研究将高斯溅射与扩散模型结合，提出了 GaussianAnything 等模型，实现了从文本到 3D 内容的直接生成(23)。

在 GaussianAnything 中，3D 场景被表示为点云结构的潜空间，其中每个点都有位置和特征向量。扩散模型在这个潜空间中运行，逐步从纯噪声生成 3D 场景的表示。然后，通过高斯溅射技术将这些表示渲染为 2D 图像或直接用于 3D 应用(23)。

结构化潜空间与级联流匹配：

GaussianAnything 采用了结构化潜空间设计，将 3D 场景的几何和纹理信息解耦。具体来说，模型首先使用 3D VAE 将多视图 RGB-D-N 图像编码为点云结构的潜变量，然后使用级联条件扩散模型对这些潜变量进行去噪，最后通过解码器将潜变量转换为高斯溅射表示(23)。

这种结构化潜空间设计使得模型能够更好地捕捉 3D 场景的几何结构和外观特征，同时级联流匹配机制则提高了生成样本的多样性和质量(23)。

多模态条件 3D 生成：

GaussianAnything 支持多种条件输入，包括点云、文本描述和单张图像，从而实现了多模态条件 3D 生成(23)。

在文本条件 3D 生成中，模型根据文本描述生成相应的 3D 场景；在图像条件 3D 生成中，模型则根据单张输入图像生成完整的 3D 场景。这种多模态条件生成能力使得用户可以通过多种方式控制 3D 内容的生成，大大提高了系统的灵活性和实用性(23)。

4.3.3 跨模态控制与编辑

跨模态注意力机制：

跨模态注意力机制是实现多模态生成和编辑的关键技术，它允许模型在不同模态之间建立对应关系(8)。

在扩散模型中，跨模态注意力通常通过交叉注意力机制实现，其中查询来自一种模态（如图像特征），键和值来自另一种模态（如文本特征）。这种机制使得模型能够根据一种模态的信息来指导另一种模态的生成或编辑(8)。

基于 CLIP 的跨模态对齐：

CLIP 是一种对比学习模型，它学习了文本和图像之间的联合表示空间。在多模态扩散模型中，CLIP 通常用于计算文本和图像之间的相似度，从而实现跨模态对齐(6)。

具体来说，模型在训练过程中最小化生成图像的 CLIP 特征与目标文本的 CLIP 特征之间的距离，从而确保生成的图像与文本描述一致。在编辑任务中，CLIP 可以用于评估编辑结果与目标文本的一致性，从而指导编辑过程(6)。

多模态引导生成：

多模态引导生成是一种利用多种模态信息指导生成过程的技术。例如，在文本引导的图像生成中，可以同时使用文本描述、草图、分割图等多种模态的信息来控制生成过程(11)。

这种多模态引导生成技术通过在扩散过程中引入多个条件分支来实现，每个分支处理一种模态的信息。这些分支的输出通过注意力机制或特征融合操作进行组合，从而生成符合所有条件的样本(11)。

4.4 条件生成与控制

4.4.1 细粒度可控生成

属性隐式编码：

细粒度可控生成是指根据用户指定的属性（如颜色、风格、姿态等）来控制生成过程。在扩散模型中，这通常通过将属性信息隐式编码到潜空间中来实现(11)。

具体来说，模型在训练过程中学习将属性信息编码到潜变量中，使得通过调整这些潜变量可以控制生成样本的相应属性。例如，在图像生成中，可以通过在潜空间中沿着特定方向移动来改变生成图像的颜色或风格(11)。

Masked-Diffuse LM 的语言学特征引导：

Masked-Diffuse LM 是一种结合了扩散模型和语言模型的方法，用于实现基于语言学特征的可控生成(11)。

该方法的基本思想是在文本生成过程中，使用扩散模型来逐步恢复被掩码的 token，同时利用语言模型提供的语言学特征作为条件信息。这种方法可以生成符合特定语法和语义要求的文本，同时保持较高的多样性和流畅性(11)。

风格控制与迁移：

风格控制与迁移是指在保持内容不变的情况下，改变生成样本的风格。在扩散模型中，这可以通过多种方式实现，如使用风格向量作为条件输入、在潜空间中分离内容和风格表示，或在生成过程中引入风格损失(11)。

例如，在图像生成中，可以训练一个条件扩散模型，其中条件信息包括内容描述和风格描述。模型学习根据内容描述生成内容，同时根据风格描述应用相应的风格(11)。

4.4.2 强化学习优化（DDPO）

去噪过程建模为 MDP：

DDPO（Diffusion Distillation Policy Optimization）是一种将扩散模型的去噪过程建模为马尔可夫决策过程（MDP）的方法，从而可以使用强化学习技术来优化生成过程(2)。

在 DDPO 中，状态是当前的噪声水平和样本状态，动作是模型预测的噪声，奖励是根据生成样本的质量和与条件信息的一致性来定义的。通过这种方式，DDPO 可以学习到比传统最大似然训练更好的去噪策略(2)。

策略梯度算法：

DDPO 使用策略梯度算法来优化去噪策略。具体来说，它使用得分函数估计器（DDPOSF）和重要性采样（DDPOIS）来估计策略梯度(2)。

得分函数估计器通过估计得分函数来近似策略梯度，而重要性采样则通过重新加权样本分布来提高估计的准确性。这两种方法的结合使得 DDPO 能够在保持样本质量的同时，更快地收敛到更优的去噪策略(2)。

奖励函数设计：

在 DDPO 中，奖励函数的设计至关重要，它直接影响生成样本的质量和多样性。常见的奖励函数包括基于 CLIP 的文本 - 图像相似度、基于预训练分类器的分类准确率，以及基于人类评估的主观质量评分(2)。

研究表明，使用多目标奖励函数可以取得更好的效果，这种函数同时考虑了样本的质量、多样性和与条件信息的一致性(2)。

4.4.3 控制网络与条件注入

ControlNet：

ControlNet 是一种用于控制扩散模型生成过程的神经网络架构，它允许用户通过各种控制信号（如边缘图、分割图、关键点等）来指导生成过程(6)。

ControlNet 的基本思想是在 U-Net 架构中添加额外的控制分支，这些分支学习将控制信号映射到相应的特征空间，然后与原始特征进行融合，从而影响生成过程。这种方法可以在不重新训练整个模型的情况下，实现对生成过程的精确控制(6)。

交叉注意力条件注入：

交叉注意力是一种有效的条件注入方法，它允许模型将条件信息（如文本描述）与图像特征进行交互，从而实现更精确的条件控制(8)。

在交叉注意力机制中，查询来自图像特征，键和值来自条件特征（如文本特征）。通过计算查询与键之间的注意力权重，模型可以根据条件信息调整图像特征的表示，从而指导生成过程(8)。

自适应层归一化：

自适应层归一化（Adaptive Layer Normalization，AdaLN）是一种条件注入技术，它通过调整层归一化的参数来注入条件信息(8)。

具体来说，对于每个层归一化层，模型学习根据条件信息生成缩放因子和偏移量，然后使用这些参数对特征进行归一化。这种方法可以在保持网络结构不变的情况下，灵活地注入各种条件信息，从而实现条件生成(8)。

4.5 硬件与部署优化

4.5.1 移动端实时生成（StreamDiffusion）

批处理与残差无分类器指导：

StreamDiffusion 是一种专为移动端设计的实时生成框架，它通过批处理和残差无分类器指导（Residual Classifier-Free Guidance，RCFG）技术，显著提高了生成速度(3)。

批处理允许模型同时处理多个输入，从而提高了计算资源的利用率；残差无分类器指导则通过在指导信号中引入残差连接，减少了模型参数的数量，同时保持了指导效果。这两种技术的结合使得 StreamDiffusion 能够在移动设备上实现实时生成(3)。

TensorRT 加速与动态 LOD 控制：

TensorRT 是 NVIDIA 开发的高性能深度学习推理优化器，它可以显著提高扩散模型在 GPU 上的推理速度。StreamDiffusion 使用 TensorRT 对模型进行优化，从而实现了高效的移动端部署(3)。

此外，StreamDiffusion 还引入了动态 LOD（Level of Detail）控制机制，根据当前设备的性能和用户需求，动态调整生成的细节水平，从而在保持用户体验的同时，优化计算资源的使用(3)。

4.5.2 低功耗设计

模型压缩：

模型压缩是实现低功耗部署的关键技术，它通过减少模型参数的数量和计算量，使得模型能够在资源受限的设备上运行(3)。

常见的模型压缩技术包括知识蒸馏、剪枝和量化。知识蒸馏将知识从大型教师模型转移到小型学生模型；剪枝通过移除不重要的连接或神经元来减少模型参数；量化则通过降低参数的精度来减少内存占用和计算量(3)。

知识蒸馏与结构剪枝：

在扩散模型的压缩中，知识蒸馏和结构剪枝是两种最常用的技术。知识蒸馏可以在保持模型性能的同时，显著减小模型的规模；结构剪枝则可以进一步优化模型的计算效率，减少内存访问和计算操作(3)。

研究表明，将知识蒸馏和结构剪枝结合使用可以取得更好的效果。例如，可以首先使用知识蒸馏训练一个小型学生模型，然后对其进行结构剪枝，进一步减少模型的大小和计算量(3)。

移动端框架适配：

为了在移动设备上部署扩散模型，需要将模型适配到特定的移动端框架，如 MNN 和 TFLite。这些框架提供了针对移动设备优化的算子实现和内存管理，能够显著提高模型的运行效率(3)。

适配过程通常包括模型转换、算子优化和性能调优。模型转换将训练好的模型转换为移动端框架支持的格式；算子优化针对移动设备的硬件特性优化特定算子的实现；性能调优则通过调整模型参数和运行时配置，进一步提高模型的运行速度和能效(3)。

五、应用领域

5.1 计算机视觉

5.1.1 图像生成

文本到图像：

文本到图像生成是扩散模型最成功的应用领域之一。当前最先进的模型包括 Stable Diffusion、DALL-E 3 和 Imagen 等，它们能够根据文本描述生成高质量、高分辨率的图像(2)。

这些模型通常采用两阶段架构：首先使用一个文本编码器（如 CLIP）将文本描述转换为嵌入向量，然后使用一个条件扩散模型根据这些嵌入向量生成图像。在训练过程中，模型学习将文本特征与图像特征对齐，从而生成与文本描述一致的图像(2)。

近年来，研究人员不断提高文本到图像模型的性能和效率。例如，Stable Diffusion 通过在潜空间中运行扩散过程，大大降低了计算复杂度，使得在消费级 GPU 上进行训练和推理成为可能；DALL-E 3 则通过改进文本理解和图像合成技术，生成的图像更加准确和逼真；Imagen 则通过使用大规模预训练语言模型来提高文本理解能力，生成的图像在语义一致性方面表现出色(2)。

图像编辑：

基于扩散模型的图像编辑技术允许用户根据文本描述或其他条件对现有图像进行编辑，如修改内容、改变风格或调整属性(1)。

这类技术的基本思想是将编辑任务视为一个条件生成问题：给定输入图像和编辑指令，模型学习生成满足编辑要求的新图像。常用的方法包括 RePaint、Inpaint 和 Outpaint 等，它们通过在图像的特定区域应用扩散模型来实现局部编辑(1)。

最近的研究还提出了一些更高级的图像编辑技术，如 ControlNet 和 MagicEditor。ControlNet 允许用户通过各种控制信号（如边缘图、分割图、关键点等）来精确控制编辑过程；MagicEditor 则能够根据文本描述自动识别和编辑图像中的特定对象，同时保持整体一致性(1)。

5.1.2 视频生成

时空注意力机制：

视频生成是扩散模型的一个重要应用领域，它面临的主要挑战是如何保持视频帧之间的时间一致性和连贯性。MagicVideo 是一种基于时空注意力机制的视频生成模型，它通过将 2D 卷积扩展到 3D，同时捕捉空间和时间信息。

具体来说，MagicVideo 在 U-Net 架构中引入了时空注意力模块，这些模块能够同时处理空间维度和时间维度的信息，从而生成连贯的视频序列。此外，MagicVideo 还使用了一种渐进式生成策略，首先生成低分辨率视频，然后逐步提高分辨率，这有助于提高生成效率和质量。

长视频连贯性：

生成高质量的长视频是一项具有挑战性的任务，因为随着视频长度的增加，保持内容一致性和时间连贯性变得越来越困难。AR-LDM 是一种基于自回归潜在扩散的长视频生成模型，它通过将视频分解为多个片段，然后使用自回归模型依次生成这些片段，从而实现长视频的连贯性。

具体来说，AR-LDM 首先使用一个潜在扩散模型生成视频的第一片段，然后将已生成的片段作为条件信息，生成下一个片段，依此类推。这种方法可以有效保持视频的时间连贯性，同时允许生成任意长度的视频。

3D 感知视频生成：

3D 感知视频生成是指生成具有 3D 感知能力的视频，其中物体可以在不同视角下保持一致的外观和结构。最近的研究提出了多种 3D 感知视频生成方法，如 Sora 和 Lumiere 等。

这些方法的基本思想是将视频视为时空体积，使用 3D 感知的扩散模型来捕捉空间和时间信息。具体来说，模型学习将 3D 场景表示为神经辐射场（NeRF）或其他 3D 表示形式，然后使用扩散模型生成这些表示的时间序列，从而实现 3D 感知视频生成。

5.2 自然语言处理

5.2.1 文本生成

DiffuSeq 的部分噪声注入与序列到序列建模：

DiffuSeq 是一种基于扩散模型的文本生成方法，它将文本生成视为一个去噪过程，其中输入是被噪声污染的文本序列，模型学习逐步恢复原始文本(10)。

与传统的自回归模型不同，DiffuSeq 采用了部分噪声注入策略，只在序列的某些位置添加噪声，而不是全部位置。这种方法可以更好地捕捉长距离依赖关系，同时减少训练时间和计算资源的需求(10)。

DiffuSeq 的架构基于序列到序列模型，如 Transformer，它使用编码器 - 解码器架构来处理噪声序列和生成原始序列。在训练过程中，模型学习预测被噪声污染的位置的原始 token，从而逐步恢复完整的文本序列(10)。

DiNoiSer 的自适应噪声与离散文本处理：

DiNoiSer 是一种专为离散文本设计的扩散模型，它引入了自适应噪声机制，根据文本的局部特性调整噪声水平(10)。

具体来说，DiNoiSer 在添加噪声时，会考虑当前 token 的重要性和上下文信息，对重要性较低或冗余的 token 添加更多噪声，而对关键 token 添加较少噪声。这种自适应噪声策略有助于模型更好地学习文本的结构和语义，提高生成质量(10)。

DiNoiSer 还提出了一种离散文本处理方法，直接在 token 空间中应用扩散模型，避免了连续空间到离散空间的映射问题。这种方法可以生成更符合语法和语义的文本，同时保持较高的多样性(10)。

5.2.2 语音合成

DiffWave 的波形直接生成：

DiffWave 是一种基于扩散模型的语音合成方法，它直接在原始音频波形上应用扩散模型，无需使用传统的声码器(10)。

传统的语音合成系统通常由声学模型和声码器两部分组成，声学模型生成梅尔频谱图，声码器将梅尔频谱图转换为音频波形。DiffWave 则跳过了梅尔频谱图这一中间步骤，直接学习从文本或梅尔频谱图到音频波形的映射，从而简化了系统架构，提高了合成效率(10)。

DiffWave 的基本思想是将音频波形视为一个时间序列，然后使用扩散模型逐步从噪声中恢复原始波形。在训练过程中，模型学习预测每个时间步的噪声，从而在推理时能够生成高质量的音频波形(10)。

多语言语音生成：

多语言语音生成是指根据不同语言的文本输入生成相应语言的语音。基于扩散模型的多语言语音生成方法通常使用一个统一的模型架构，能够处理多种语言的输入，并生成相应语言的语音(10)。

这些方法的关键是如何有效地编码语言信息，以便模型能够生成符合目标语言语音特征的音频。常用的方法包括语言嵌入、语言条件输入和多任务学习等(10)。

例如，一种方法是在扩散模型中引入语言嵌入向量，该向量表示目标语言的特征，模型在生成过程中根据这些嵌入向量调整生成策略，从而生成符合目标语言的语音(10)。

5.3 科学与工业应用

5.3.1 分子与蛋白质设计

化学空间探索：

分子设计是指根据特定的化学或生物性质，设计新的分子结构。基于扩散模型的分子设计方法将分子表示为图结构或序列，然后使用扩散模型在化学空间中进行探索，生成具有期望性质的新分子(5)。

这类方法的基本思想是将分子生成视为一个去噪过程：从随机噪声开始，逐步恢复具有化学意义的分子结构。在训练过程中，模型学习将分子的结构特征与性质特征对齐，从而生成具有期望性质的分子(5)。

Graph Diffusion 模型是一种常用的分子设计方法，它直接在分子图上应用扩散模型，学习生成具有特定拓扑结构和化学性质的分子。这类模型能够有效捕捉分子的结构特征和化学规律，生成的分子具有较高的化学合理性和多样性(5)。

蛋白质结构预测：

蛋白质结构预测是指根据蛋白质的氨基酸序列预测其三维结构。最近的研究将扩散模型与 AlphaFold 等蛋白质结构预测方法结合，提出了多种混合模型，取得了显著的性能提升(5)。

这些方法的基本思想是使用扩散模型来优化蛋白质结构的预测，通过逐步调整氨基酸残基的位置和取向，使得预测结构更接近真实结构。在训练过程中，模型学习最小化预测结构与真实结构之间的差异，从而提高预测准确性(5)。

例如，一种方法是将蛋白质结构表示为一组三维坐标，然后使用扩散模型逐步从噪声中恢复真实结构。这种方法可以有效捕捉蛋白质折叠的复杂过程，提高结构预测的准确性(5)。

5.3.2 时间序列分析

天气预报：

天气预报是时间序列分析的一个重要应用领域，它面临的主要挑战是如何准确预测复杂的大气动力学过程。TimeGrad 是一种基于 RNN - 扩散混合模型的天气预报方法，它结合了循环神经网络（RNN）和扩散模型的优势，能够有效捕捉气象数据中的时空依赖关系(9)。

TimeGrad 的基本思想是使用 RNN 捕捉时间序列中的长期依赖关系，然后使用扩散模型对预测结果进行细化和优化。在训练过程中，模型学习预测未来时间步的气象变量，如温度、气压和风速等，从而实现准确的天气预报(9)。

医疗数据填补：

医疗数据填补是指根据不完整的医疗记录，推断缺失的数据点。CSDI（Conditional Score-based Diffusion Imputation）是一种基于时空相关性学习的医疗数据填补方法，它使用扩散模型来逐步恢复缺失的数据(9)。

CSDI 的基本思想是将医疗数据视为时空序列，然后使用扩散模型在潜在空间中学习数据的分布，从而能够根据已知数据推断缺失数据。这种方法能够有效捕捉医疗数据中的复杂依赖关系，生成的填补数据具有较高的准确性和可靠性(9)。

5.4 3D 内容创作

5.4.1 几何 - 纹理解耦生成

高斯溅射与 NeRF 优化：

高斯溅射（Gaussian Splatting）是一种将 3D 场景表示为一组高斯分布的技术，每个高斯分布代表一个表面点，具有位置、颜色和形状参数。DreamGaussian 是一种结合高斯溅射与扩散模型的方法，它使用场景描述得分（Scene Description Score，SDS）损失来优化 3D 场景的生成(23)。

DreamGaussian 的基本思想是将 3D 场景生成视为一个去噪过程，其中模型学习从噪声中逐步恢复高斯参数。在训练过程中，模型使用 SDS 损失来确保生成的高斯分布能够渲染出与目标描述一致的 2D 图像。这种方法可以生成高质量的 3D 场景，同时保持良好的几何一致性和纹理细节(23)。

工业级应用：

腾讯混元 3D 是一个工业级的 3D 内容生成系统，它使用高斯溅射技术生成具有物理基础渲染（PBR）材质的 3D 模型。该系统能够根据文本描述或图像输入生成完整的 3D 场景，包括几何结构、材质和光照信息(23)。

腾讯混元 3D 的核心技术包括多视图几何重建、条件扩散生成和 PBR 材质合成。在多视图几何重建阶段，系统根据输入的多视图图像或文本描述生成初始的 3D 几何结构；在条件扩散生成阶段，系统使用扩散模型对几何结构进行细化和优化；在 PBR 材质合成阶段，系统根据几何结构和输入条件生成相应的材质参数，如颜色、粗糙度和金属度等(23)。

5.4.2 实时交互

移动端 3D 生成：

阿里 LAM 是一个移动端 3D 内容生成系统，它支持从文本描述或图像输入生成 3D 模型，并能够在移动设备上实现实时交互。该系统通过模型压缩和优化技术，使得在移动设备上运行复杂的 3D 生成模型成为可能(23)。

阿里 LAM 的核心技术包括轻量化扩散模型、动态细节层次（LOD）控制和移动端渲染优化。轻量化扩散模型通过模型压缩和剪枝技术，显著减少了模型参数和计算量；动态 LOD 控制根据设备性能和用户交互自动调整 3D 模型的细节水平，提高了运行效率；移动端渲染优化则针对移动设备的硬件特性，优化了 3D 渲染管线，确保了流畅的用户体验(23)。

AR/VR 应用：

3D 内容生成在增强现实（AR）和虚拟现实（VR）领域有广泛应用，如虚拟试衣、建筑可视化和虚拟场景创建等。基于扩散模型的 3D 生成技术为这些应用提供了高效、灵活的内容生成方式(23)。

在 AR/VR 应用中，用户通常需要能够实时与虚拟环境进行交互，这要求 3D 生成系统具有低延迟和高响应性。为了满足这些要求，研究人员提出了多种优化技术，如流式生成、增量更新和用户意图预测等(23)。

流式生成允许模型在生成 3D 内容的同时逐步将结果提供给用户，减少了等待时间；增量更新则允许模型根据用户交互逐步调整生成结果，提高了交互的自然性；用户意图预测则通过分析用户的历史行为和当前交互，预测用户的下一步操作，提前生成相关内容，进一步降低了延迟(23)。

六、挑战与未来方向

6.1 当前瓶颈

6.1.1 计算成本

大规模训练与推理资源需求：

尽管扩散模型在生成质量上取得了显著进步，但它们的训练和推理过程仍然需要大量的计算资源。例如，训练一个像 DALL-E 3 或 Imagen 这样的大规模文本到图像模型需要数千块 GPU 和数周的时间，这超出了大多数研究机构和企业的能力范围(2)。

即使是在推理阶段，生成高质量的样本也需要数百次迭代，这在计算上是昂贵的。例如，Stable Diffusion 生成一张 512×512 的图像需要大约 50 次迭代，每次迭代都需要运行整个 U-Net 模型，这在消费级 GPU 上可能需要几秒钟的时间(2)。

为了解决这一问题，研究人员提出了多种优化技术，如采样加速、模型压缩和硬件加速等，但这些技术往往会牺牲一定的生成质量或通用性(3)。

6.1.2 模式崩溃

高维数据多样性不足：

模式崩溃是指生成模型倾向于生成有限的几种模式，而不是覆盖整个数据分布。尽管扩散模型在理论上可以表示复杂的数据分布，但在实践中，尤其是在处理高维数据（如图像、视频）时，仍然存在模式崩溃的风险(2)。

这一问题的根本原因在于，高维数据的分布非常复杂，模型很难在有限的训练数据和计算资源下充分捕捉所有模式。此外，扩散模型的训练目标（最大化变分下界）可能并不直接优化样本的多样性，这使得模型更容易陷入局部最优解(2)。

为了缓解这一问题，研究人员提出了多种方法，如引入多样性损失、使用对抗训练作为正则化、以及在潜空间中进行探索等，但这些方法的效果仍然有限(2)。

6.1.3 离散数据处理

文本、语音的离散性建模难题：

扩散模型最初是为连续数据（如图像）设计的，在处理离散数据（如文本、语音）时面临一些挑战(10)。

离散数据的主要特点是其取值是不连续的，这使得传统的高斯扩散过程难以直接应用。例如，在文本生成中，token 的取值是有限的离散集合，而扩散模型的反向过程生成的是连续值，需要通过离散化才能得到有效的 token 序列。这一过程可能引入误差，导致生成的文本不符合语法或语义规则(10)。

为了解决这一问题，研究人员提出了多种方法，如离散扩散模型、基于能量的离散模型和混合连续 - 离散模型等，但这些方法仍然存在生成质量和效率的问题(10)。

6.2 解决方案探索

6.2.1 分层扩散（Hierarchical Diffusion）

从粗到精的多尺度生成：

分层扩散是一种将生成过程分解为多个尺度的方法，模型首先生成低分辨率的粗略表示，然后逐步细化到高分辨率的精细表示(44)。

这种方法的基本思想是，不同尺度的特征可以在不同的阶段进行处理，从而降低模型的复杂度和计算成本。例如，在图像生成中，模型可以首先生成低分辨率的图像，然后逐步提高分辨率，每次迭代都专注于添加更精细的细节(44)。

分层扩散的优势在于，它可以在保持生成质量的同时，显著减少计算资源的需求。此外，这种方法还可以提高生成的稳定性，因为每个阶段的任务相对简单，模型更容易学习(44)。

语义先验引导的结构化生成：

语义先验引导的分层扩散是指在生成过程中，使用语义信息作为先验知识来指导多尺度生成。这种方法可以确保生成的样本在整体结构和局部细节上都具有良好的语义一致性(44)。

具体来说，模型在低分辨率阶段生成整体结构和语义布局，在高分辨率阶段添加细节和纹理。在这一过程中，语义信息（如类别标签、文本描述或分割图）被用作条件输入，引导模型生成符合语义期望的结构和细节(44)。

例如，在文本到图像生成中，模型可以首先根据文本描述生成低分辨率的语义布局，然后逐步细化到高分辨率的图像，每次细化都基于前一阶段的语义信息和当前的细节需求(44)。

6.2.2 物理约束嵌入

分子生成的化学规则约束：

在分子生成任务中，物理约束嵌入是指将化学规则（如原子价、键长和键角限制）作为约束条件引入扩散模型，从而生成化学上合理的分子(32)。

这类方法的基本思想是，将分子生成视为一个受约束的优化问题：在满足化学规则的前提下，生成具有期望性质的分子。为了实现这一目标，研究人员提出了多种方法，如在损失函数中添加约束项、使用拉格朗日乘数法、以及在采样过程中强制执行约束等(32)。

例如，Constrained Discrete Diffusion (CDD) 是一种将可微约束优化集成到扩散过程中的方法，它确保生成的分子序列符合化学规则和安全要求。这种方法在毒性控制的文本生成、属性约束的分子设计和指令约束的文本完成等任务中表现出色，能够实现零约束违反，同时保持流畅性、新颖性和连贯性(33)。

流体仿真的扩散 - 物理联合优化：

流体仿真是指模拟流体（如液体和气体）的运动和相互作用。将扩散模型与物理模拟结合，可以实现更真实、更高效的流体仿真(29)。

这类方法的基本思想是，使用扩散模型来学习流体运动的先验分布，然后将这一先验与物理约束（如 Navier-Stokes 方程）结合，生成符合物理规律的流体运动。这种方法可以在保持物理准确性的同时，生成更具多样性的流体运动模式(29)。

例如，一种方法是将流体状态表示为向量场，然后使用扩散模型学习这些向量场的分布。在生成过程中，模型不仅考虑数据分布，还考虑物理约束，从而生成既真实又符合物理规律的流体运动(29)。

6.2.3 自监督学习

无标注数据的对比学习框架：

自监督学习是一种利用无标注数据进行学习的方法，它通过设计适当的 pretext 任务，让模型从数据中自动学习有用的特征表示。将自监督学习与扩散模型结合，可以提高模型的数据效率和泛化能力(2)。

这类方法的基本思想是，使用自监督学习预训练模型的编码器，然后在有标注数据上微调扩散模型。例如，在图像生成中，可以首先使用对比学习预训练一个视觉编码器，学习图像的一般特征表示，然后使用这些表示来初始化扩散模型的参数，从而加速训练过程并提高生成质量(2)。

最近的研究表明，自监督预训练可以显著提高扩散模型在数据稀缺情况下的性能。例如，使用 CLIP 进行对比学习预训练的文本到图像模型，在少样本学习场景下表现出色，能够快速适应新的类别和领域(2)。

自我条件技术：

自我条件（Self-Conditioning）是一种在生成过程中使用生成结果本身作为条件的技术。这种方法可以提高模型的生成能力和多样性，尤其是在处理长序列或高维数据时(2)。

具体来说，自我条件技术在生成过程中，将已生成的部分作为条件输入，指导后续部分的生成。例如，在文本生成中，模型可以将已生成的前 n 个 token 作为条件，生成第 n+1 个 token；在图像生成中，模型可以将已生成的上半部分作为条件，生成下半部分(2)。

这种方法的优势在于，它允许模型在生成过程中动态调整策略，根据已生成的内容调整后续生成，从而提高整体一致性和连贯性。此外，自我条件技术还可以减少对外部条件（如文本描述）的依赖，使得模型能够生成更具创造性的内容(2)。

6.3 未来研究方向

6.3.1 多模态统一框架

语音、视频、3D 等多模态的联合建模：

未来的一个重要研究方向是开发能够同时处理多种模态（如文本、图像、语音、视频和 3D）的统一框架。这类框架将能够在不同模态之间建立联系，实现更复杂的跨模态生成和理解任务(2)。

例如，一个统一的多模态框架可以根据文本描述生成相应的 3D 场景，同时生成匹配的语音解说和动画。这种框架需要解决的关键问题包括跨模态表示学习、多模态对齐和条件生成等(2)。

为了实现这一目标，研究人员需要探索新的模型架构和训练方法，如统一的 Transformer 架构、多模态注意力机制和跨模态对比学习等。此外，还需要开发大规模的多模态数据集和评估指标，以支持模型的训练和评估(2)。

跨模态推理与交互生成：

跨模态推理与交互生成是指利用一种模态的信息来指导另一种模态的生成，或在生成过程中实现模态间的交互。例如，根据音乐生成舞蹈动画，或根据用户的手势生成相应的 3D 内容(2)。

这类任务的挑战在于如何建立不同模态之间的语义联系，以及如何在生成过程中保持模态间的一致性和连贯性。未来的研究需要探索更有效的跨模态表示方法和生成机制，如基于注意力的模态交互、条件变分自编码器和对抗训练等(2)。

此外，随着 AR/VR 技术的发展，跨模态交互生成将变得越来越重要。未来的系统需要能够实时响应用户的多模态输入，生成相应的多模态输出，提供更加自然和沉浸式的用户体验(2)。

6.3.2 实时交互系统

端侧设备的低延迟生成：

未来的一个重要研究方向是开发能够在端侧设备（如手机、AR 眼镜）上实现低延迟生成的技术。这类技术将使高质量的生成模型能够在资源受限的设备上运行，支持实时交互应用(3)。

为了实现这一目标，研究人员需要解决模型压缩、计算优化和流式生成等关键问题。模型压缩技术可以减少模型的参数数量和计算量；计算优化技术可以提高模型在特定硬件上的运行效率；流式生成技术可以在生成过程中逐步输出结果，减少用户等待时间(3)。

例如，StreamDiffusion 是一个针对移动端的实时生成框架，它通过批处理和残差无分类器指导技术，显著提高了生成速度，使得在移动设备上实现实时生成成为可能(3)。

脑机接口与手势控制的实时反馈：

未来的生成系统将越来越多地支持自然交互方式，如脑机接口和手势控制。这类系统需要能够实时响应用户的意图，生成相应的内容，并提供及时的反馈(2)。

脑机接口允许用户通过大脑活动直接控制生成过程，例如，用户可以通过想象特定的内容来指导模型生成相应的图像或文本。手势控制则允许用户通过手势输入来控制生成过程，例如，用户可以通过手势调整生成图像的风格或内容(2)。

为了支持这些交互方式，研究人员需要开发高效的意图识别和实时生成技术。意图识别技术将用户的生物信号或手势转换为明确的控制指令；实时生成技术则根据这些指令生成相应的内容，并提供视觉或触觉反馈(2)。

6.3.3 可持续 AI

碳足迹优化的训练策略：

随着 AI 模型规模的不断扩大，训练过程的能源消耗和碳足迹成为一个重要的环境问题。未来的研究需要探索更加可持续的 AI 训练策略，减少能源消耗和碳排放(2)。

这类策略包括模型效率优化、分布式训练优化和可再生能源利用等。模型效率优化通过设计更高效的模型架构和训练方法，减少计算量和内存需求；分布式训练优化通过优化通信和同步策略，提高分布式训练的效率；可再生能源利用则通过在可再生能源充足的地区部署数据中心，减少碳排放(2)。

例如，研究人员已经提出了多种模型效率优化技术，如知识蒸馏、模型剪枝和低精度训练等，这些技术可以在保持模型性能的同时，显著减少能源消耗(2)。

可再生能源驱动的分布式训练：

分布式训练是训练大规模 AI 模型的必要手段，但它也带来了巨大的能源消耗。未来的一个重要研究方向是开发能够利用可再生能源（如太阳能、风能）进行分布式训练的技术和系统(2)。

这类系统需要解决能源波动、任务调度和模型并行等关键问题。能源波动问题是指可再生能源的供应不稳定，这要求系统能够根据能源供应动态调整计算负载；任务调度问题是指如何在多个计算节点之间分配任务，以最大化能源利用效率；模型并行问题是指如何将大型模型分布到多个节点上，同时保持训练效率和稳定性(2)。

为了实现这一目标，研究人员需要开发新型的分布式训练框架和能源管理系统，这些系统能够感知能源供应情况，动态调整计算资源的使用，从而在可再生能源的限制下实现高效的模型训练(2)。

七、结论

7.1 扩散模型的核心贡献与研究价值

扩散模型作为一类新兴的生成模型，通过将生成过程视为一个逐步去噪的过程，成功地克服了传统生成模型的诸多局限，在生成质量、训练稳定性和条件控制能力等方面取得了显著突破(2)。

扩散模型的核心贡献在于其理论完备性和实践有效性。在理论方面，扩散模型建立在严格的概率理论基础上，与随机微分方程和概率流常微分方程有着密切联系，为生成模型提供了统一的理论框架(6)。在实践方面，扩散模型在各种生成任务上表现出色，包括文本到图像生成、图像编辑、3D 内容生成和语音合成等，生成的样本质量和多样性都达到了新的水平(2)。

扩散模型的研究价值不仅在于其在生成任务上的应用，还在于其为理解数据分布和生成过程提供了新的视角。通过研究扩散模型，我们可以更深入地理解高维数据的结构和生成机制，这对于发展更强大的人工智能系统具有重要意义(2)。

7.2 技术演进的关键里程碑与未来趋势

扩散模型的技术演进可以分为几个关键里程碑：从 2015 年的初步提出，到 2020 年 DDPM 的突破，再到 2021 年 DDIM 的采样加速，2022 年潜空间扩散模型的提出，以及 2023-2025 年在多模态生成、3D 内容生成和高效架构设计等方面的重大进展(2)。

未来的趋势包括以下几个方向：

1. 多模态统一框架：开发能够同时处理文本、图像、语音、视频和 3D 等多种模态的统一框架，实现更复杂的跨模态生成和理解任务(2)。

2. 实时交互系统：发展能够在端侧设备上实现低延迟生成的技术，支持实时交互应用，如 AR/VR、脑机接口和手势控制等(3)。

3. 可持续 AI：探索更加可持续的 AI 训练和部署策略，减少能源消耗和碳排放，如模型效率优化、可再生能源利用等(2)。

4. 物理约束嵌入：将物理和化学规则等先验知识嵌入到扩散模型中，生成更符合现实规律的内容，如分子设计、流体仿真等(32)。

5. 自我监督学习：结合自监督学习和扩散模型，提高模型的数据效率和泛化能力，减少对大规模标注数据的依赖(2)。

7.3 应用潜力与社会影响的展望

扩散模型在各个领域都展现出巨大的应用潜力：

在创意产业中，扩散模型可以辅助设计师、艺术家和内容创作者生成创意内容，如广告设计、游戏资产和影视特效等。这些技术将极大地提高创作效率，同时也可能改变创作过程和商业模式(2)。

在科学研究中，扩散模型可以用于分子设计、蛋白质结构预测和气候模拟等任务，帮助科学家探索复杂系统，加速科学发现。例如，在药物研发中，基于扩散模型的分子设计技术可以显著加速新药开发过程(5)。

在人机交互中，扩散模型可以支持更自然、更智能的交互方式，如语音控制、手势识别和脑机接口等。这些技术将使计算机更加直观和易用，促进人机协同工作(2)。

在可持续发展中，扩散模型可以用于能源管理、城市规划和资源优化等领域，帮助解决环境和社会挑战。例如，基于扩散模型的能源预测系统可以提高可再生能源的利用效率(2)。

然而，扩散模型的广泛应用也带来了一些社会挑战，如内容真实性、知识产权和算法偏见等问题。未来的研究需要在发展技术的同时，关注这些伦理和社会问题，确保技术的健康发展和负责任应用(2)。

总的来说，扩散模型作为一类强大的生成模型，已经在多个领域取得了突破性进展，并展现出广阔的应用前景。随着技术的不断进步和创新，我们有理由相信，扩散模型将在未来的人工智能发展中扮演更加重要的角色，为人类社会带来更多的创新和价值(2)。

**参考资料 **

[1] Diffusion Model-Based Image Editing: A Survey https://ieeexplore.ieee.org/document/10884879

[2] Diffusion Models: A Comprehensive Survey of Methods and Applications https://arxiv.org/pdf/2209.00796

[3] Efficient Diffusion Models: A Survey https://arxiv.org/pdf/2502.06805

[4] Diffusion Models in Vision: A Survey https://arxiv.org/pdf/2209.04747

[5] Diffusion Models for Molecules: A Survey of Methods and Tasks https://paperswithcode.com/paper/diffusion-models-for-molecules-a-survey-of

[6] State of the Art on Diffusion Models for Visual Computing https://www.computationalimaging.org/wp-content/uploads/2023/11/DiffusionSTAR.pdf

[7] A Survey on Diffusion Models for Anomaly Detection https://arxiv.org/pdf/2501.11430

[8] Attention in Diffusion Model: A Survey https://arxiv.org/pdf/2504.03738

[9] A Survey on Diffusion Models for Time Series and Spatio-Temporal Data https://arxiv.org/pdf/2404.18886

[10] Diffusion Models in NLP: A Survey https://arxiv.org/pdf/2303.07576

[11] Conditional Image Synthesis with Diffusion Models: A Survey https://arxiv.org/pdf/2409.19365

[12] An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization https://arxiv.org/pdf/2404.07771

[13] A COMPREHENSIVE SURVEY ON DIFFUSION MODELS AND THEIR APPLICATIONS https://arxiv.org/pdf/2408.10207

[14] 基于深度学习的高质量图像生成方法综述 http://m.qikan.cqvip.com/Article/ArticleDetail?id=7110107663

[15] A Survey on Diffusion Models for Inverse Problems https://arxiv.org/pdf/2410.00083

[16] 基于扩散模型的图像编辑研究现状 An overview of image editing based on diffusion models http://m.qikan.cqvip.com/Article/ArticleDetail?id=7112817826

[17] Diffusion Model-Based Video Editing: A Survey https://www.semanticscholar.org/paper/Diffusion-Model-Based-Video-Editing:-A-Survey-Sun-Tu/568942c2ca574fdb89517b7d1c86f7be9026b66d

[18] Generative Diffusion Modeling: A Practical Handbook https://arxiv.org/pdf/2412.17162

[19] 从感知到创造:图像视频生成式方法前沿探讨 https://www.researching.cn/ArticlePdf/m00006/2023/43/15/1510002.pdf

[20] Text-to-image Diffusion Models in Generative AI: A Survey https://arxiv.org/pdf/2303.07909

[21] Diffusion Priors In Variational Autoencoders https://orbi.uliege.be/bitstream/2268/262334/1/diffusion_priors_in_variationa.pdf

[22] DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers https://arxiv.org/pdf/2503.14487

[23] GAUSSIANANYTHING: INTERACTIVE POINT CLOUD FLOW MATCHING FOR 3D OBJECT GENERATION https://arxiv.org/pdf/2411.08033

[24] SatDiffMoE: A Mixture of Estimation Method for Satellite Image Super-resolution with Latent Diffusion Models https://arxiv.org/pdf/2406.10225

[25] Staleness-Centric Optimizations for Parallel Diffusion MoE Inference https://arxiv.org/pdf/2411.16786

[26] Gaussian Integers, Rings, Finite Fields, and the Magic Square of Squares https://arxiv.org/pdf/1908.03236

[27] Yield Prediction with a New Generalized Process Capability Index Applicable to Non-Normal Data https://dacemirror.sci-hub.st/journal-article/ef9558da927b509a84781e28863d42f9/weber2016.pdf#navpanes=0&view=FitH

[28] MoEE: Mixture of Emotion Experts for Audio-Driven Portrait Animation https://arxiv.org/pdf/2501.01808

[29] 基于物理学的数值模型扩散方案 https://m.zhangqiaokeyan.com/journal-foreign-detail/070405669555.html

[30] Path sampling of recurrent neural networks by incorporating known physics https://arxiv.org/pdf/2203.00597

[31] Solving Inverse Physics Problems with Score Matching https://openreview.net/forum?id=OMV64Eg9MF

[32] Constrained Generative Modeling with Manually Bridged Diffusion Models https://arxiv.org/pdf/2502.20371

[33] CONSTRAINED DISCRETE DIFFUSION https://arxiv.org/pdf/2503.09790

[34] Manifold-Constrained Nucleus-Level Denoising Diffusion Model for Structure-Based Drug Design https://arxiv.org/pdf/2409.10584

[35] 禁闭下的扩散：模拟中的流体动力学有限尺寸效应 https://m.zhangqiaokeyan.com/journal-foreign-detail/0704025424127.html

[36] KBFormer: A Transformer-based Diffusion Model of Structured Entities with Heterogeneous Properties https://openreview.net/forum?id=vrhrhGrdXm

[37] 具有状态约束的某些扩散模型的零镇定 https://m.zhangqiaokeyan.com/journal-foreign-detail/070406354627.html

[38] 约束空间中布朗布朗沃克的空间依赖扩散系数 https://m.zhangqiaokeyan.com/journal-foreign-detail/070409934553.html

[39] 基于热-力-电化学耦合的全固态锂离子电池性能研究 https://d.wanfangdata.com.cn/thesis/D03368456

[40] 基于扩散模型的人脸眼部图像修复 https://idm.pku.edu.cn/__local/E/11/66/BD1B8CE6329B2B079A0A463CAF2_34D3D4D2_7D75C.pdf

[41] CHD: Coupled Hierarchical Diffusion for Long-Horizon Tasks https://arxiv.org/pdf/2505.07261

[42] Hierarchical Vision-Language Alignment for Text-to-Image Generation via Diffusion Models https://arxiv.org/pdf/2501.00917

[43] Hierarchical Flow Diffusion for Efficient Frame Interpolation https://arxiv.org/pdf/2504.00380

[44] LIKELIHOOD TRAINING OF CASCADED DIFFUSION MODELS VIA HIERARCHICAL VOLUME-PRESERVING MAPS https://arxiv.org/pdf/2501.06999

[45] ChatAnyone: Stylized Real-time Portrait Video Generation with Hierarchical Motion Diffusion Model https://arxiv.org/pdf/2503.21144

[46] Compositional amortized inference for large-scale hierarchical Bayesian models https://arxiv.org/pdf/2505.14429

[47] Nested Diffusion Models Using Hierarchical Latent Priors https://arxiv.org/pdf/2412.05984

[48] HIERARCHICAL CLUSTERING FOR CONDITIONAL DIFFUSION IN IMAGE GENERATION https://arxiv.org/pdf/2410.16910

[49] Hierarchical Patch Diffusion Models for High-Resolution Video Generation https://arxiv.org/pdf/2406.07792

[50] A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data https://arxiv.org/pdf/2402.16991

[51] Probing the Latent Hierarchical Structure of Data via Diffusion Models https://arxiv.org/pdf/2410.13770

[52] Unraveling the Latent Hierarchical Structure of Language and Images via Diffusion Models https://openreview.net/forum?id=XRatgVmc34

（注：文档部分内容可能由 AI 生成）