变分 Variational

变分法研究泛函极值问题，变分推断将其应用于概率建模。

泛函定义

泛函是将函数映射到实数的规则：

$J[f]={\int }_a^{b}F(x,f(x),f^{\prime }(x))dx$

变分法寻找使泛函达到极值的函数 $f^{\ast }$。

变分推断

在机器学习中，变分推断用简单分布 $q(Z)$ 近似复杂后验 $p(Z|X)$：

${\min }_q{D}_{KL}(q(Z)\Vert p(Z|X))$

等价于最大化证据下界（ELBO）。

应用场景

领域	应用
生成模型	VAE、扩散模型
贝叶斯推断	后验近似
物理学	最小作用量原理
控制理论	最优控制