变分法

变分法研究泛函极值问题，从最速降线问题发展而来，是现代优化和控制理论的基础；在机器学习中，变分推断将其应用于概率建模。

核心概念

泛函：将函数映射到实数的映射。

$J [y] = \int_{a}^{b} F (x, y, y^{'}) d x$

变分问题：寻找使泛函达到极值的函数 $y^{*}$ 。

极值函数满足：

$\frac{\partial F}{\partial y} - \frac{d}{d x} \frac{\partial F}{\partial y ^{'}} = 0$

在机器学习中，变分推断用简单分布 $q (Z)$ 近似复杂后验 $p (Z ∣ X)$ ：

$min_{q} D_{K L} (q (Z) ∥ p (Z ∣ X))$

等价于最大化证据下界（ELBO）。详见 Kullback-Leibler散度。