10.VI

变分推断通过最大化 ELBO 近似后验分布，分为基于平均场的坐标上升和基于梯度的随机变分推断（SGVI）。

问题设定

推断核心是求解参数后验分布：

$p(\hat{x}|X)={\int }_{\theta }p(\theta |X)p(\hat{x}|\theta )d\theta$

变分下界

$\log p(X)=ELBO+KL(q,p)$

$ELBO=L(q)={\int }_{Z}q(Z)\log p(X,Z)dZ-{\int }_{Z}q(Z)\log q(Z)dZ$

最大化 $L(q)$ 等价于最小化 KL 散度。

平均场变分推断

假设 $q(Z)={\prod }_{i=1}^M{q}_i(Z_i)$，坐标上升求解：

$q_j(Z_j)=\hat{p}(X,Z_j)=\exp ({\mathbb{E}}_{{\prod }_{i\ne j}{q}_i}[\log p(X,Z)])$

局限性：

• 平均场假设太强
• 期望中的积分可能无法计算

随机梯度变分推断 (SGVI)

将变分推断转化为优化问题：${\mathrm{argmax}}_{\varphi }L(\varphi )$

Score Function 梯度： ${\nabla }_{\varphi }L(\varphi )={\mathbb{E}}_{q_{\varphi }}[({\nabla }_{\varphi }\log q_{\varphi })(\log p_{\theta }(x,z)-\log q_{\varphi }(z))]$

重参数化技巧：

令 $z=g_{\varphi }(\epsilon ,x)$，$\epsilon \sim p(\epsilon )$：

${\nabla }_{\varphi }L(\varphi )={\mathbb{E}}_{p(\epsilon )}[{\nabla }_z[\log p_{\theta }(x,z)-\log q_{\varphi }(z)]{\nabla }_{\varphi }{g}_{\varphi }(\epsilon ,x)]$

重参数化降低方差，可通过蒙特卡洛采样估计梯度。