近似推断将推断问题转化为优化问题，通过最大化 ELBO（证据下界）近似求解后验分布。主要用于深度生成模型中的隐变量推断。

推断目的

1. 根据观测推断隐变量
2. 为参数学习提供帮助

推断的困难

• 无向图：节点耦合强，因子分解困难
• 有向图：条件相关性（explain away）导致推断困难

ELBO 推导

$$\log p(v)=\log\frac{p(v,h)}{p(h|v)}=\log\frac{p(v,h)}{q(h|v)}+\log\frac{q(h|v)}{p(h|v)}$$

两边对 $h$ 积分：

$$\log p(v)=\mathbb{E}_{q(h|v)}[\log\frac{p(v,h)}{q(h|v)}]+KL(q(h|v)||p(h|v))$$

ELBO 定义： $$\mathcal{L}(q)=\mathbb{E}_{q(h|v)}[\log p(v,h)]+H(q)$$

由于 $KL \geq 0$，ELBO 为对数似然的变分下界。