23.ApproInference

近似推断将推断问题转化为优化问题，通过最大化 ELBO（证据下界）近似求解后验分布。主要用于深度生成模型中的隐变量推断。

推断目的

1. 根据观测推断隐变量
2. 为参数学习提供帮助

推断的困难

• 无向图：节点耦合强，因子分解困难
• 有向图：条件相关性（explain away）导致推断困难

ELBO 推导

$\log p(v)=\log \frac{p(v,h)}{p(h|v)}=\log \frac{p(v,h)}{q(h|v)}+\log \frac{q(h|v)}{p(h|v)}$

两边对 $h$ 积分：

$\log p(v)={\mathbb{E}}_{q(h|v)}[\log \frac{p(v,h)}{q(h|v)}]+KL(q(h|v)||p(h|v))$

ELBO 定义： $\mathcal{L}(q)={\mathbb{E}}_{q(h|v)}[\log p(v,h)]+H(q)$

由于 $KL\ge 0$，ELBO 为对数似然的变分下界。