受限玻尔兹曼机（RBM）是无向图模型，假设隐变量和观测变量内部无连接，只存在层间连接。概率密度函数为指数族分布，推断可解析求解。

模型定义

将观测变量和隐变量记为 $v$ 和 $h$，无向图的玻尔兹曼分布：

$$p(h,v)=\frac{1}{Z}\exp(-E(v,h))$$

能量函数： $$E(v,h)=-(h^Twv+\alpha^T v+\beta^T h)$$

概率展开： $$p(h,v)=\frac{1}{Z}\prod_{i=1}^m\prod_{j=1}^n\exp(h_iw_{ij}v_j)\prod_{j=1}^n\exp(\alpha_jv_j)\prod_{i=1}^m\exp(\beta_ih_i)$$

推断

后验概率 $p(h|v)$

根据局部马尔可夫性质，$p(h|v)=\prod_{i=1}^mp(h_i|v)$。

对于 Binary RBM（$h_i \in {0,1}$）：

$$p(h_l=1|v)=\sigma\left(\sum_{j=1}^nw_{lj}v_j+\beta_l\right)$$

其中 $\sigma$ 为 Sigmoid 函数。

边缘概率 $p(v)$

$$p(v)=\frac{1}{Z}\exp\left(\alpha^Tv+\sum_{i=1}^m\log(1+\exp(w_iv+\beta_i))\right)$$

其中 $\log(1+\exp(x))$ 为 Softplus 函数。

概率图模型特点对比

不同概率图模型对以下特点作出不同假设：