19.RBM

受限玻尔兹曼机（RBM）是无向图模型，假设隐变量和观测变量内部无连接，只存在层间连接。概率密度函数为指数族分布，推断可解析求解。

模型定义

将观测变量和隐变量记为 $v$ 和 $h$，无向图的玻尔兹曼分布：

$p(h,v)=\frac{1}{Z}\exp (-E(v,h))$

能量函数： $E(v,h)=-(h^{T}wv+{\alpha }^{T}v+{\beta }^{T}h)$

概率展开： $p(h,v)=\frac{1}{Z}{\prod }_{i=1}^m{\prod }_{j=1}^n\exp (h_i{w}_{ij}{v}_j){\prod }_{j=1}^n\exp ({\alpha }_j{v}_j){\prod }_{i=1}^m\exp ({\beta }_i{h}_i)$

推断

后验概率 $p(h|v)$

根据局部马尔可夫性质，$p(h|v)={\prod }_{i=1}^{m}p(h_i|v)$。

对于 Binary RBM（$h_i\in \{0,1\}$）：

$p(h_l=1|v)=\sigma \left({\sum }_{j=1}^n{w}_{lj}{v}_j+{\beta }_l\right)$

其中 $\sigma$ 为 Sigmoid 函数。

边缘概率 $p(v)$

$p(v)=\frac{1}{Z}\exp \left({\alpha }^{T}v+{\sum }_{i=1}^m\log (1+\exp (w_{i}v+{\beta }_i))\right)$

其中 $\log (1+\exp (x))$ 为 Softplus 函数。

概率图模型特点对比

不同概率图模型对以下特点作出不同假设：

特点	说明
方向	边的性质
离散/连续/混合	节点的性质
条件独立性	边的性质
隐变量	节点的性质
指数族	结构特点