张芷铭的个人博客

高斯网络是连续变量的概率图模型,分为有向(高斯贝叶斯网络)和无向(高斯马尔可夫网络)两种形式。

高斯分布基础

节点服从 $\mathcal{N}(\mu_i, \Sigma_i)$,联合分布为多元高斯。

独立性条件

条件结论
边缘独立$x_i \perp x_j \Leftrightarrow \sigma_{ij} = 0$
条件独立$x_i \perp x_j

精度矩阵 $\Lambda = \Sigma^{-1}$ 编码条件独立性。

高斯贝叶斯网络(GBN)

LDS 的推广,节点可有多个父节点。因子分解:

$$p(x) = \prod_{i=1}^p p(x_i|x_{Parents(i)})$$

条件分布为线性高斯:

$$x_i = \mu_i + \sum_{j \in Parents(i)} w_{ij}(x_j - \mu_j) + \sigma_i \varepsilon_i$$

矩阵形式:$x - \mu = W(x - \mu) + S\varepsilon$,协方差 $\Sigma = (\mathbb{I}-W)^{-1} S^2 [(\mathbb{I}-W)^{-1}]^T$

高斯马尔可夫网络(GMN)

无向图因子分解:

$$p(x) = \frac{1}{Z} \prod_i \phi_i(x_i) \prod_{i,j} \phi_{ij}(x_i, x_j)$$

展开高斯分布:

$$p(x) \propto \exp\left(-\frac{1}{2}x^T\Lambda x + h^Tx\right)$$

其中 $h = \Lambda\mu$ 为势向量。势函数对应:

  • 节点势:$-\frac{1}{2}\lambda_{ii}x_i^2 + h_i x_i$
  • 边势:$-\lambda_{ij}x_i x_j$

精度矩阵的非零元直接对应图的边。

Comments