高斯网络是连续变量的概率图模型,分为有向(高斯贝叶斯网络)和无向(高斯马尔可夫网络)两种形式。
高斯分布基础
节点服从 $\mathcal{N}(\mu_i, \Sigma_i)$,联合分布为多元高斯。
独立性条件:
| 条件 | 结论 |
|---|---|
| 边缘独立 | $x_i \perp x_j \Leftrightarrow \sigma_{ij} = 0$ |
| 条件独立 | $x_i \perp x_j |
精度矩阵 $\Lambda = \Sigma^{-1}$ 编码条件独立性。
高斯贝叶斯网络(GBN)
LDS 的推广,节点可有多个父节点。因子分解:
$$p(x) = \prod_{i=1}^p p(x_i|x_{Parents(i)})$$
条件分布为线性高斯:
$$x_i = \mu_i + \sum_{j \in Parents(i)} w_{ij}(x_j - \mu_j) + \sigma_i \varepsilon_i$$
矩阵形式:$x - \mu = W(x - \mu) + S\varepsilon$,协方差 $\Sigma = (\mathbb{I}-W)^{-1} S^2 [(\mathbb{I}-W)^{-1}]^T$
高斯马尔可夫网络(GMN)
无向图因子分解:
$$p(x) = \frac{1}{Z} \prod_i \phi_i(x_i) \prod_{i,j} \phi_{ij}(x_i, x_j)$$
展开高斯分布:
$$p(x) \propto \exp\left(-\frac{1}{2}x^T\Lambda x + h^Tx\right)$$
其中 $h = \Lambda\mu$ 为势向量。势函数对应:
- 节点势:$-\frac{1}{2}\lambda_{ii}x_i^2 + h_i x_i$
- 边势:$-\lambda_{ij}x_i x_j$
精度矩阵的非零元直接对应图的边。
张芷铭的个人博客
Comments