9.GMM

高斯混合模型通过多个高斯分布的加权平均拟合多峰数据，引入离散隐变量 $z$ 表示样本所属的高斯分布，通过 EM 算法求解参数。

模型定义

$p(x)={\sum }_{k=1}^K{\alpha }_k\mathcal{N}({\mu }_k,{\Sigma }_k)$

引入隐变量 $z$，生成式模型表示为：

$p(x)={\sum }_{k=1}^K{p}_k\mathcal{N}(x|{\mu }_k,{\Sigma }_k)$

极大似然估计

${\theta }_{MLE}={\mathrm{argmax}}_{\theta }{\sum }_{i=1}^N\log {\sum }_{k=1}^K{p}_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)$

由于连加号存在，无法得到解析解，需使用 EM 算法。

EM 求解

E-step 计算隐变量后验：

$p(z|x,{\theta }^t)=\frac{p_z^t\mathcal{N}(x|{\mu }_z^t,{\Sigma }_z^t)}{{\sum }_k{p}_k^t\mathcal{N}(x|{\mu }_k^t,{\Sigma }_k^t)}$

M-step 更新参数：

混合系数： $p_k^{t+1}=\frac{1}{N}{\sum }_{i=1}^{N}p(z_i=k|x_i,{\theta }^t)$

均值： ${\mu }_k^{t+1}=\frac{{\sum }_{i=1}^{N}p(z_i=k|x_i,{\theta }^t)x_i}{{\sum }_{i=1}^{N}p(z_i=k|x_i,{\theta }^t)}$

协方差： ${\Sigma }_k^{t+1}=\frac{{\sum }_{i=1}^{N}p(z_i=k|x_i,{\theta }^t)(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T}{{\sum }_{i=1}^{N}p(z_i=k|x_i,{\theta }^t)}$