11.MCMC

MCMC 通过构建马尔可夫链使其收敛到目标分布，包括拒绝采样、重要性采样、Metropolis-Hastings 和 Gibbs 采样。

采样方法对比

方法	思路	适用场景
CDF 采样	求累积分布反函数	简单分布
拒绝采样	提议分布+接受率	单峰分布
重要性采样	加权求期望	方差可控时
MCMC	构建马尔可夫链	高维复杂分布

拒绝采样

提议分布 $q(z)$ 满足 $Mq(z)\ge p(z)$，接受率：

$\alpha =\frac{p(z)}{Mq(z)}\le 1$

重要性采样

${\mathbb{E}}_{p(z)}[f(z)]=\frac{1}{N}{\sum }_{i=1}^{N}f(z_i)\frac{p(z_i)}{q(z_i)}$

权重过小时效率低。

马尔可夫链

平稳分布满足：

$\pi (x)p_{x\to x^{\ast }}=\pi (x^{\ast })p_{x^{\ast }\to x}$

Metropolis-Hastings 算法

接受率：

$\alpha (z,z^{\ast })=\min \left\{1,\frac{p(z^{\ast })Q_{z^{\ast }\to z}}{p(z)Q_{z\to z^{\ast }}}\right\}$

算法流程：

1. 均匀采样 $u\in [0,1]$
2. 生成 $z^{\ast }\sim Q(z^{\ast }|z^{i-1})$
3. 计算 $\alpha$
4. 若 $\alpha \ge u$，则 $z^i=z^{\ast }$，否则 $z^i=z^{i-1}$

Gibbs 采样

固定其他维度，采样单个维度：

$z_i^{t+1}\sim p(z_i|z_{-i})$

Gibbs 采样是 MH 采样的特例，接受率恒为 1。

MCMC 问题

问题	说明
收敛判断	无法确定是否已达平稳分布
混合时间长	高维空间可能无法采样到某些区域
样本相关	可通过间隔采样缓解