指数族分布是一类分布的统一形式，包括高斯、伯努利、泊松、Beta、Dirichlet、Gamma 等分布。具有共轭先验性质，满足最大熵原理。

统一形式

$$p(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))$$

参数说明：

• $\eta$：参数向量
• $\phi(x)$：充分统计量
• $A(\eta)$：对数配分函数

一维高斯分布

将高斯分布改写为指数族形式：

$$p(x|\theta)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$$

参数向量： $$\eta=\begin{pmatrix}\frac{\mu}{\sigma^2}\-\frac{1}{2\sigma^2}\end{pmatrix}$$

充分统计量

与对数配分函数的关系

$$A’(\eta)=\mathbb{E}_{p(x|\eta)}[\phi(x)]$$

$$A’’(\eta)=Var_{p(x|\eta)}[\phi(x)]$$

由于方差非负，$A(\eta)$ 为凸函数。

与 MLE 的关系

$$A’(\eta_{MLE})=\frac{1}{N}\sum_{i=1}^N\phi(x_i)$$

参数估计只需充分统计量。

最大熵原理

对经验分布 $\hat{p}(x)$，在约束 $\mathbb{E}_p[f(x)]=\Delta$ 下最大化熵：

$$p(x)=\exp(\lambda^Tf(x)+\lambda_0-1)$$

结论： 满足最大熵原理的分布为指数族分布。

性质与应用