指数族分布是一类分布的统一形式，包括高斯、伯努利、泊松、Beta、Dirichlet、Gamma 等分布。具有共轭先验性质，满足最大熵原理。

统一形式

$p (x ∣ η) = h (x) exp (η^{T} ϕ (x) - A (η))$

参数说明：

一维高斯分布

将高斯分布改写为指数族形式：

$p (x ∣ θ) = \frac{1}{2 π σ} exp (- \frac{( x - μ ) ^{2}}{2 σ ^{2}})$

参数向量： $η = (\frac{μ}{σ ^{2}} - \frac{1}{2 σ ^{2}})$

$A^{'} (η) = E_{p (x ∣ η)} [ϕ (x)]$

$A^{''} (η) = Va r_{p (x ∣ η)} [ϕ (x)]$

由于方差非负， $A (η)$ 为凸函数。

$A^{'} (η_{M L E}) = \frac{1}{N} \sum_{i = 1}^{N} ϕ (x_{i})$

参数估计只需充分统计量。

对经验分布 $\overset{p}{^} (x)$ ，在约束 $E_{p} [f (x)] = Δ$ 下最大化熵：

$p (x) = exp (λ^{T} f (x) + λ_{0} - 1)$

结论： 满足最大熵原理的分布为指数族分布。