在概率论与统计学中，似然函数和概率分布函数是两个非常重要的概念。它们在数据建模、估计和假设检验中扮演着核心角色。尽管它们看起来相似，但在含义和使用场景上有所不同。以下是对这两个概念的详细解释：
1. 概率分布函数 (Probability Distribution Function, PDF)
定义
概率分布函数描述了一个随机变量在某些特定取值下发生的概率。它是对随机变量的概率行为进行数学建模的一种方式。根据随机变量的类型，常见的概率分布有：
• 离散型随机变量：其概率分布通过概率质量函数（PMF）给出，表示每个取值的概率。
• 连续型随机变量：其概率分布通过概率密度函数（PDF）给出，描述了随机变量在某一范围内的概率密度。
1.1 离散型随机变量的概率分布
对于离散型随机变量 $X$，概率质量函数（PMF）定义为：
$$ P(X = x_i) = p(x_i), \quad i = 1, 2, \dots $$
其中，$p(x_i)$ 是随机变量 $X$ 取值为 $x_i$ 的概率，满足：
• $p(x_i) \geq 0$ 对于所有 $x_i$；
• $\sum_i p(x_i) = 1$。
1.2 连续型随机变量的概率分布
对于连续型随机变量 $X$，概率分布通过概率密度函数（PDF）来描述。概率密度函数 $f_X(x)$ 是这样定义的：
$$ P(a \leq X \leq b) = \int_a^b f_X(x) dx $$
其中，$f_X(x)$ 满足：
• $f_X(x) \geq 0$ 对于所有 $x$；
• $\int_{-\infty}^{\infty} f_X(x) dx = 1$，即概率密度函数的积分在整个实数范围内为1。
示例
假设我们有一个标准正态分布的随机变量 $X$，其概率密度函数为：
$$ f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} $$
这表明，$X$ 的值更可能接近于0，并且在$-1$到$1$之间的概率较高。
2. 似然函数 (Likelihood Function, LF)
定义
似然函数是给定观察数据后，用于估计参数的一个函数。简而言之，似然函数描述了在给定参数条件下，观察到的数据的概率。它与概率分布函数（PDF）的区别在于：概率分布函数通常是基于随机变量的分布来描述数据，而似然函数则是基于已观测到的数据来推测参数。
2.1 似然函数的形式
假设我们有一个由某个概率分布生成的数据样本 ${x_1, x_2, \dots, x_n}$，且该数据样本来自于某个概率分布，其概率密度函数（PDF）为 $f(x; \theta)$，其中 $\theta$ 是分布的参数。则似然函数 $L(\theta)$ 定义为：
$$ L(\theta) = P(x_1, x_2, \dots, x_n | \theta) = \prod_{i=1}^{n} f(x_i; \theta) $$
这个函数描述了在参数 $\theta$ 下，观察到数据样本的概率。对于独立同分布（i.i.d.）的数据，似然函数是各个观测值的概率密度函数的乘积。
2.2 似然函数与概率的区别
• 概率分布函数：它是给定一个随机变量 $X$ 的分布和一个参数 $\theta$ 后，计算特定取值的概率。例如，对于正态分布 $X \sim N(\mu, \sigma^2)$，给定某个 $\mu$ 和 $\sigma$，可以计算 $P(X \leq x)$。
• 似然函数：它是给定一组数据 ${x_1, x_2, \dots, x_n}$ 后，计算在某个参数值下，这些数据出现的”可能性”。换句话说，似然函数给出的是给定参数的条件下数据的”反向”概率。
2.3 似然函数的最大化
似然函数的一个重要应用是最大似然估计（Maximum Likelihood Estimation, MLE）。MLE 是通过选择使得观察到的数据最可能发生的参数值来估计未知参数。最大似然估计的过程是：
$$ \hat{\theta}{MLE} = \arg\max{\theta} L(\theta) $$
在实际应用中，似然函数通常取对数，即对数似然函数：
$$ \log L(\theta) = \sum_{i=1}^{n} \log f(x_i; \theta) $$
因为对数运算可以简化计算，并且最大化对数似然与最大化似然函数是等价的。
示例
假设我们有一个从正态分布 $N(\mu, \sigma^2)$ 中采样得到的数据样本 ${x_1, x_2, \dots, x_n}$，则正态分布的概率密度函数为：
$$ f(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} $$
则对应的似然函数为：
$$ L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x_i - \mu)^2}{2\sigma^2}} $$
通过最大化该似然函数，我们可以估计出最可能的 $\mu$ 和 $\sigma^2$。
3. 区别与联系
相似点：
• 两者都涉及概率：概率分布函数描述了数据的分布，而似然函数描述了数据在给定参数下的“可能性”。
• 都依赖于参数：概率分布函数依赖于模型参数，似然函数也依赖于参数，并通过这些参数估计数据的可能性。
区别：
• 概率分布函数（PDF）是给定参数 $\theta$ 后计算特定数据点 $x$ 的概率，而似然函数是给定数据点 $x_1, x_2, \dots, x_n$ 后计算某个参数 $\theta$ 的“可能性”。
• 概率分布函数的目标是通过已知参数预测数据的分布，而似然函数的目标是通过已知数据推测模型的参数。
举个简单例子：
假设我们有一枚硬币，掷 10 次后出现 7 次正面。假设硬币的正面朝上的概率是 $\theta$，那么：
• 概率分布函数：是给定 $\theta$（正面概率），计算 7 次正面朝上的概率。
• 似然函数：是给定 7 次正面朝上的观测结果，反向计算 $\theta$ 的值，使得这个结果最可能发生。
4. 总结
• 概率分布函数描述了随机变量的分布，是对随机过程的直接描述。
• 似然函数则是给定数据后，用于估计参数的工具，它是一个反向推理过程，用来找出使得观测数据最可能的参数值。
在统计推断中，似然函数是估计未知参数的核心工具，而概率分布函数则是描述随机现象的基础。
💬 评论