张芷铭的个人博客

概率论学习需建立从基础到高级的知识框架,结合微积分、线性代数等数学工具,通过理论学习和编程实践加深理解。

数学基础

概率论涉及以下数学工具:

基础学科应用场景
线性代数随机变量、矩阵运算
微积分概率密度函数、分布函数
集合论与组合数学事件、样本空间、排列组合

核心概念

基本定义

概念定义
样本空间 $\Omega$所有可能实验结果的集合
事件样本空间的子集
概率 $P$事件发生的可能性

Kolmogorov 公理

$$P(\Omega) = 1$$

$$P(A) \geq 0 \quad \text{对于任何事件 } A$$

$$P(A \cup B) = P(A) + P(B) \quad \text{对于不相交事件 } A, B$$

经典内容

条件概率与独立性

条件概率:

$$P(A | B) = \frac{P(A \cap B)}{P(B)}$$

独立事件:

$$P(A \cap B) = P(A) \cdot P(B)$$

全概率公式与贝叶斯定理

全概率公式:

$$P(A) = \sum_{i=1}^{n} P(A | B_i) P(B_i)$$

贝叶斯定理:

$$P(B_i | A) = \frac{P(A | B_i) P(B_i)}{P(A)}$$

随机变量与分布

类型分布示例期望公式
离散二项分布、泊松分布$E[X] = \sum_i x_i P(x_i)$
连续正态分布、指数分布$E[X] = \int x f(x) dx$

大数法则与中心极限定理

  • 大数法则:样本平均值趋近于理论期望值
  • 中心极限定理:独立同分布随机变量和标准化后趋向正态分布

高级主题

  • 马尔可夫过程
  • 随机过程与随机微积分
  • 信息论(熵、互信息)

应用领域

领域应用
数据科学与机器学习贝叶斯网络、MCMC 方法
金融数学期权定价、风险管理
统计学统计推断方法

Python 实践

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm

mu, sigma = 0, 0.1
s = np.random.normal(mu, sigma, 1000)

plt.hist(s, bins=30, density=True, alpha=0.6, color='g')

xmin, xmax = plt.xlim()
x = np.linspace(xmin, xmax, 100)
p = norm.pdf(x, mu, sigma)
plt.plot(x, p, 'k', linewidth=2)

plt.title("Normal Distribution")
plt.show()

推荐资源

教材:

  • 《概率论及其应用》(William Feller)
  • 《概率论基础》(Sheldon Ross)
  • 《统计学习方法》(李航)

在线课程:

  • Coursera: Statistics and R(哈佛大学)
  • MIT OpenCourseWare: 概率论

Comments