概率论

概率论学习需建立从基础到高级的知识框架，结合微积分、线性代数等数学工具，通过理论学习和编程实践加深理解。

数学基础

概率论涉及以下数学工具：

基础学科	应用场景
线性代数	随机变量、矩阵运算
微积分	概率密度函数、分布函数
集合论与组合数学	事件、样本空间、排列组合

核心概念

基本定义

概念	定义
样本空间 $\Omega$	所有可能实验结果的集合
事件	样本空间的子集
概率 $P$	事件发生的可能性

Kolmogorov 公理

$P(\Omega )=1$

$P(A)\ge 0\text{对于任何事件 }A$

$P(A\cup B)=P(A)+P(B)\text{对于不相交事件 }A,B$

经典内容

条件概率与独立性

条件概率：

$P(A|B)=\frac{P(A\cap B)}{P(B)}$

独立事件：

$P(A\cap B)=P(A)\cdot P(B)$

全概率公式与贝叶斯定理

全概率公式：

$P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$

贝叶斯定理：

$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}$

随机变量与分布

类型	分布示例	期望公式
离散	二项分布、泊松分布	$E[X]={\sum }_i{x}_{i}P(x_i)$
连续	正态分布、指数分布	$E[X]=\int xf(x)dx$

大数法则与中心极限定理

• 大数法则：样本平均值趋近于理论期望值
• 中心极限定理：独立同分布随机变量和标准化后趋向正态分布

高级主题

• 马尔可夫过程
• 随机过程与随机微积分
• 信息论（熵、互信息）

应用领域

领域	应用
数据科学与机器学习	贝叶斯网络、MCMC 方法
金融数学	期权定价、风险管理
统计学	统计推断方法

Python 实践

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
 
mu, sigma = 0, 0.1
s = np.random.normal(mu, sigma, 1000)
 
plt.hist(s, bins=30, density=True, alpha=0.6, color='g')
 
xmin, xmax = plt.xlim()
x = np.linspace(xmin, xmax, 100)
p = norm.pdf(x, mu, sigma)
plt.plot(x, p, 'k', linewidth=2)
 
plt.title("Normal Distribution")
plt.show()

推荐资源

教材：

• 《概率论及其应用》（William Feller）
• 《概率论基础》（Sheldon Ross）
• 《统计学习方法》（李航）

在线课程：

• Coursera: Statistics and R（哈佛大学）
• MIT OpenCourseWare: 概率论