概率论思想史 从赌桌到公理化
一门起源于赌博的学问，凭什么变成整个机器学习的世界观？本文沿三百年的问题链回溯：概率如何从「公平分钱」的规则，长成描述数据、信念与模型的语言。
分赌本：概率第一次成为可计算的量
1654 年，帕斯卡与费马通信解决分赌本问题（problem of points）：先胜三轮者赢走全部赌金的比赛中途被打断，钱该怎么分？按已赢轮数比例分账是错的——正确答案看「若赌局继续，各自的获胜前景」：枚举剩余所有局路，把每种结局的概率乘以该结局下的收益，再求和。这个量后来叫期望（expectation）：
比答案更重要的是：不确定性第一次成为数学对象——不是被消除，而是被计算。1657 年惠更斯把这套方法写成第一本概率教科书《论赌博中的计算》，期望是全书的核心概念。此后近一个世纪，概率论的进度几乎全挂在期望及其推广上。
大数定律：在频率与概率之间架桥
赌桌上的概率是先验给定的——骰子每面 自明。可现实世界没有骰子提供对称性：经验频率凭什么等于概率？这个问题决定概率论是赌博的注脚还是科学的语言。
雅各布·伯努利在《猜度术》（Ars Conjectandi，1713，身后出版）中给出他自称的「黄金定理」：独立重复试验中，频率依概率收敛于真实概率 ，且误差与把握皆可任意指定。大数定律（law of large numbers）把可观察的频率与不可观察的概率焊接起来，概率论自此可进军一切「可重复观察」的领域——出生率、死亡率、法庭证据。这一步在微积分的语境中迈出，概率论与欧拉与十八世纪分析的黄金时代共享同一套级数与极限工具；极限的下一层结构随即浮现：棣莫弗 1733 年发现二项分布的近似曲线，正态曲线首次登场，斯特林公式让计算落地。这条钟形曲线此刻只是技巧，一百年后将成为误差理论的主角。
逆概率：从结果反推原因
十八世纪的概率方向仍是「由因推果」：已知骰子，预测点数。1763 年贝叶斯（Thomas Bayes，身后由 Price 发表）走出惊世一步：由果推因——给定观测数据，原因（参数）的概率分布是什么？
拉普拉斯把这条思路与生成函数、误差理论熔于一炉，1812 年出版《概率的分析理论》，给出中心极限定理（central limit theorem）的早期形式：大量独立误差之和趋向正态分布。这解释了天文观测误差为何呈钟形，也确立了概率论在测量科学中的地位。同期高斯与勒让德为小行星定轨发明最小二乘法（least squares）——「正态误差 + 参数估计」的第一工业级应用，数据科学的史前史，谱系直通最优化方法史 从最小二乘到随机梯度。
耐人寻味的是拉普拉斯的宇宙观：世界完全决定，概率只是无知者对确定世界的度量（「拉普拉斯妖」）。逆概率与决定论在他身上并不矛盾——概率刻画的是观察者与信息的关系，而非世界本身。这句话今天读来，几乎是贝叶斯机器学习的纲领。
哲学诟病与统计学分家
拉普拉斯的综合把概率推向巅峰，也埋下危机：等可能假设被斥为循环论证，逆概率的先验选取被指无客观依据，「测度信念」在实证主义时代像形而上学。学科重心因此转移——从「信念的测度」转向「数据的分析」，统计学从概率论分家单过。
K. 皮尔逊用矩方法拟合分布、发明 检验；Fisher 1922 年系统化极大似然估计（MLE），并刻意用 likelihood 与 probability 划清界限——参数不是随机变量，似然不是概率，这条概念分水岭至今左右两派之争（见从“似然”到频率学派与贝叶斯学派：一个被反复误解的核心概念）；Neyman–Pearson 把假设检验做成带错误率控制的决策程序。MLE、p 值、置信区间——ML 读者熟悉的基础设施全部诞生于这场分家。同一时期，俄国学派在数学本体上闷头推进：切比雪夫以矩方法给出大数定律的普遍证明，马尔可夫 1906 年打破独立性假设、提出马尔可夫链（Markov chain），相依随机变量的极限理论自此开场。概率论开始脱离「解释概率是什么」的纠缠，变成「证明定理」的分析学。
公理化：概率即测度
哲学争论无解，数学给出了自己的解法：不回答概率是什么，只规定概率满足什么。1933 年柯尔莫哥洛夫出版《概率论基础》（Grundbegriffe）：样本空间 上的事件构成 σ-代数，概率 是满足非负性、可列可加性且 的测度，随机变量就是可测函数。
这套语言来自勒贝格测度与积分，源头是康托尔与集合论对无穷集合的操作；其精神继承分析的严格化——如同 ε-δ 之于极限，公理把概率直觉翻译成无歧义的形式对象，与数学基础三大学派时代的公理化纲领同频。收益是全局的：大数定律与中心极限定理从经验事实变成定理，布朗运动、马尔可夫过程获得统一定义，概率论正式并入主流数学。同样关键的是公理的沉默：它不裁决频率与贝叶斯之争——两种解释都满足公理。哲学问题被悬置而非解决，这为贝叶斯复兴保留了合法性。
贝叶斯复兴：概率即模型
被悬置的哲学在二十世纪下半叶卷土重来。Savage 1954 年证明满足一致理性的信念必然服从概率公理，主观概率获得决策论根基；de Finetti 的可交换性定理表明先验不必是形而上学假设；MCMC 让高维后验从不可计算变为可采样，贝叶斯方法从异端变成工程选项。
机器学习完整继承了这条双线遗产。训练即推断：最小化 cross-entropy 就是在做极大似然，MAP 是加先验的似然优化，贝叶斯推断干脆把「学到的模型」定义为后验分布本身。生成模型把世界观推到极致——VAE 学隐变量的后验，normalizing flows 与 diffusion models 直接以「把噪声变换成数据分布」为模型定义。语言模型输出 next-token 分布，用到的仍是 1654 年的两件工具：期望（对未来加权）与逆概率（从数据反推模型）。
从赌桌上的一封信，到给下一个 token 定价——三百年的问题链在此收束：概率不是关于运气的学问，而是关于在信息不完全时如何持有并更新信念的学问。机器学习把这句话从哲学变成了工程。