熵

熵 $H(X)=-{\sum }_i{p}_i\log p_i$ 度量随机变量的平均不确定性——「搞清楚 $X$ 的取值平均需要多少比特」。信息论一切量的基准零点。

定义

$$H(X)=-\sum _i{p}_i\log p_i(\text{约定 }0\log 0=0)$$

底数取 2 时单位为 bit，取 $e$ 时为 nat。对对数运算的依赖使熵兼具组合意义（$\log$ 计数）与概率意义（期望）。

直觉与性质

性质	内容
非负	$H(X)\ge 0$
均匀最大	固定取值数时等分布熵最大：硬币均匀时 $H=1$ bit
确定性最小	退化为单点分布时 $H=0$——没有不确定性
链式法则	$H(X,Y)=H(X)+H(Y\mid X)$

家族

• 联合熵 / 条件熵：$H(X,Y)$、$H(Y|X)$，后者 = 观测 $X$ 后残余的不确定性
• 互信息 $I(X;Y)=H(X)-H(X|Y)$：观测带来的熵削减，见互信息
• 交叉熵与 KL 散度：$H(p,q)=H(p)+D_{KL}(p\Vert q)$，机器学习损失函数的来源，见交叉熵损失
• 率失真函数：有损压缩的极限由熵的推广刻画，见率失真理论

在哪里遇到它

• 分类损失（交叉熵 = 熵 + KL）
• 决策树分裂准则（信息增益 = 互信息）
• 数据压缩极限（Shannon 信源编码定理：平均码长 $\ge H$）
• 语言模型困惑度（perplexity $=2^H$）

相关笔记

• 互信息 — 熵的差值，变量间信息重叠
• 交叉熵损失 — 熵家族在 ML 中的日常形态
• 率失真理论 — 有损压缩中的熵
• 对数运算 — 熵的解析骨架