詹式不等式 Jensen不等式

Jensen不等式是凸分析的核心工具，在概率论、信息论、机器学习中广泛应用。

定义

设 $f$ 为凸函数，$X$ 为随机变量：

$f(E[X])\le E[f(X)]$

对于凹函数，不等号反向。

凸函数定义

函数 $f$ 满足：对任意 $x_1,x_2$ 和 $\lambda \in [0,1]$：

$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$

应用场景

领域	应用
变分推断	ELBO推导
信息论	互信息下界
优化理论	收敛性证明
生成模型	GAN、VAE理论分析

关键性质

• 非负性：KL散度 $D_{KL}(P\Vert Q)\ge 0$ 的证明基础
• EM算法：E步的下界推导
• ELBO：$\log p(x)\ge E_q[\log p(x,z)-\log q(z)]$