矩

矩（moment）是随机变量幂次的期望，刻画分布的数字特征：一阶矩是均值，二阶中心矩是方差。

定义

随机变量 $X$ 的 $k$ 阶原点矩：

$μ_{k} = E [X^{k}]$

$k$ 阶中心矩（先减期望再取幂）：

$m_{k} = E [(X - E X)^{k}]$

多维情形有混合矩 $E [X Y]$ ；协方差 $Cov (X, Y)$ 是中心混合矩。

原点矩与中心矩的关系： $E [X^{2}] = E [X]^{2} + Var [X]$ ，二阶原点矩同时编码了均值与方差信息。

用样本平均估计总体矩：

$\overset{μ}{^}_{k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{k}$

令样本矩等于总体矩、解出未知参数，即矩估计法（Method of Moments）——早于极大似然的最古老参数估计方法。更多推断方法见统计学速查。

Adam 论文里的”一阶矩 / 二阶矩估计”是把随机梯度 $g_{t}$ 视作随机变量：

由原点矩关系， $v_{t} \approx E [g]^{2} + Var [g]$ ，同时包含信号与噪声；比值 $m_{t} / v_{t}$ 因此近似梯度的信噪比，噪声大时 Adam 步长自动收缩。计算方式是指数移动平均加偏差修正，见 Adam算法全解：从数学原理到工业界最佳实践。