范数

范数（norm）度量向量的”长度”，是距离、正则化、梯度裁剪、归一化等概念的公共数学基础。

定义

向量 $x \in R^{n}$ 的 $L_{p}$ 范数：

$∥ x ∥_{p} = (\sum_{i} ∣ x_{i} ∣^{p})^{1/ p}, p \geq 1$

$p \geq 1$ 才满足三角不等式； $p < 1$ （包括常说的” $L_{0}$ 范数”，非零元个数）不是真正的范数。

常用范数

范数	定义	特点与用途
$L_{1}$	$\sum_{i} ∣ x_{i} ∣$	促进稀疏，LASSO
$L_{2}$	$\sum_{i} x_{i}^{2}$	欧氏长度，Ridge / 权重衰减
$L_{\infty}$	$max_{i} ∣ x_{i} ∣$	各分量最大绝对值
Frobenius	$\sum_{ij} a_{ij}^{2}$	矩阵版 $L_{2}$ ，衡量矩阵整体大小

几何直觉：单位 $L_{p}$ 球随 $p$ 增大变”方”—— $L_{1}$ 是菱形， $L_{2}$ 是圆， $L_{\infty}$ 是正方形。 $L_{1}$ 球的尖角正是稀疏解偏好的来源：等值线与 $L_{1}$ 球易在坐标轴上相切。

深度学习中的范数

梯度裁剪： $∥ \nabla ∥_{2} > c$ 时整体按比例缩放，防梯度爆炸（防的是 $L_{2}$ 范数过大，不是逐元素截断）
权重衰减： $L_{2}$ 范数平方惩罚，见权重衰减与L2正则化
Adamax：用 $L_{\infty}$ （各步 $max$ 递推）替代 Adam 二阶矩的缩放
归一化层：LayerNorm / RMSNorm 将向量除以其 $L_{2}$ 范数再加缩放

相关概念

欧式空间 — $L_{2}$ 范数对应的空间结构
内积 — 内积诱导 $L_{2}$ 范数
Adam算法全解：从数学原理到工业界最佳实践 — 范数在优化器中的应用