奇异值分解 SVD

奇异值分解是矩阵分解的终点站：任何矩阵（长方形、秩亏、非对称一律照单）都能拆成「旋转—拉伸—旋转」$A=U\Sigma V^{\mathsf{T}}$。谱定理管方阵，SVD 管一切；低秩逼近、PCA、条件数、推荐系统全部由此展开。

定义与几何

$$A=U\Sigma V^{\mathsf{T}},U\in O(m),V\in O(n),\Sigma \text{ 对角（奇异值 }{\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0\text{）}$$

几何读法：任何线性映射 = 先旋转对齐（$V^{\mathsf{T}}$）、再沿坐标轴伸缩（$\Sigma$）、再旋转到位（$U$）。单位球被映射成椭球，奇异值恰是各轴半长。

来源是谱定理的桥接：$A^{\mathsf{T}}A$ 对称正半定，其特征向量给 $V$、特征值平方根给 ${\sigma }_i$；$A{A}^{\mathsf{T}}$ 同理给 $U$。特征分解要求方阵且不亏缺，SVD 无任何要求——这是它成为「万能分解」的原因。

秩与低秩逼近

• 非零奇异值个数 = 矩阵的秩
• Eckart–Young 定理：秩 $k$ 最佳逼近 = 截断 SVD（只留前 $k$ 个奇异值），误差 $\Vert A-A_k\Vert ={\sigma }_{k+1}$

这条定理是降维与压缩的数学内核：数据主要能量集中在前几个奇异值，截断即「保留结构、扔掉噪声」。PCA（主成分分析）= 对中心化数据矩阵做 SVD；潜在维度、词向量降维（LSA）、推荐系统矩阵补全同理。深度学习中 LoRA 微调用低秩因子近似权重更新 $\Delta W=BA$，理论根基正是截断 SVD 的最优性。

条件数与数值健康

$$\kappa (A)={\sigma }_{\max }/{\sigma }_{\min }$$

条件数度量「输入扰动放大多少倍到输出」。小奇异值（相对 ${\sigma }_1$）意味着近奇异：法方程 $A^{\mathsf{T}}A$ 把条件数平方，所以最小二乘走 QR 分解 或 SVD 求解（见伪逆与最小二乘）。

相关笔记

• 谱定理 — $A^{\mathsf{T}}A$ 桥接的理论来源
• 矩阵的秩 — 奇异值计数
• 特征值与特征向量 — 方阵情形的前身
• 欧氏空间 / 内积 — 旋转与正交的度量背景