伪逆与最小二乘

伪逆与最小二乘处理「不完美方程」：无解时求最近似（$\min \Vert Ax-b\Vert$），多解时取最短者。Moore–Penrose 伪逆 $A^{+}$ 把两种情形统一成一个公式 $x=A^{+}b$，而它的数值实现就躺在奇异值分解 SVD里。

最小二乘

$Ax=b$ 无解（$b\notin \mathrm{col}(A)$，见矩阵的秩）时，求残差范数最小的解——把 $b$ 投影到列空间，几何即欧氏空间的正交投影（正交与正交基）。

法方程路线：

$$A^{\mathsf{T}}Ax=A^{\mathsf{T}}b$$

但 $A^{\mathsf{T}}A$ 的条件数是 $A$ 的平方（${\kappa }^2$），病态时解被噪声淹没——数值实践改走 QR 分解（$Rx=Q^{\mathsf{T}}b$）或 SVD。回归、标定、状态估计全是这个原型。

Moore–Penrose 伪逆

$$A^{+}=V{\Sigma }^{+}{U}^{\mathsf{T}},{\Sigma }^{+}=\mathrm{diag}(1/{\sigma }_1,\dots ,1/{\sigma }_r,0,\dots ,0)$$

（零奇异值处置零而非求倒——这一步保证了秩亏时的稳定性。）四条 Penrose 条件唯一确定 $A^{+}$，而 SVD 公式给出显式构造。$x^{\ast }=A^{+}b$ 一次回答两个问题：

方程情形	$A^{+}b$ 给出
无解	最小二乘解（残差最小）
多解	其中范数最小的解

满列秩时退化为熟知的 $(A^{\mathsf{T}}A{)}^{-1}{A}^{\mathsf{T}}$，满行秩时为 $A^{\mathsf{T}}(A{A}^{\mathsf{T}}{)}^{-1}$。

机器学习中的化身

• 线性回归：最小二乘的原始出处；L2 正则化（见权重衰减与L2正则化）换成解 $(A^{\mathsf{T}}A+\lambda I{)}^{-1}{A}^{\mathsf{T}}b$——岭回归，本质是给小奇异值加地板防病态
• 推荐系统：评分矩阵大面积缺失，低秩补全是 SVD + 伪逆思想的迭代化
• 深度学习：收敛到平坦极小值附近，损失面的局部曲率由 Hessian 伪逆主导梯度流的走向

相关笔记

• 奇异值分解 SVD — 伪逆的构造来源
• QR 分解 — 最小二乘的稳定解法
• 范数 — 「最小」的度量
• 高斯消元与线性方程组 — 可解情形的基础流程