线性回归通过最小二乘法求解，闭式解为 。高斯噪声 MLE 等价于最小二乘，正则化对应不同的先验假设。
模型假设
数据集 ，线性模型 。
最小二乘法
损失函数：
闭式解：
通过 SVD 求伪逆：
几何解释： 模型 为数据张成空间的投影，残差与该空间垂直。
高斯噪声 MLE
等价于最小二乘。
正则化
| 方法 | 公式 | 先验 |
|---|---|---|
| L1 (Lasso) | Laplace | |
| L2 (Ridge) | Gaussian |
Ridge 解：
Lasso 特点： 产生稀疏解，更容易在坐标轴上取到。
线性模型的扩展
| 扩展方式 | 方法 |
|---|---|
| 特征变换 | 多项式回归 |
| 非线性激活 | 感知机、神经网络 |
| 分区域建模 | 决策树 |
| 降维 | PCA、流形学习 |