LASSO

LASSO（Least Absolute Shrinkage and Selection Operator）= 最小二乘 + L1 惩罚：$\hat{\beta }=\arg {\min }_{\beta }\Vert y-X\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_1$。L1 的尖角几何使部分系数被压到恰好为零，一步完成收缩与变量选择。

与 Ridge 的对照

	LASSO (L1)	Ridge (L2)
惩罚	$\lambda \sum \Vert {\beta }_j\Vert$	$\lambda \sum {\beta }_j^2$
稀疏性	有——系数可精确为零	无——系数趋零但不为零
解	软阈值（无闭式）	闭式 $(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$
适用	高维变量选择	多重共线性 stabilization

为什么 L1 产生稀疏：单位球几何

约束 $\Vert \beta {\Vert }_1\le t$ 的可行域是 $L_1$ 单位球——二维是菱形、高维是尖角超多面体。损失等值线（椭圆）与菱形相切时，切点大概率落在顶角上——某系数恰好为零（几何图见范数）。$L_2$ 球是光滑圆/球，切点任意，无此偏好。

应用

• 特征选择：基因选型、金融因子筛选，$p\gg n$ 高维场景
• 压缩感知：稀疏信号重建（LASSO 是其基追踪松弛）
• 深度学习：L1 正则化促权重稀疏（对照 权重衰减与L2正则化 的 L2 路线）

相关笔记

• 范数 — L1/L2 惩罚的本体与单位球几何
• 权重衰减与L2正则化 — L2 路线对照
• 支持向量机（SVM） — 另一种「几何决定稀疏」的经典模型