17.BayesianLR

贝叶斯线性回归通过引入参数先验，求解参数的后验分布而非点估计。高斯先验对应岭回归，拉普拉斯先验对应 Lasso。

模型假设

$f(x)=w^{T}x$ $y=f(x)+\epsilon ,\epsilon \sim \mathcal{N}(0,{\sigma }^2)$

推断

引入高斯先验 $p(w)=\mathcal{N}(0,{\Sigma }_p)$，后验分布：

$p(w|X,Y)\propto {\prod }_{i=1}^N\mathcal{N}(y_i|w^T{x}_i,{\sigma }^2)\cdot \mathcal{N}(0,{\Sigma }_p)$

高斯似然配高斯先验，后验仍为高斯分布。

后验参数： ${\Sigma }_w^{-1}={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1}=A$ ${\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y$

预测

给定新样本 $x^{\ast }$，预测分布：

$p(y^{\ast }|X,Y,x^{\ast })=\mathcal{N}(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }+{\sigma }^2)$

与正则化的关系

先验分布	对应正则化
高斯分布	L2（岭回归）
拉普拉斯分布	L1（Lasso）