贝叶斯线性回归通过引入参数先验，求解参数的后验分布而非点估计。高斯先验对应岭回归，拉普拉斯先验对应 Lasso。

模型假设

$$f(x)=w^Tx$$ $$y=f(x)+\varepsilon, \quad \varepsilon\sim\mathcal{N}(0,\sigma^2)$$

推断

引入高斯先验 $p(w)=\mathcal{N}(0,\Sigma_p)$，后验分布：

$$p(w|X,Y)\propto \prod_{i=1}^N\mathcal{N}(y_i|w^Tx_i,\sigma^2)\cdot\mathcal{N}(0,\Sigma_p)$$

高斯似然配高斯先验，后验仍为高斯分布。

后验参数： $$\Sigma_w^{-1}=\sigma^{-2}X^TX+\Sigma_p^{-1}=A$$ $$\mu_w=\sigma^{-2}A^{-1}X^TY$$

预测

给定新样本 $x^*$，预测分布：

$$p(y^|X,Y,x^)=\mathcal{N}(x^{*T}\mu_w,x^{T}\Sigma_wx^+\sigma^2)$$

与正则化的关系