cheatsheet

机器学习核心公式速查表，涵盖概率基础、线性回归、分类、降维、SVM、概率图模型等内容。

数学基础

MLE 与 MAP

${\theta }_{MLE}={\mathrm{argmax}}_{\theta }{\sum }_{i=1}^N\log p(x_i|\theta )$

${\theta }_{MAP}={\mathrm{argmax}}_{\theta }p(X|\theta )p(\theta )$

高斯分布

$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$

线性回归

闭式解： $\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y=X^{+}Y$

正则化：

• L2：${\mathrm{argmin}}_{w}L(w)+\lambda \Vert w{\Vert }_2^2$
• L1：${\mathrm{argmin}}_{w}L(w)+\lambda \Vert w{\Vert }_1$

线性分类

感知机

损失：$L(w)={\sum }_{x_i\in {\mathcal{D}}_{wrong}}-y_i{w}^T{x}_i$

更新：$w^{t+1}\leftarrow w^t+\lambda y_i{x}_i$

LDA

目标：$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_w}$

解：$w\propto S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})$

Logistic 回归

$p(C_1|x)=\sigma (w^{T}x)$

梯度：$J^{\prime }(w)=\sum (y_i-p_1)x_i$

降维

PCA

最大化方差：$J={\sum }_{j=1}^q{u}_j^{T}S{u}_j$

解：$S=U\Lambda U^T$

p-PCA

$z\sim \mathcal{N}(0,I)$，$x=Wz+\mu +\epsilon$

后验：$p(z|x)=\mathcal{N}(W^T(W{W}^T+{\sigma }^{2}I{)}^{-1}(x-\mu ),I-W^T(W{W}^T+{\sigma }^{2}I{)}^{-1}W)$

SVM

Hard-margin： ${\mathrm{argmin}}_{w,b}\frac{1}{2}{w}^{T}ws.t.y_i(w^T{x}_i+b)\ge 1$

Soft-margin： ${\mathrm{argmin}}_{w,b}\frac{1}{2}{w}^{T}w+C\sum {\xi }_i$

指数族分布

$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))$

$A^{\prime }(\eta )=\mathbb{E}[\varphi (x)]$，$A^{\prime \prime }(\eta )=Var[\varphi (x)]$

概率图模型

EM 算法

${\theta }^{t+1}={\mathrm{argmax}}_{\theta }{\mathbb{E}}_{z|x,{\theta }^t}[\log p(x,z|\theta )]$

变分推断

$\mathcal{L}(q)={\mathbb{E}}_q[\log p(x,z)]+H(q)$

MCMC

Metropolis-Hastings 接受率： $\alpha =\min \left\{1,\frac{p(z^{\ast })Q_{z^{\ast }\to z}}{p(z)Q_{z\to z^{\ast }}}\right\}$

GMM

$p(x)={\sum }_{k=1}^K{p}_k\mathcal{N}(x|{\mu }_k,{\Sigma }_k)$

更新：$p_k^{t+1}=\frac{1}{N}\sum p(z_i=k|x_i,{\theta }^t)$

HMM

参数： $\lambda =(\pi ,A,B)$

前向算法： ${\alpha }_{t+1}(j)={\sum }_i{b}_j(o_t)a_{ij}{\alpha }_t(i)$

Viterbi： ${\delta }_{t+1}(j)={\max }_i{\delta }_t(i)a_{ij}{b}_j(o_{t+1})$

CRF

$p(Y|X)=\frac{1}{Z}\exp [{\theta }^{T}H(y_t,y_{t-1},x)]$

边缘概率：$p(y_t=i|x)=\frac{1}{Z}{\alpha }_t(i){\beta }_t(i)$