线性分类分为硬分类（直接输出类别）和软分类（输出概率）。硬分类包括感知机和线性判别分析；软分类包括判别式（Logistic 回归）和生成式（GDA、朴素贝叶斯）。

分类方法对比

感知机

激活函数：$sign(a)$

损失函数：$L(w)=\sum_{x_i\in\mathcal{D}_{wrong}}-y_iw^Tx_i$

更新规则：$w^{t+1} \leftarrow w^t + \lambda y_ix_i$

线性判别分析 (LDA)

思想： 投影后类内距离小、类间距离大。

目标函数： $$J(w)=\frac{w^TS_bw}{w^TS_w}$$

解：$w \propto S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})$

Logistic 回归

模型：$p(C_1|x)=\frac{1}{1+\exp(-w^Tx)}$

损失函数（交叉熵）： $$\hat{w}=\mathop{argmax}w\sum{i=1}^N(y_i\log p_1+(1-y_i)\log p_0)$$

梯度：$J’(w)=\sum_{i=1}^N(y_i-p_1)x_i$

高斯判别分析 (GDA)

模型假设：

• $y \sim Bernoulli(\phi)$
• $x|y=1 \sim \mathcal{N}(\mu_1,\Sigma)$
• $x|y=0 \sim \mathcal{N}(\mu_0,\Sigma)$

MAP 解：

• $\phi = N_1/N$
• $\mu_1 = \sum y_ix_i / N_1$
• $\mu_0 = \sum (1-y_i)x_i / N_0$
• $\Sigma = (N_1S_1+N_0S_0)/N$

朴素贝叶斯

条件独立性假设： $$p(x|y)=\prod_{i=1}^pp(x_i|y)$$

即 $x_i \perp x_j | y$。

参数估计： 使用 MLE 直接估计各维度的条件概率。