线性分类分为硬分类（直接输出类别）和软分类（输出概率）。硬分类包括感知机和线性判别分析；软分类包括判别式（Logistic 回归）和生成式（GDA、朴素贝叶斯）。
分类方法对比
| 类型 | 方法 | 输出 |
|---|---|---|
| 硬分类 | 感知机、LDA | 类别标签 |
| 软分类-判别式 | Logistic 回归 | 类别概率 |
| 软分类-生成式 | GDA、朴素贝叶斯 | 类别概率 |
感知机
激活函数：
损失函数：
更新规则：
线性判别分析 (LDA)
思想： 投影后类内距离小、类间距离大。
目标函数：
解：
Logistic 回归
模型：
损失函数（交叉熵）：
梯度：
高斯判别分析 (GDA)
模型假设：
MAP 解：
朴素贝叶斯
条件独立性假设：
即 。
参数估计： 使用 MLE 直接估计各维度的条件概率。