张芷铭的个人博客深度学习包括深度神经网络和深度生成网络。神经网络通过复合运算解决非线性问题，发展经历了从感知机到深度学习的技术演进。
机器学习流派
| 流派 | 方法 | 代表算法 |
|---|---|---|
| 频率派 | 统计学习 | 正则化、核方法、集成学习、神经网络 |
| 贝叶斯派 | 概率图模型 | 有向图、无向图、混合图 |
深度神经网络
| 模型 | 特点 |
|---|---|
| 多层感知机 | 基础前馈网络 |
| Autoencoder | 无监督特征学习 |
| CNN | 卷积特征提取 |
| RNN | 序列建模 |
深度生成网络
| 类型 | 模型 |
|---|---|
| 有向图 | Sigmoid Belief Network、VAE、GAN |
| 无向图 | 深度玻尔兹曼机 |
| 混合 | 深度信念网络 |
发展历程
| 时间 | 里程碑 |
|---|---|
| 1958 | PLA |
| 1981 | MLP 解决非线性问题 |
| 1986 | BP 算法、RNN |
| 1989 | CNN |
| 1997 | LSTM |
| 2006 | 深度信念网络 |
| 2012 | ImageNet 突破 |
| 2014 | GAN |
| 2016 | AlphaGo |
深度学习发展的原因
- 数据量增大
- 分布式计算发展
- 硬件算力提升（GPU）
解决非线性问题的方法
| 方法 | 原理 |
|---|---|
| 非线性转换 | 低维→高维（Cover 定理） |
| 核方法 | 避免显式转换，直接求内积 |
| 神经网络 | 复合运算组合 |
Comments