深度学习网络层按功能分为基础层、CNN 层、归一化层、激活层、序列层、Transformer 层、正则化层、融合层、特殊层九大类。
基础核心层
全连接层（Linear/FC）
- 公式：$y = Wx + b$
- 应用：分类输出、维度变换、Transformer MLP
CNN 专属层
卷积层
| 变体 | 特点 | 应用 |
|---|
| 2D 卷积 | 权值共享，保留空间结构 | 图像分类、检测 |
| 1D 卷积 | 时序维度提取 | 语音、文本 |
| 3D 卷积 | 空间+时序 | 视频分析 |
| 深度可分离卷积 | 极致压缩参数 | MobileNet |
| 空洞卷积 | 增大感受野 | DeepLab |
| 转置卷积 | 可学习上采样 | 图像生成 |
池化层
| 类型 | 说明 |
|---|
| Max Pooling | 保留显著特征 |
| Average Pooling | 平滑特征 |
| GAP | 替代 FC，减少参数 |
归一化层
| 类型 | 归一化维度 | 应用 |
|---|
| BN | Batch 维度 | CNN |
| LN | 特征维度 | Transformer/LLM |
| IN | 单样本单通道 | 风格迁移 |
| GN | 通道分组 | 小 batch 场景 |
激活函数层
| 函数 | 公式 | 特点 |
|---|
| ReLU | $\max(0, x)$ | 快速，存在死亡问题 |
| GELU | $x \cdot \Phi(x)$ | Transformer 标配 |
| SiLU | $x \cdot \sigma(x)$ | 平滑可导 |
序列建模层
| 类型 | 特点 |
|---|
| LSTM | 门控+细胞状态，解决长依赖 |
| GRU | LSTM 轻量版，工业界常用 |
| 双向 RNN | 捕捉双向上下文 |
| 组件 | 作用 |
|---|
| 嵌入层 | Token/位置映射 |
| MHSA | 多头自注意力 |
| 因果注意力 | 屏蔽未来信息 |
| FFN/MLP | 升维-激活-降维 |
| GLU | 门控线性单元 |
正则化层
| 类型 | 说明 |
|---|
| Dropout | 随机置零 |
| DropPath | 随机丢弃残差块 |
特征融合层
| 类型 | 操作 |
|---|
| Concat | 维度拼接 |
| Add | 逐元素相加 |
| Multiply | 门控/加权 |
领域选型参考
| 领域 | 核心层组合 |
|---|
| CV | Conv + BN + ReLU + Pooling |
| LLM/NLP | Embedding + LN + Attention + FFN |
| 时序 | 1D Conv / LSTM + LN |
| 生成模型 | Transposed Conv + IN/LN |
张芷铭的个人博客
Comments