PyTorch 知识体系地图：从核心模块、分布式训练、数据管道到模型部署的四层脉络，入口见 PyTorch 架构总览。
01 核心基础
- PyTorch 架构总览 — 体系入口：Torch 沿革、生态版图、四层架构与学习路径
- Tensor 与 Storage — 张量数据结构与底层存储
- torch.nn — 神经网络模块体系
- nn.Linear — 全连接层：shape 约定、默认初始化与 F.linear 分工
- nn.Conv2d — 基础卷积 API：参数语义、输出尺寸与参数量公式
- nn 归一化层 — BN/LN/GN 构造参数、running stats 与 train/eval 交互
- nn.Embedding — 查表层：padding_idx、weight tying 与冻结惯例
- nn.LSTM — RNN 族张量约定、隐状态生命周期与 PackedSequence
- nn.Dropout — inverted dropout：训练期缩放、变体族与放置惯例
- nn.CrossEntropyLoss — logits 输入约定与类不平衡三旋钮
- nn.Sequential 与 ModuleList — 容器选型与 Python list 不注册陷阱
- torch.autograd — 自动求导与动态计算图
- 动态计算图与叶子节点 — grad_fn 链、is_leaf 判定与图生命周期（配图）
- torch.optim — 优化器与参数更新
- torch.cuda 与混合精度 — GPU 设备管理与 AMP
- Dataset 与 DataLoader — 数据集抽象与批量加载
- Torch中调整Tensor维度 — 维度调整/变换/拼接分割 API 速查
- Pytorch书籍推荐 — 书单与学习资源
02 分布式训练
- 分布式训练总览 — 并行策略分类（DP/DDP/FSDP/TP/PP）与选型
- torchrun — 分布式启动器：进程管理与环境变量注入
- torch.distributed 通信原语 — 进程组与集合通信 API
- AllReduce 集合通信 — Ring AllReduce 原理与通信量分析
- 大模型检查点 — Megatron/DeepSpeed/FSDP 分片检查点格式
- Accelerate — HuggingFace 轻量分布式包装器
03 数据管道与存储
- WebDataset — TAR 分片流式数据加载
- HDF5 数据格式 — 分层科学数据格式与部分 I/O
- HuggingFace Hub — 模型与数据集资源下载