张芷铭的个人博客深度学习
共 8 篇文章
GEMM（General Matrix Multiplication）是深度学习和 HPC 的核心运算，现代 AI 芯片均针对其优化。
定义
GEMM 执行通用矩阵乘法：
$$C = \alpha \cdot A \times B + …
数值精度选择是平衡计算效率、内存占用和模型精度的关键技术决策。BF16 统治训练，INT8 主导部署。
浮点精度对比
| 格式 | 结构 | 数值范围 … |
|---|
WebDataset 通过流式处理和顺序读取替代随机访问，解决大规模深度学习训练中的数据 I/O 瓶颈。
什么是 WebDataset
WebDataset 是基于 TAR 归档格式的深度学习数据加载库，核心思想是将大量小文件打包成 …
位置编码解决 Transformer 自注意力机制的「顺序失忆症」，为模型注入序列位置信息。从绝对编码到 RoPE，相对位置建模成为主流。
为什么需要位置编码
自注意力机制具有置换不变性：$Attention(Q,K,V) = …
Weights & Biases (wandb) 是机器学习实验管理平台，支持自动记录实验配置、可视化训练过程、超参数搜索。
快速开始
| |
|
Hydra 是 Facebook 开发的配置管理框架，支持层次化配置、动态参数修改，适合机器学习实验管理。
核心特性
| 特性 | 说明 … |
|---|
JAX 是 Google 开发的数值计算库，基于 NumPy API，提供自动微分、JIT 编译和 GPU/TPU 加速。
核心特性
| 特性 | 说明 … |
|---|
webdataset 用于高效处理大规模数据集，通过 .tar 文件流式加载，适配分布式训练场景。
核心优势
| 特性 | 说明 … |
|---|