张芷铭的个人博客GPU 利用率反映显卡计算资源的使用效率，理解其底层原理有助于优化深度学习训练。
核心问题
- [[显卡的利用率是如何计算的？]]
- 显卡底层计算原理与 PyTorch 的关系
- 加速计算的常用方法
GPU 加速策略
| 策略 | 说明 |
|---|---|
| 混合精度训练 | FP16/BF16 减少显存占用 |
| 梯度累积 | 大 batch size 模拟 |
| 数据加载优化 | DataLoader num_workers |
| 模型并行 | 多卡分布式训练 |
| 编译优化 | torch.compile() |
GPU 利用率反映显卡计算资源的使用效率，理解其底层原理有助于优化深度学习训练。
| 策略 | 说明 |
|---|---|
| 混合精度训练 | FP16/BF16 减少显存占用 |
| 梯度累积 | 大 batch size 模拟 |
| 数据加载优化 | DataLoader num_workers |
| 模型并行 | 多卡分布式训练 |
| 编译优化 | torch.compile() |
Comments