Diffusion 模型学习资源导航,涵盖综述、博客、论文和应用。
高质量综述
- What are Diffusion Models? — 英文入门介绍
- Diffusion Models A Comprehensive Survey of Methods and Applications — 全面综述,包含基础推导和方法分类
博客笔记
- Diffusion Condition — 条件注入机制
- diffusion loss — 损失函数类型
- Diffusion Model:生成式AI的核心引擎 — 核心原理与应用
- Diffusion和Transformer结合 — DiT 架构详解
- DDPM的数学原理推导 — 数学推导
- ControlNet — 空间条件控制
常见问题
采样时间步是什么?
采样时间步指扩散或去噪过程的时间阶段。扩散模型将数据生成视为逐步去噪,分为 T 个时间步(常见 T=1000)。训练时从均匀分布采样时间步 t,推理时采样步数决定生成质量与计算开销。
如何与 Transformer 结合?
Diffusion和Transformer结合 详述两种方式:
- 主干替换:DiT 用纯 Transformer 替代 U-Net
- 混合架构:U-Net 处理局部特征,Transformer 增强全局建模
重要改进
应用
- MarDini: Masked Autoregressive Diffusion for Video Generation at Scale
- LTX-Video: Realtime Video Latent Diffusion