张芷铭的个人博客

Diffusion 模型学习资源导航,涵盖综述、博客、论文和应用。

高质量综述

  • What are Diffusion Models? — 英文入门介绍
  • [[Diffusion Models A Comprehensive Survey of Methods and Applications]] — 全面综述,包含基础推导和方法分类

博客笔记

  • [[Diffusion Condition]] — 条件注入机制
  • [[diffusion loss]] — 损失函数类型
  • [[Diffusion Model:生成式AI的核心引擎]] — 核心原理与应用
  • [[Diffusion和Transformer结合]] — DiT 架构详解
  • [[DDPM的数学原理推导]] — 数学推导
  • [[ControlNet]] — 空间条件控制

常见问题

采样时间步是什么?

采样时间步指扩散或去噪过程的时间阶段。扩散模型将数据生成视为逐步去噪,分为 T 个时间步(常见 T=1000)。训练时从均匀分布采样时间步 t,推理时采样步数决定生成质量与计算开销。

如何与 Transformer 结合?

[[Diffusion和Transformer结合]] 详述两种方式:

  • 主干替换:DiT 用纯 Transformer 替代 U-Net
  • 混合架构:U-Net 处理局部特征,Transformer 增强全局建模

重要改进

  • [[TASD(Tiny Autoencoder for Stable Diffusion)]] — 轻量级 VAE

应用

  • MarDini: Masked Autoregressive Diffusion for Video Generation at Scale
  • LTX-Video: Realtime Video Latent Diffusion

外部资源

Comments