对通用文生图基座做领域续训(CT)+ 微调(SFT) 两阶段训练,数据量百万级,核心矛盾是领域增益与通用能力保留的平衡——下面的渠道按与这个矛盾的关联度筛选。

学术论文:方法的源头

配比与遗忘机制的底层原理,只能回到论文里找。

核心论文(全部直接对应领域续训场景):

  • 《Exploring Continual Learning of Diffusion Models》(arXiv:2303.15342)——扩散持续学习的奠基工作,系统验证经验回放对灾难性遗忘的缓解作用,给出不同回放权重、不同数据比例下的效果对比,是新旧数据配比最直接的理论参考。
  • 《Diffusion Tuning: Transferring Diffusion Models via Chain of Forgetting》(arXiv:2406.00773)——提出微调的「遗忘链」规律:浅层通用降噪能力容易保留、高层领域语义容易被覆盖;配套知识保留 + 知识重构双策略,对 CT+SFT 两阶段设计有直接启发。
  • 《DogFit: Domain-guided Fine-tuning for Efficient Transfer Learning of Diffusion Models》(arXiv:2508.05685)——损失中加入领域引导项,不增加推理开销的前提下平衡目标领域效果与通用能力保留,正对艺术字续训的核心矛盾。
  • 《Source-Prior-Driven Selective Adaptation for Efficient Diffusion Model Finetuning》(arXiv:2607.20913)——聚焦微调后通用能力退化,选择性适配机制 + 不同数据占比对基础能力的定量分析,可直接校准新旧数据配比红线。
  • 《MagMax: Leveraging Model Merging for Seamless Continual Learning》(arXiv:2407.06322)——免回放路线:权重放大 + 模型合并完成持续学习,旧数据难以保留时的替代方案。
  • 《Continual Diffusion with STAMINA》(arXiv:2311.18763)——增量 adapter 路线:每个新领域叠加一组可掩码的轻量模块,通用参数不动。

回放、合并、增量 adapter 是当前抗遗忘的三条主线;配比问题优先看前两篇加 Source-Prior 的定量结论。

检索与跟踪:ICLR / CVPR / ICML / NeurIPS 的扩散赛道值得盯,关键词组合 diffusion model fine-tuning、continual learning、domain adaptation、catastrophic forgetting、text-image alignment;arXiv 跟每日预印本,Papers with Code 优先筛带官方实现与实验数据、可复现的工作。预印本未经评审,结论落地前自己跑一遍再说。

工程实践博客:参数与坑

工业界一线经验大多只发博客不进论文,百万级数据的实操细节尤其如此。

官方标杆:

  • Hugging Face Diffusers 博客与文档——扩散工程实践的事实标准,覆盖 LoRA、全量微调、DreamBooth 等主流范式,数据预处理、学习率、多 GPU 训练、性能优化都有官方最佳实践,搭训练流水线的第一参考。
  • Stability AI 技术博客——SD 1.5/2.0/SDXL 训练技术报告,公开百万级数据预训练与续训的数据配比、清洗策略、caption 优化、多阶段训练流程,大规模领域续训最直接的工业参考。

一线经验:

  • Runpod 博客《Scaling Stable Diffusion Training》——大规模多 GPU 训练全流程:数据集分片存储、VAE 预计算、梯度检查点、通信优化,正对百万级数据场景。
  • Botmonster Tech——SDXL/Flux 微调参数指南,按数据量与训练目标(风格/字符/主体)给出学习率、rank、步数基准,附过拟合预防清单。
  • Microsoft Olive 训练文档——开源标准化训练框架,附带数据质量要求、caption 规范、参数推荐范围,适合工业级落地。

社区:最鲜活的踩坑经验

小众技巧、垂直领域经验、最新踩坑,基本只在社区口口相传。

  • Reddit r/StableDiffusion——全球最大扩散社区,从业者密集分享训练参数、数据配比、避坑经验;搜 continual training、dataset ratio、art text training 能翻到艺术字、logo 类场景的实操总结。
  • CivitAI——不只是模型分享站,模型评论区与论坛里训练者公开自己的数据集处理与训练流程,艺术字、字体、logo 这类垂直领域经验密度最高。
  • Discord——kohya-ss 官方服务器(最流行训练工具的实时答疑与海量参数经验)、Stable Diffusion 官方服务器(专门的微调讨论区)。
  • X (Twitter)——关注 Stability AI、Runway 与高校实验室研究者,最新训练技巧、论文解读往往第一时间出现在这里。
  • 国内——知乎(中文实操踩坑与参数调优)、B 站(从环境搭建到参数调优的全程演示)、智源社区与机器之心(顶会论文解读与行业动态)。

开源项目:从代码与 Issue 挖经验

真实的训练最佳实践大量写在代码注释、Issue 和 Discussion 里。

  • huggingface/diffusers——官方训练脚本与示例,Issue 区里训练稳定性、数据配比、遗忘缓解的工程细节常由官方开发者直接回复。
  • kohya-ss/sd-scripts——民间最主流训练工具,SDXL/Flux 全系;Issue 与 Discord 是实操经验宝库,不同数据量的学习率/步数、数据增强、艺术字等特殊场景技巧都是社区踩出来的结论。
  • bghira/SimpleTuner——面向较大数据集的通用微调套件,覆盖 SDXL/Flux 及视频/音频扩散模型,大数据集的分片与吞吐设计完善。
  • ostris/ai-toolkit——Flux 时代主流微调工具之一,LoRA/全量微调全部配置化。
  • kohya-ss/musubi-tuner——kohya 系内存高效训练器,Flux/SD3.5 低显存可训。
  • EveryDream Trainer——SD 1.5 时代针对大规模数据优化的训练器,百万级 caption 清洗与多机训练的思路仍可参考,工具本身已偏旧。

系统化课程:补齐知识体系

库内基础概念汇总在 Diffusion模型 MOC,系统课程用来补数理深度:

  • MIT 6.S184 Flow Matching and Diffusion Models——数学原理到工程实现,配套 Lab 与代码,打底层基础。
  • CMU 10-799 Diffusion & Flow Matching——进阶、研究导向,大量论文解读与方向展望。
  • Hugging Face Diffusion Models Course——官方免费课程,原理加配套动手作业。
  • DeepLearning.AI 扩散模型课程——从入门到进阶快速建立完整框架。

按目标取用

四条路径

  • 快速落地:kohya 社区经验 + Diffusers 官方训练指南 + Reddit 艺术字训练贴,直接拿数据配比、学习率、训练流程基准值。
  • 定配比红线:精读《Exploring Continual Learning of Diffusion Models》《Diffusion Tuning》,从理论层面定新旧数据比例边界。
  • 跟进前沿:每日 arXiv + X 领域研究者 + 每周一次 Reddit 训练板块。
  • 垂直技巧:CivitAI 搜 text art、logo、font 相关模型讨论区,训练者常公开训练数据与参数。