扩散模型详解：从 DDPM 到 Stable Diffusion 再到 DiT

说明：Stable Diffusion 本质上是 Latent Diffusion 的一个具体实现，即 Stable Diffusion = Latent Diffusion + 文本条件 + 稳定性优化。

DiT：拥抱 Transformer 时代（2023 年）

为什么用 Transformer？

随着 Transformer 在 NLP 领域的巨大成功，研究者们开始思考：能否用 Transformer 来改进扩散模型？2023 年，DiT（Diffusion Transformer）应运而生，将纯 Transformer 架构引入扩散模型。

创新点

架构革新：

• 用 Transformer 替换传统的 CNN 架构。
• 采用纯 Transformer 的骨干网络。
• 更好的可扩展性和并行化能力。

性能提升：

• 大模型展现更好的生成质量。
• 训练稳定性显著提高。
• 可扩展性更强。

DiT vs 传统方法

DiT 与 ViT 的关系

DiT 是 ViT（Vision Transformer）思想在生成领域的成功应用。ViT 开创性工作地将 Transformer 架构首次成功应用于图像识别，而 DiT 则基于此经验，将 Transformer 应用于扩散模型。

相同点：都使用 Transformer 架构、都采用 patch 处理方式、都利用自注意力机制。

不同点：

扩散模型发展时间线

2020 年 - DDPM：奠定扩散模型理论基础 ↓ 2021 年 - Improved DDPM：各种改进和优化 ↓ 2022 年 - Stable Diffusion：实用化突破，潜在空间扩散 ↓ 2023 年 - DiT：Transformer 架构，可扩展性大幅提升 ↓ 2024 年至今 - 各种变体和优化：蒸馏、量化、多模态等

技术演进路径

• DDPM (2020)：基础理论，像素级扩散，计算成本高。
• Latent Diffusion (2022)：潜在空间扩散，大幅降低计算成本。
• DiT (2023)：Transformer 架构，更好的可扩展性。

DIT 和 Stable Diffusion 模型区别

Stable Diffusion

• 架构：U-Net + 卷积神经网络。
• 特点：在潜在空间工作，计算效率高。
• 优势：成熟稳定，生态完善。
• 缺点：架构相对传统，扩展性有限。

DiT (Diffusion Transformer)

• 架构：纯 Transformer 架构。
• 特点：将扩散过程完全用 Transformer 处理。
• 优势：更好的扩展性，更容易 scale up。
• 缺点：计算量更大，需要更多资源。

DiT 参考了 Stable Diffusion 的思想，借鉴了扩散模型的基本框架，但将传统的 U-Net 架构替换为 Transformer 架构，这是架构层面的重大革新。

当前业界主流扩散模型

开源模型系列

Stable Diffusion 系列：

• Stable Diffusion 1.x (2022)：最初的版本，奠定了基础架构。
• Stable Diffusion 2.x (2022)：改进了 CLIP 模型，支持更大的图像尺寸。
• Stable Diffusion XL (SDXL, 2023)：更大的模型，更高的图像质量。
• Stable Diffusion 3 (2024)：最新的版本，进一步提升了生成质量。

其他开源模型：

• DALL-E 系列：OpenAI 的文本到图像模型。
• Imagen：Google 的高质量扩散模型。

不同场景的选择

• 学术研究：DDPM（理解基础）、DiT（探索 Transformer 架构）。
• 商业应用：SDXL（平衡质量与效率）、定制化模型（根据具体需求调整）。

当前主流（2024-2025 年）

1. Midjourney 系列 - 基于改进的扩散模型。
2. DALL-E 3 - 结合多种技术的混合模型。
3. Stable Diffusion XL (SDXL) - SD 的升级版。
4. Runway、Leonardo 等平台 - 基于各种扩散模型变体。

趋势变化

• 早期：Stable Diffusion 为主流。
• 现在：各大公司都在基于扩散模型开发私有模型。
• 未来：DiT 等 Transformer 架构可能成为新趋势。

目前大多数应用仍基于 Stable Diffusion 生态，但高端应用开始采用 DiT 等新架构。未来可能会逐步向 Transformer 架构迁移。

总结

扩散模型的发展历程体现了 AI 领域的快速迭代：

• DDPM (2020)：奠定了理论基础，但计算成本高。
• Stable Diffusion (2022)：实现了实用化突破，潜在空间扩散。
• DiT (2023)：开启了 Transformer 时代，更好的可扩展性。

这些模型不仅在技术上不断创新，也在实际应用中产生了巨大影响，从学术研究到商业产品，扩散模型正在重塑我们创造和处理视觉内容的方式。