扩散模型技术演进：从DDPM到Stable Diffusion及DiT

摘要

扩散模型（Diffusion Models）作为当前最热门的生成模型之一，已彻底改变图像生成领域。本文从DDPM开始，逐步深入到Stable Diffusion和DiT架构。

扩散模型类似于一个'破坏 - 修复'的过程：先给图片逐步添加噪声直到完全随机，再训练AI学会一步步去除噪声还原原始图片。

DDPM：扩散模型的奠基之作（2020年）

什么是DDPM？

DDPM（Denoising Diffusion Probabilistic Models）由OpenAI团队在2020年提出，是扩散模型的开山鼻祖。其工作原理包括：

前向过程（加噪声）：从清晰图片开始，逐步添加噪声，最终变成随机噪声图。
反向过程（去噪声）：训练AI学会如何一步步去除噪声，从随机噪声中重建原始图片。

模型结构详解

DDPM的核心是一个U-Net网络结构。

U-Net架构

训练与推理

训练：告诉AI'这是加了噪声的图片，这是原始图片'，让AI学习从噪声恢复原图。
推理：AI从完全随机的噪声开始，一步步'想象'出完整图片，通常需要几十到几百步。

特点

优点：生成质量高，理论基础扎实。
缺点：训练和推理慢，通常需1000步生成一张图片。
应用：学术研究，为后续模型提供理论基础。

Stable Diffusion：实用化的突破（2022年）

为什么需要Stable Diffusion？

DDPM计算成本太高，512×512像素的扩散计算量巨大。Stable Diffusion解决了这一问题。

创新点：潜在空间扩散

传统方法：直接在原始图像空间（如512×512像素）进行扩散。
Stable Diffusion：先将图像压缩到潜在空间（如64×64），在潜在空间扩散，最后解压回原空间。

计算量减少约16倍，使扩散模型变得实用。

文本到图像生成

使用CLIP模型将文本转换为语义向量。
在扩散过程中加入文本条件，指导图像生成。
用户可通过文字描述生成想要的图片。

意义

实用性强：可在普通GPU上运行。
开源免费：推动了AI绘画普及。
生态丰富：大量社区模型和插件。

DiT：拥抱Transformer时代（2023年）

为什么用Transformer？

随着Transformer在NLP领域的成功，研究者尝试将其引入扩散模型。2023年DiT（Diffusion Transformer）应运而生。

创新点

架构革新：用Transformer替换传统CNN架构，采用纯Transformer骨干网络，提升可扩展性和并行化能力。
性能提升：大模型展现更好生成质量，训练稳定性显著提高。

DiT vs 传统方法

特性	传统UNet	DiT
架构	CNN	Transformer
可扩展性	中等	很好
训练稳定性	一般	很好
全局建模	需要多层	天然全局

扩散模型发展时间线

2020年 - DDPM：奠定理论基础 ↓ 2021年 - Improved DDPM：改进和优化 ↓ 2022年 - Stable Diffusion：实用化突破，潜在空间扩散 ↓ 2023年 - DiT：Transformer架构，可扩展性大幅提升 ↓ 2024年至今 - 变体和优化：蒸馏、量化、多模态等

技术演进路径

DDPM (2020)：基础理论，像素级扩散，计算成本高。
Latent Diffusion (2022)：潜在空间扩散，大幅降低计算成本。
DiT (2023)：Transformer架构，更好的可扩展性。

DIT和Stable Diffusion区别

Stable Diffusion

架构：U-Net + 卷积神经网络
特点：在潜在空间工作，计算效率高
优势：成熟稳定，生态完善
缺点：架构相对传统，扩展性有限

DiT (Diffusion Transformer)

架构：纯Transformer架构
特点：将扩散过程完全用Transformer处理
优势：更好的扩展性，更容易scale up
缺点：计算量更大，需要更多资源

DiT借鉴了Stable Diffusion思想，但将U-Net替换为Transformer，是架构层面的重大革新。

注：Stable Diffusion 是 Latent Diffusion 的具体实现（Stable Diffusion = Latent Diffusion + 文本条件 + 稳定性优化）。

ViT模型和DIT模型关系

DiT是ViT思想在生成领域的成功应用。ViT将Transformer应用于图像识别，DiT将其应用于扩散模型。

相同点

都使用Transformer架构
都采用patch处理方式
都利用自注意力机制
都有良好的扩展性

不同点

方面	ViT	DiT
任务类型	图像分类	图像生成
输入	静态图像	噪声 + 时间步长
输出	分类标签	去噪后的图像
核心	特征提取	扩散过程建模

优势对比

ViT：分类任务优异，训练简单，计算效率高。
DiT：生成任务表现更好，扩展性强，生成质量更高。

当前业界主流扩散模型

开源模型系列

Stable Diffusion系列：1.x (2022), 2.x (2022), XL (SDXL, 2023), 3 (2024)。
其他开源模型：DALL-E系列 (OpenAI), Imagen (Google)。

不同场景的选择

学术研究：DDPM (理解基础), DiT (探索Transformer)。
商业应用：SDXL (平衡质量与效率), 定制化模型。

当前主流（2024-2025年）

Midjourney系列
DALL-E 3
Stable Diffusion XL (SDXL)
Runway、Leonardo等平台

具体领域

AI绘画：主要是Stable Diffusion变体 + 自研改进。
AI漫画：针对动漫风格优化的SD模型。
商业应用：多基于Stable Diffusion开源生态。

趋势变化

早期：Stable Diffusion为主流。
现在：各大公司开发私有模型。
未来：DiT等Transformer架构可能成为新趋势。

目前大多数应用仍基于Stable Diffusion生态，但高端应用开始采用DiT等新架构，未来可能逐步向Transformer架构迁移。

总结

扩散模型的发展历程体现了AI领域的快速迭代：

DDPM (2020)：奠定理论基础，但计算成本高。
Stable Diffusion (2022)：实现实用化突破，潜在空间扩散。
DiT (2023)：开启Transformer时代，更好的可扩展性。

这些模型不仅在技术上不断创新，也在实际应用中产生了巨大影响，从学术研究到商业产品，扩散模型正在重塑我们创造和处理视觉内容的方式。

扩散模型技术演进：从DDPM到Stable Diffusion及DiT

摘要

DDPM：扩散模型的奠基之作（2020年）

什么是DDPM？

模型结构详解

训练与推理

特点

Stable Diffusion：实用化的突破（2022年）

为什么需要Stable Diffusion？

创新点：潜在空间扩散

文本到图像生成

意义

DiT：拥抱Transformer时代（2023年）

为什么用Transformer？

创新点

DiT vs 传统方法

扩散模型发展时间线

技术演进路径

DIT和Stable Diffusion区别

ViT模型和DIT模型关系

当前业界主流扩散模型

开源模型系列

不同场景的选择

当前主流（2024-2025年）

具体领域

趋势变化

总结

更多推荐文章

相关免费在线工具

扩散模型技术演进：从DDPM到Stable Diffusion及DiT

摘要

DDPM：扩散模型的奠基之作（2020年）

什么是DDPM？

模型结构详解

训练与推理

特点

Stable Diffusion：实用化的突破（2022年）

为什么需要Stable Diffusion？

创新点：潜在空间扩散

文本到图像生成

意义

DiT：拥抱Transformer时代（2023年）

为什么用Transformer？

创新点

DiT vs 传统方法

扩散模型发展时间线

技术演进路径

DIT和Stable Diffusion区别

ViT模型和DIT模型关系

当前业界主流扩散模型

开源模型系列

不同场景的选择

当前主流（2024-2025年）

具体领域

趋势变化

总结

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具