潜在扩散模型的原理与落地取舍

二、这套方案真正改了什么

如果只看结论，LDMs 解决的是一件很具体的事：把扩散模型从'只能靠算力堆出来'变成'普通显卡也能碰一碰'。

它不是在某个单点上做到极致，而是把三个环节连起来了：先用感知压缩把图像降维，再在低维空间里做扩散，最后用交叉注意力把条件控制接进来。每一步都不新，但拼在一起后，图像生成的成本结构变了。

论文里也讲得很清楚：这个方案的优势是效率和质量更平衡，且复用性高。一个训练好的自编码器可以被很多扩散模型重复使用，文本到图像、超分、修复都能共享这层基础设施。工程上这点很值钱，因为它省的不是一张图的时间，而是一整套系统的重复建设。

当然，它也不是没有代价。扩散还是顺序采样，速度不可能像 GAN 那样一步到位；生成质量也受第一阶段自编码器上限约束；高分辨率解码时显存压力依旧会冒出来。换句话说，LDMs 只是把瓶颈挪了位置，不是把瓶颈消掉了。

但这个挪法足够有用。它让扩散模型真正进入了可用、可控、可复用的阶段，也给后来的 Stable Diffusion 铺了路。

三、论文翻译：High-Resolution Image Synthesis with Latent Diffusion Models

摘要

扩散模型通过逐步去噪生成图像，质量很强，也支持不重训的引导控制。但它们通常直接在像素空间工作，训练和推理都很贵。为了解决这个问题，作者把扩散模型搬到强预训练自编码器的潜在空间里，在保留细节和降低复杂度之间找到了更好的平衡。再加上交叉注意力，模型可以接收文本、边界框等通用条件输入，并支持高分辨率合成。实验显示，这种潜在扩散模型在修复、类条件生成、文本到图像、无条件生成和超分辨率上都有竞争力，而且计算成本明显更低。

引言

高分辨率图像合成一直很吃资源。GAN 采样快，但训练容易不稳，也不擅长覆盖复杂分布；VAE 和流模型更稳，却往往输在样本质量；自回归模型参数和采样成本都很重，尤其不适合高分辨率场景。

扩散模型出来后，图像合成的质量明显往前走了一步，修复、上色、超分这些任务也被带起来了。不过问题很现实：它们大多还是在像素空间里跑，训练要很多 GPU 天，采样也慢。对研究者来说，这是资源问题；对普通开发者来说，基本就是门槛问题。

作者的思路是先做感知压缩，再在压缩后的潜在空间里训练扩散模型。这样做不是为了炫技，而是为了把计算量降下来，同时别把图像质量砍太多。自编码器只训练一次，后面的扩散模型都可以复用它，这也让这套方法比传统两阶段方案更灵活。

相关工作

GAN 在高分辨率图像上一直很强，但训练和分布覆盖能力是老问题。VAE、流模型和自回归模型各有优点，可在高分辨率场景里，性能和效率很难同时兼顾。很多两阶段方法的思路都是先把图像压缩，再在压缩空间里建模，只是压缩过头后，细节就会开始掉。

扩散模型的优势是训练稳定、分布覆盖好，而且在 U-Net 骨干上尤其适合图像任务。但它的代价也摆在那儿：像素空间太大，算力消耗太重。LDMs 的贡献就在于把这一套放进更小的表示空间里，保住质量，减轻成本。

方法

作者把训练拆成两个阶段。第一阶段训练自编码器，把图像压缩成感知上可接受的潜在表示；第二阶段在这个潜在表示上训练扩散模型。这样，扩散模型就不用再直接处理高维像素。

3.1 感知图像压缩

自编码器用感知损失和 PatchGAN 对抗损失训练，目标是让重建图像看起来像原图，而不是在像素值上机械对齐。编码器把输入图像 x 映射成潜在表示 z，解码器再从 z 重建出图像 \tilde{x}。下采样因子 f 决定压缩比例，论文里考察了不同的 f=2^m。

作者还试了两种正则化方式：KL-reg 和 VQ-reg。前者让潜在分布更平滑，后者在解码端引入向量量化。两者的目的都不是强行规范潜在空间，而是让后续扩散训练更稳定。

3.2 潜在扩散模型

扩散模型本质上是在学一个逐步去噪的逆过程。LDMs 只是把这个过程从像素空间搬到了潜在空间，对损失函数来说，变量从 x_t 变成了 z_t，其余逻辑基本一致。

这里的骨干网络是时间条件化的 U-Net。由于潜在空间维度更低，训练和采样都更便宜。解码时只需要把最终的潜在表示送回解码器，一次前向传播就能得到图像。

3.3 条件机制

为了支持文本、布局、语义图等条件输入，作者在 U-Net 里加入了交叉注意力层。条件信息先经过一个领域特定编码器 \tau_\theta，再作为 K、V 注入到注意力模块里，U-Net 的图像特征作为 Q。这样模型就能在生成时根据条件调整不同位置的内容。

条件损失写成：

$L_{LDM} := \mathbb{E}{\mathcal{E}(x), y, \epsilon \sim \mathcal{N}(0,1), t} [| \epsilon - \epsilon\theta(z_t, t, \tau_\theta(y)) |_2^2]$

这套机制的优点是通用。文本可以接，布局可以接，图像条件也能接，关键只是在前面补一个合适的编码器。

实验

作者首先比较了不同压缩率下的效果。结果很直白：压得太松，扩散模型背的包袱太重；压得太狠，第一阶段丢掉的信息会卡住最终质量。f=4 和 f=8 往往在质量和效率之间比较均衡。

在无条件生成上，LDMs 在多个数据集上都拿到了不错的结果，尤其在 CelebA-HQ 上表现很强。和像素空间扩散相比，它在计算需求上轻很多；和 GAN 相比，它的覆盖和稳定性更好。

条件生成部分更能看出这套方法的可扩展性。文本到图像模型在 LAION-400M 上训练后，可以处理比较复杂的提示词；结合无分类器引导后，质量还会再往上走。语义合成、超分辨率和修复任务也都能直接接入这一框架。

局限性

LDMs 的主要问题还在于顺序采样本身。它比 GAN 慢，这是结构决定的，不是简单调参就能抹平的。另一个限制是自编码器的重建上限：第一阶段没保住的细节，后面扩散也补不回来。

高分辨率生成时，显存压力仍然存在。虽然潜在空间已经比像素空间省很多，但到了更大的分辨率，解码阶段还是会变得吃力。

结论

LDMs 把扩散模型从像素空间迁到潜在空间，再用交叉注意力补上通用条件控制，结果就是：训练更省，采样更快，可控性也更好。它不是把扩散模型变成了另一种东西，而是把它变成了更容易落地的东西。Stable Diffusion 后来能起来，根子就在这里。