ComfyUI 集成 Stable Diffusion 3.5 FP8 模型与性能优化
在 AIGC 应用加速落地的今天，一个现实问题始终困扰着开发者和企业：如何在不牺牲图像质量的前提下，让像 Stable Diffusion 这样的大模型真正'跑得快、用得起'？尤其是在消费级硬件上实现高效推理，已成为从个人创作到商业部署的关键瓶颈。
2024 年发布的 Stable Diffusion 3.5（SD3.5）带来了更强的语义理解与构图能力，但随之而来的高显存占用和长推理时间也让许多用户望而却步。直到官方推出 stable-diffusion-3.5-fp8——首个公开的大规模文生图 FP8 量化版本，这一局面才被打破。我们第一时间将其集成进 ComfyUI 工作流，并进行了完整实测。结果令人振奋：在 RTX 3090 上生成一张 1024×1024 图像的时间从 18 秒降至 9 秒，显存峰值下降至 7.8GB，速度提升近 50% 且视觉质量几乎无损。
这不仅是一次简单的性能优化，更标志着生成式 AI 正从'能用'迈向'好用'的关键一步。
FP8 为何能在 SD3.5 上'稳中求快'？
传统模型压缩多依赖 INT8 量化或知识蒸馏，但这些方法往往伴随明显的质量退化，尤其在复杂提示词或精细结构生成时容易出现语义漂移、细节模糊等问题。FP8 则提供了一种新的平衡路径。
FP8 即 8 位浮点数格式，常见有 E4M3（4 指数 +3 尾数）和 E5M2 两种变体。相比 INT8，它保留了浮点数的动态范围优势，能更好处理扩散模型中激活值跨度大的特点；相比 FP16，其数据体积减半，在支持 Tensor Core 的现代 GPU 上可获得更高吞吐率。
SD3.5-FP8 并非简单地将所有权重转为 FP8，而是采用混合精度策略：
- U-Net 主干网络全面启用 FP8 计算，承担主要去噪任务；
- T5-XXL 文本编码器维持 FP16 运行，确保语言表征精度；
- VAE 解码器部分层也进行轻量级量化，兼顾重建质量与效率；
- 关键注意力头、输出投影层等敏感模块自动降级保护。
这种'关键路径高精度 + 主体低精度'的设计思路，既避免了全局降质风险，又最大化释放了低比特带来的性能红利。
值得一提的是，PyTorch 2.3 开始原生支持 torch.float8_e4m3fn 类型，使得 FP8 模型可以在标准框架下加载与执行。尽管目前仍处于实验阶段，部分操作会回退到 FP16，但结合 CUDA 内核优化后，整体加速效果已非常可观。
import torch
from diffusers import StableDiffusionPipeline
# 加载 FP8 量化模型（需 PyTorch 2.3+）
pipe = StableDiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-3.5-fp8",
torch_dtype=torch.float8_e4m3fn,
device_map="auto"
)
prompt = "a futuristic cityscape at sunset, cinematic lighting"
image = pipe(prompt, height=1024, width=1024, num_inference_steps=30, guidance_scale=7.0).images[0]
image.save("output_fp8.png")
上述代码展示了基本调用方式。实际部署中，由于 Hugging Face Diffusers 对 FP8 的支持尚不完善，更多团队选择通过 ONNX Runtime 或 NVIDIA TensorRT 完成模型转换与推理加速，以获得更稳定的低精度表现。
ComfyUI 如何无缝驾驭 FP8 新架构？
如果说 SD3.5-FP8 是'更快的引擎'，那么 ComfyUI 就是那辆可以自由改装的高性能赛车底盘。它的节点式设计天生适合应对新型精度格式带来的复杂性挑战。
