Stable Diffusion 3.5 FP8 模型在消费级显卡上的部署与性能优化

T5 文本编码器的量化处理

SD3.5 包含三个文本编码器，其中 T5-XXL 极其庞大（约 4.7B 参数）。如果让它以 FP16 运行，仅它自己就要吃掉近 10GB 显存。我们必须加载它的 FP8 版本。

from transformers import T5EncoderModel, BitsAndBytesConfig

# 配置 NF4 或 FP8 量化加载 T5
quantization_config = BitsAndBytesConfig(
    load_in_8bit=True,
    llm_int8_skip_modules=["proj_out", "lm_head"] # 防止量化过度导致精度崩坏
)

# 单独加载量化后的 T5
text_encoder_3 = T5EncoderModel.from_pretrained(
    model_id,
    subfolder="text_encoder_3",
    quantization_config=quantization_config,
    torch_dtype=torch.float16
)

# 将量化后的 T5 塞回 Pipeline
pipe.text_encoder_3 = text_encoder_3

生成效果与性能对比

我们在 RTX 4060 Ti (16GB) 和 RTX 3060 (12GB) 上进行了测试。

提示词：

A futuristic cyberpunk city street at night, neon lights reflecting on wet pavement, extremely detailed, photorealistic, 8k.

显存占用对比

生成质量观察

通过对比 BF16 原版和 FP8 量化版的生成图，我们发现：

• 构图：FP8 版本在构图逻辑上与原版完全一致。
• 细节：在霓虹灯的边缘和远处建筑的纹理上，FP8 版本有极其微小的噪点差异，但在不放大的情况下肉眼难以察觉。
• 文本生成：SD3.5 引以为傲的文本生成能力（如在图片中写字），在 FP8 模式下依然保持高准确率。

进阶优化技巧

为了在实战中获得更好的体验，以下几个技巧至关重要：

1. Shift 参数调整：
   SD3.5 采用了 Flow Matching 架构。在 FP8 模式下，对于复杂的 Prompt，适当调整调度器的 shift 参数（通常在 3.0 左右）可以改善画面的对比度和色彩饱和度。
2. 使用 GGUF 格式 (ComfyUI 用户)：
   如果你不使用代码，而是使用 ComfyUI，强烈建议使用 GGUF 格式的 SD3.5 模型。GGUF 允许更细粒度的量化（如 Q4_K_M, Q8_0），甚至可以在 8GB 显存下运行 SD3.5 Large，虽然推理速度稍慢，但兼容性无敌。
3. 编译加速 (torch.compile)：
   在 Linux 环境下，使用 pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True) 可以进一步提升 20%-30% 的推理速度。

总结与展望

SD3.5 FP8 的出现，标志着高质量 AI 绘画的普及。

通过 FP8 量化和 Diffusers 的优化加载，我们成功将原本需要服务器级显卡才能运行的庞然大物，塞进了家用游戏显卡中。对于开发者而言，这意味着可以在本地低成本地进行微调（LoRA）、构建私有化应用（如游戏资产生成工具）或进行创意验证。

未来，随着硬件对 FP8 计算的原生支持越来越完善（如 NVIDIA Hopper/Ada 架构），AI 镜像开发的门槛将进一步降低，让我们期待更多基于 SD3.5 的创新应用诞生！