随着 Stable Diffusion 3.5 (SD 3.5) 的发布，生成式 AI 的门槛再次降低。虽然其 Large 版本拥有高达 81 亿的参数量，但通过合理的量化选择、显存管理技巧以及操作系统级的优化，即便是在 8GB 或 12GB 显存的消费级显卡上，也能获得极佳的生成体验。
2.1 显存容量与量化选择指南
在本地运行 SD 3.5 时，显存 (VRAM) 是最核心的硬件指标。SD 3.5 Large 模型在原生精度 (FP16/BF16) 下，通常需要约 18–19 GB 的显存才能完整加载。这意味着如果你想体验不经过性能削减的原生模型，至少需要一张 RTX 3090 或 RTX 4090 (24GB)。
原生精度 vs. FP8 量化
为了让 12GB 显存的主流显卡（如 RTX 4070 Ti）也能跑动大模型，FP8 量化技术应运而生。
- 资源占用：FP8 量化通过将模型权重从 16 位压缩至 8 位，能将 Large 版本的显存占用从 19GB 降低约 40%，降至 11GB 左右。
- 画质损耗：社区测试表明，虽然 FP8 与 FP16 生成的图像在像素级存在细微差异，但其视觉质量几乎处于'无损'级别，提示词遵循能力甚至在某些测试中更具优势。
RTX 40/50 系列的硬件红利
如果你使用的是最新的 RTX 40 系列 (Ada Lovelace) 或 RTX 50 系列 (Blackwell) 显卡，FP8 不仅仅是为了省显存。
- 2.3 倍速度提升：这些新架构显卡拥有原生支持 FP8 计算的 Tensor Cores。通过启用 TensorRT 优化，生成速度可达到标准 PyTorch 实现的 2.3 倍。
- 对比旧架构：在 RTX 30 系列上，FP8 仅作为一种'存储压缩'方式，计算时仍需转回 FP16，因此无法获得这种显著的推理加速。
2.2 解决 T5-XXL 文本编码器瓶颈
SD 3.5 采用了三文本编码器系统，其中 T5-XXL 是实现复杂长提示词理解的核心，但它也是著名的'显存杀手'。
显存瓶颈解析
T5-XXL 模型本身拥有约 47 亿参数。加载其 FP16 版本 约需 10.5–11 GB 显存。对于 12GB 显卡的家庭用户，仅仅加载这一个编码器就会导致显存溢出 (OOM)，根本没有空间留给图像生成主模型。
解决方案
- 8-bit 量化 (FP8 T5-XXL)：将 T5 编码器也进行 8 位量化。这能将其显存占用从 11GB 直接腰斩至约 5.2 GB。
- CPU Offloading (CPU 卸载)：在 Diffusers 或 ComfyUI 中，你可以选择将文本编码器加载到系统内存 (RAM) 中。编码过程在 CPU 上完成，编码结束后释放显存给 GPU 进行扩散计算。这虽然会增加几秒钟的初始化时间，但能彻底解决显存不足的问题。
