Stable Diffusion 3.5-FP8 环境配置与部署指南

Token 可在 https://huggingface.co/settings/tokens 创建。

磁盘空间要求

完整的部署环境对存储仍有要求：

建议至少预留 20GB SSD 空间。此外，强烈建议设置独立缓存路径，避免默认 HOME 目录爆满：

export TRANSFORMERS_CACHE="/data/hf_cache"
export HF_HOME="/data/hf_home"

并将该行加入 .bashrc 或启动脚本中。

自动化部署脚本

下面这份 Bash 脚本覆盖从初始化到首次推理验证的全过程：

#!/bin/bash
# sd35-fp8-setup.sh —— SD3.5-FP8 环境全自动配置脚本
echo "【阶段 1】检查并安装 Git LFS"
if ! command -v git-lfs &> /dev/null; then
    echo "⚠️ Git LFS 未安装，正在尝试安装..."
    if [[ "$OSTYPE" == "linux-gnu"* ]]; then
        sudo apt-get update && sudo apt-get install git-lfs -y
    elif [[ "$OSTYPE" == "darwin"* ]]; then
        brew install git-lfs && git lfs install
    else
        echo "请手动安装 Git LFS: https://git-lfs.com"
        exit 1
    fi
else
    git lfs install
fi

echo "【阶段 2】克隆模型仓库"
REPO_URL="https://huggingface.co/stabilityai/stable-diffusion-3.5-fp8"
CLONE_DIR="stable-diffusion-3.5-fp8"
if [ -d "$CLONE_DIR" ]; then
    echo "⚠️ 目录已存在，跳过克隆"
else
    git clone "$REPO_URL" "$CLONE_DIR"
fi
cd "$CLONE_DIR"

echo "【阶段 3】创建 Python 虚拟环境"
python -m venv venv
source venv/bin/activate

echo "【阶段 4】升级 pip 并安装核心依赖"
pip install --upgrade pip
pip install torch==2.3.0+cu121 torchvision --extra-index-url https://download.pytorch.org/whl/cu121
pip install \
    "diffusers>=0.28.0" \
    "transformers>=4.36" \
    "accelerate" \
    "safetensors" \
    "xformers" \
    "pillow" \
    "numpy"

echo "【阶段 5】验证模型文件完整性"
if [ ! -f "diffusion_pytorch_model.fp8.safetensors" ]; then
    echo "❌ 关键模型文件缺失！尝试执行：git lfs pull"
    git lfs pull
    if [ ! -f "diffusion_pytorch_model.fp8.safetensors" ]; then
        echo "⛔ 仍未能获取模型文件，请检查网络或权限"
        exit 1
    fi
fi

echo "【阶段 6】执行轻量级推理测试"
python << 'EOF'
import torch
from diffusers import StableDiffusionPipeline
print("正在加载 Stable Diffusion 3.5 FP8 模型...")
try:
    pipe = StableDiffusionPipeline.from_pretrained(
        ".", torch_dtype=torch.float8_e4m3fn,
        device_map="auto",
        low_cpu_mem_usage=True
    )
except AttributeError as e:
    if "float8" in str(e):
        print("错误：当前 PyTorch 不支持 FP8！请确认版本 >= 2.3.0")
        exit(1)
    else:
        raise e

try:
    pipe.enable_xformers_memory_efficient_attention()
    print("已启用 xFormers 内存优化")
except Exception as e:
    print(f"xFormers 加载失败：{e}")

prompt = "a majestic dragon flying over a snowy mountain, cinematic lighting, 8k"
print(f"提示词：{prompt}")
image = pipe(prompt, height=512, width=512, num_inference_steps=20).images[0]
image.save("sd35-fp8-test-output.png")
print("推理成功！图像已保存为 sd35-fp8-test-output.png")
EOF

使用说明：

1. 保存为 sd35-fp8-setup.sh
2. 添加执行权限：chmod +x sd35-fp8-setup.sh
3. 运行：./sd35-fp8-setup.sh

成功标志：看到推理成功！并生成图片文件。

关键参数配置说明

即使脚本能跑通，也可能在实际应用中遇到显存溢出（OOM）或推理缓慢的问题。

torch_dtype=torch.float8_e4m3fn

这是启用 FP8 的核心开关。必须 PyTorch ≥ 2.3.0 才支持。不要误写成 torch.float16。

pipe = StableDiffusionPipeline.from_pretrained(
    ".", torch_dtype=torch.float8_e4m3fn
)

device_map="auto"

对于显存 ≤ 12GB 的设备，必须开启此选项。它会利用 accelerate 库将模型层智能拆分至 GPU 和 CPU。

low_cpu_mem_usage=True

防止模型加载过程中占用过多系统内存（RAM），特别适用于容器化部署或多实例并发场景。

enable_xformers_memory_efficient_attention()

xFormers 可将注意力计算的显存复杂度从 O(n²) 降至 O(n)。安装命令：pip install xformers。 注意：某些 CUDA 驱动版本可能存在兼容性问题。如果报错，可暂时注释该行，优先保证可用性。

多场景部署建议

个人开发与创意探索

目标：快速试错、低成本运行、交互式调试。

• GPU：RTX 3090 / 4090（24G 显存）
• 分辨率：支持 1024×1024
• 批次大小：1
• 工具建议：使用 Jupyter Notebook 编写 Prompt 实验模板；配合 Gradio 构建简易 UI。

企业级 AIGC 服务平台

目标：高并发、低延迟、资源利用率最大化。

• 架构建议：使用 FastAPI 封装为 RESTful 接口；部署方式：Docker + Kubernetes。
• 模型缓存：首次加载后常驻 GPU，避免重复 load。
• 请求队列：Celery + Redis 实现异步处理。
• 监控体系：Prometheus + Grafana 跟踪 GPU 利用率、P95 延迟、错误率等指标。

示例 API 端点（FastAPI）：

@app.post("/v1/images/generations")
async def create_image(request: ImageGenerationRequest):
    start_time = time.time()
    image = pipeline(
        prompt=request.prompt,
        height=request.height or 1024,
        width=request.width or 1024,
        num_inference_steps=30
    ).images[0]
    buffer = io.BytesIO()
    image.save(buffer, format="PNG")
    img_base64 = base64.b64encode(buffer.getvalue()).decode()
    return {
        "created": int(time.time()),
        "b64_json": img_base64,
        "elapsed": round(time.time() - start_time, 2)
    }

边缘设备或低算力平台

这类设备通常不具备强大 GPU，难以直接运行 FP8 模型。

• 方案 A：使用 ONNX Runtime 导出 FP8 模型为 ONNX 格式，结合 TensorRT 加速推理。
• 方案 B：转向更轻量模型，如 SD-Turbo、LCM Distilled 或 Stable Video Diffusion。
• 方案 C：采用客户端 - 服务器架构，前端提交请求，后端由高性能 GPU 集群处理。

当前 FP8 的 ONNX 导出仍在实验阶段，官方尚未发布稳定转换工具链，需谨慎评估。建议采用方案 C——把生成逻辑集中管理，边缘端只负责交互和展示。

总结

Stable-Diffusion-3.5-FP8 是在几乎不牺牲用户体验的前提下，大幅降低计算成本，提升资源效率的典型代表。

通过本文，你应该已经掌握：

• 如何正确获取 FP8 模型镜像（避开 LFS 陷阱）
• 如何构建稳定可复现的运行环境（一键脚本 + 依赖管理）
• 如何设置关键参数以避免 OOM 和性能瓶颈
• 如何根据不同场景规划部署架构

记住这几条黄金法则：

• Git LFS 是命门：没它，拿不到真正的模型；
• PyTorch 版本不能低：FP8 支持始于 2.3.0，旧版直接出局；
• device_map 和 xFormers 是救命稻草：尤其在显存紧张时；
• 从小分辨率开始测试：先 512×512 跑通，再逐步提升；
• 生产环境必须监控：每一张图都应可追溯、可审计。