本地部署 Stable Diffusion AI 模型实战指南

3.2 预训练模型加载

如果是从 Hugging Face 下载的完整目录结构：

from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")

4. 设备配置

根据硬件环境设置推理设备，以利用 GPU 加速。

4.1 Windows / Linux (NVIDIA GPU)

import torch

device = "cuda" if torch.cuda.is_available() else "cpu"
pipe = pipe.to(device)

4.2 Mac (M1/M2/M3 芯片)

Apple Silicon 支持 MPS (Metal Performance Shaders) 后端：

device = 'mps'
pipe = pipe.to(device)

5. 调度器配置

调度器（Scheduler）决定了图像生成的采样过程，直接影响画质和速度。它对应 AUTOMATIC1111 WebUI 中的 Sampling method。

5.1 常见调度器

• DPM++ SDE Karras: 平衡速度与质量，推荐用于大多数场景。
• Euler a: 速度快，但细节可能略少。
• DDIM: 稳定性好，适合固定种子复现。

5.2 代码示例

from diffusers import DPMSolverSinglestepScheduler

pipe.scheduler = DPMSolverSinglestepScheduler.from_config(
    pipe.scheduler.config, 
    use_karras_sigmas=True
)

6. 提示词工程

提示词（Prompt）的质量直接决定生成效果。默认 Token 限制通常为 77 个，如需更长描述可使用 compel 库进行向量化处理。

6.1 基础提示词

prompt = "masterpiece, cat wizard, gandalf, lord of the rings, detailed, fantasy, cute, adorable, Pixar, Disney"
negative_prompt = "worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed"

6.2 长提示词支持

安装 compel 库：

pip install compel

使用 Compel 处理提示词嵌入：

from compel import Compel, ReturnedEmbeddingsType

compel = Compel(
    tokenizer=[pipe.tokenizer, pipe.tokenizer_2],
    text_encoder=[pipe.text_encoder, pipe.text_encoder_2],
    returned_embeddings_type=ReturnedEmbeddingsType.PENULTIMATE_HIDDEN_STATES_NON_NORMALIZED,
    requires_pooled=[False, True]
)

conditioning, pooled = compel(prompt)
negative_prompt_embeds, negative_pooled = compel(negative_prompt)

7. 图像生成

调用 Pipeline 进行推理，调整关键参数以获得最佳效果。

7.1 生成参数说明

• num_inference_steps: 推理步数，越多越精细但越慢（建议 20-50）。
• guidance_scale: 引导系数，控制提示词遵循程度（建议 5-9）。
• strength: 用于图生图时的强度。

7.2 生成代码

image = pipe(
    prompt_embeds=conditioning,
    pooled_prompt_embeds=pooled,
    negative_prompt_embeds=negative_prompt_embeds,
    negative_pooled_prompt_embeds=negative_pooled,
    height=1024,
    width=1024,
    num_inference_steps=6,
    guidance_scale=2,
).images[0]

image.save("output.jpg")

8. 完整项目脚本

将上述步骤整合为一个完整的可运行脚本：

import torch
from diffusers import StableDiffusionXLPipeline, DPMSolverSinglestepScheduler
from compel import Compel, ReturnedEmbeddingsType

# 1. 初始化设备
device = "cuda" if torch.cuda.is_available() else "cpu"

# 2. 加载模型
model_path = "path/to/your/model.safetensors"
pipe = StableDiffusionXLPipeline.from_single_file(model_path)
pipe = pipe.to(device)

# 3. 配置调度器
pipe.scheduler = DPMSolverSinglestepScheduler.from_config(
    pipe.scheduler.config, use_karras_sigmas=True
)

# 4. 配置提示词处理器
compel = Compel(
    tokenizer=[pipe.tokenizer, pipe.tokenizer_2],
    text_encoder=[pipe.text_encoder, pipe.text_encoder_2],
    returned_embeddings_type=ReturnedEmbeddingsType.PENULTIMATE_HIDDEN_STATES_NON_NORMALIZED,
    requires_pooled=[False, True]
)

# 5. 定义提示词
prompt = "a beautiful landscape with mountains and lakes, realistic, 8k resolution"
negative_prompt = "blurry, low quality, distorted"

conditioning, pooled = compel(prompt)
negative_prompt_embeds, negative_pooled = compel(negative_prompt)

# 6. 执行生成
image = pipe(
    prompt_embeds=conditioning,
    pooled_prompt_embeds=pooled,
    negative_prompt_embeds=negative_prompt_embeds,
    negative_pooled_prompt_embeds=negative_pooled,
    num_inference_steps=20,
    guidance_scale=7.5,
).images[0]

image.save("result.png")
print("Generation completed.")

9. 常见问题排查

• 显存不足 (OOM): 尝试降低分辨率，或使用 --lowvram 启动选项，或启用 enable_model_cpu_offload()。
• 生成速度慢: 检查是否启用了 GPU，尝试使用 Turbo 模型或减少推理步数。
• 模型加载失败: 确认文件格式为 .safetensors 或 .ckpt，并检查路径是否正确。

10. 总结

本文详细讲解了在本地使用 diffusers 库运行 Stable Diffusion 的完整流程，包括环境配置、模型加载、调度器优化及提示词控制。通过本教程，开发者可以快速搭建自己的 AI 绘图工作流，并根据实际需求调整参数以获得高质量输出。后续可进一步探索 LoRA 微调、ControlNet 姿态控制等高级功能。