Python3.8 环境下的 Stable Diffusion 轻量化部署

import torch
from diffusers import StableDiffusionPipeline
from PIL import Image

# 1. 加载预训练模型管道
# 这里使用流行的公开模型 "runwayml/stable-diffusion-v1-5"
# 首次运行会自动下载模型，请保持网络通畅
print("正在加载模型，首次加载可能需要几分钟...")
pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16,  # 使用半精度浮点数，节省显存并加快速度
    safety_checker=None          # 可选：关闭内置的安全过滤器（NSFW 检查）
).to("cuda" if torch.cuda.is_available() else "cpu")  # 自动检测并使用 GPU

# 2. 定义提示词
prompt = "A beautiful sunset over a serene mountain lake, digital art, highly detailed"
negative_prompt = "blurry, ugly, deformed"  # 负面提示词，避免常见瑕疵

# 3. 生成图像
print("正在生成图像...")
image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=20,       # 推理步数，影响细节和质量，一般 20-50
    guidance_scale=7.5,           # 提示词相关性，值越大越遵循提示词
    height=512,                   # 图像高度
    width=512,                    # 图像宽度
    num_images_per_prompt=1       # 一次生成几张图
).images[0]

# 4. 保存图像
image.save("my_first_ai_art.png")
print("图像已保存为 'my_first_ai_art.png'！")

# 5. Jupyter 中可直接显示
# display(image)

4. 运行查看结果

在激活了 sd_env 环境的终端中运行：

python generate_image.py

首次运行会下载模型文件（约几个 GB），完成后会被缓存。程序结束后，当前目录下即可找到生成的图片。

进阶技巧与实用建议

成功跑通只是开始，以下技巧能让体验更好。

1. 提示词工程

提示词是控制 AI 的关键。结构上可按'主体，细节，风格，画质'组织，例如：'一个宇航员在骑马，科幻风格，8K 分辨率，电影感灯光'。善用负面提示词（如'模糊、多手指'）能有效规避瑕疵。

2. 模型选择

runwayml/stable-diffusion-v1-5 是基础模型。Hugging Face 上有大量微调模型：

• 动漫风格：搜索 anything-v4, Counterfeit-V3.0。
• 真实摄影：搜索 realistic-vision。
• 特定画风：搜索 inkpunk-diffusion (蒸汽朋克), arcane-diffusion (双城之战)。

更换模型只需修改 from_pretrained 中的 ID。

3. 资源优化

• CPU 模式：无 GPU 时生成一张图需 1-2 分钟，是最低门槛。
• GPU 加速：有 NVIDIA GPU 时，.to("cuda") 可提升 10 倍以上速度。
• 内存不足：尝试减小 height/width，或在 from_pretrained 中增加 revision="fp16"，使用 enable_attention_slicing() 降低显存峰值。

总结

通过上述步骤，我们成功在 Python 3.8 的 Miniconda 轻量化环境中部署并运行了 Stable Diffusion。核心要点回顾：

1. 环境即服务：利用预制镜像跳过繁琐配置，获得干净、隔离的开发环境。
2. 流程标准化：获取镜像 → 启动实例 → 创建环境 → 安装依赖 → 运行代码。
3. 应用为核心：聚焦使用 diffusers 库调用模型，比从零编译更实用。
4. 灵活轻量：Conda 隔离特性允许随时切换环境，不影响系统和其他项目。

现在，你已拥有可用的 AI 绘画工作站。剩下的，就是发挥想象力，探索提示词的魔法，生成令人惊叹的图像了。