Stable Diffusion v1.5 模型介绍及 Python 代码实现

• 属于 扩散模型（Diffusion Model）
• 基于 Latent Diffusion（图像先压缩到 latent，再扩散采样）
• UNet + VAE 架构
• 使用 2 亿 + 图片训练（LAION-5B 数据集筛选）
• 需要显卡 ★最低 4GB 显存（CPU 也能跑但很慢）★

6. 用 Python 调用 stable-diffusion-v1-5

使用 Hugging Face diffusers（最主流方式）

6.1 安装依赖

pip install diffusers transformers accelerate safetensors torch

⚠ 如果你用 GPU（推荐），你需要正确安装 CUDA 版本 torch：

pip install torch --index-url https://download.pytorch.org/whl/cu121

6.2 文生图最简代码（Text → Image）

from diffusers import StableDiffusionPipeline
import torch

# 加载模型
pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")  # 如果无 GPU 则改为 "cpu"

prompt = "a cute cat wearing sunglasses, cyberpunk style, high detail"
# 推理
image = pipe(prompt).images[0]
# 保存
image.save("output.png")

运行后，你会获得 output.png。

6.3 增强版：控制分辨率、步骤数、种子

image = pipe(
    prompt,
    num_inference_steps=30,  # 步数（越高越细致但越慢）
    guidance_scale=7.5,      # 越大越听 prompt（通常 7-10）
    width=768,
    height=768,
    generator=torch.manual_seed(42)  # 固定种子，保持一致输出
).images[0]
image.save("cat2.png")

6.4 图生图（img2img）

from diffusers import StableDiffusionImg2ImgPipeline
from PIL import Image

pipe = StableDiffusionImg2ImgPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

init_image = Image.open("input.jpg").convert("RGB")
prompt = "cyberpunk style, neon lights"
image = pipe(prompt=prompt, image=init_image, strength=0.7).images[0]
image.save("output_img2img.png")

6.5 Inpainting（修复图像）

from diffusers import StableDiffusionInpaintPipeline
from PIL import Image

pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

image = Image.open("image.png")
mask = Image.open("mask.png")
# 白色表示要补的区域
result = pipe(
    prompt="a beautiful background with flowers",
    image=image,
    mask_image=mask
).images[0]
result.save("inpaint.png")

7. 适用场景总结

总结

runwayml/stable-diffusion-v1-5：

• ✔ AI 绘画模型（不是翻译模型）
• ✔ 稳定、经典、最流行的基础模型
• ✔ 由 Stability AI + RunwayML 联合开发
• ✔ 支持文生图、图生图、修图、扩图
• ✔ 可使用 diffusers 库轻松用 Python 调用