上手 Stable Diffusion：提示词、模型与调参经验

只要跑通这几行，你就已经超过了大多数从'一键包'开始的人。

核心组件：潜空间、UNet、CLIP

再做些通俗解释，方便理解：

• 潜空间（Latent Space）：把一张 512×512×3 的图压缩成 64×64×4 的小特征图，显存占用直接降到原来的三分之一。压缩太多会导致脸部细节丢失，不过可以用后文的高分辨率修复（Hires.fix）挽回来。
• UNet：网络结构像字母 U，左边下采样提取特征，右边上采样恢复大小，中间用跳跃连接防止信息遗忘。核心去噪步骤可以抽象成这样：

# unet_idea.py（伪代码，帮你理解）
def unet_step(noisy_latent, prompt_emb, t):
    # 预测噪声
    noise_pred = unet(noisy_latent, t, encoder_hidden_states=prompt_emb)
    # 去噪
    less_noisy = scheduler.step(noise_pred, t, noisy_latent).prev_sample
    return less_noisy

• CLIP：语言模型，把'赛博猫娘'翻译成数学向量，这样模型就知道'赛博'不是'赛文奥特曼'。CLIP 最多处理 77 个 token，超过的直接截断，所以提示词别写小作文，用逗号分隔关键词最稳当。

省显存、加速与白嫖 GPU

我用的是 3060 12G，早期 batch_size=2 就黑屏。后来摸到几个方法：

1. 模型半精度 + 剪枝
   加载时用 torch_dtype=torch.float16，关闭安全检查器，显存直接降 30%。还可以下载 pruned 版本的模型，体积从 5G 缩小到 2G，画质几乎看不出区别。
2. TensorRT 加速
   NVIDIA 官方工具，把模型编译成 GPU 原生指令，生成速度提 50%。安装及转换：

pip install nvidia-pyindex
pip install nvidia-tensorrt
python convert_stable_diffusion_to_tensorrt.py --model runwayml/stable-diffusion-v1-5

3. 白嫖 Google Colab
   免费版赠送 15G 的 T4 GPU，足够生成五十张图。把脚本扔到 Notebook 里就行：

# colab_stable_diffusion.ipynb
!pip install diffusers transformers accelerate
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

prompt = "your_prompt_here"
image = pipe(prompt, num_inference_steps=20).images[0]
image.save("/content/sample.png")

提示词实战：好词句是成功的一半

一个对比：只写'girl'出来的是路人脸；换成'1girl, long hair, detailed eyes, light smile, upper body, soft lighting, masterpiece'效果直接拉升。写提示词记住三点：

• 顺序：主体 → 细节（发型、眼睛、表情）→ 画面风格（赛博朋克、吉卜力）→ 画质增强词。
• 用英文逗号分隔关键词，不要写完整句子，CLIP 不吃这一套。
• 负面提示词一定要加，它能帮你避开质量低下、手指畸形等常见坑。

我常用的一套模板：

正面： masterpiece, best quality, 1girl, long silver hair, detailed eyes, cyberpunk city, leather jacket, neon lights, depth of field, sharp focus, 8k
负面： lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

进阶技巧：用 (keyword:weight) 增减权重，例如 (detailed eyes:1.3) 让眼睛细节更多，(blurry:0.7) 弱化模糊。

扩展插件：ControlNet、LoRA、Textual Inversion

不要看见仓库里几百个模型就一股脑全下。按需挑几个最实用的：

ControlNet 安装：

# 1. 克隆插件
git clone https://github.com/Mikubill/sd-webui-controlnet.git extensions/sd-webui-controlnet
# 2. 下载 OpenPose 骨架模型
wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth -O models/ControlNet/control_v11p_sd15_openpose.pth

在 WebUI 里上传姿势图片，勾选'Enable'，提示词照写，生成的猫娘就会跟着你的姿势走。

LoRA 用法更简单：把 .safetensors 或 .lora 文件丢进 models/Lora，提示词加 <lora:文件名:0.8>，权重 0~1 可调。比如 <lora:ghibliStyle_offset:0.8> 1girl, ghibli background。

常见翻车现场与抢救

1. 人脸扭曲
   症状：三只眼、鼻梁歪斜。通常是 VAE 不兼容，SD 1.5 自带的 VAE 有 bug。解决：下载 vae-ft-mse-840000-ema-pruned.ckpt，在 WebUI 设置里手动指定这个 VAE 文件。
2. 画面模糊
   像 480P 视频截图。原因是采样步数不足或 CFG 太低。步数调到 25-30，CFG 调到 7-9，再勾选 Hires.fix 放大 2 倍，清晰度立刻提升。
3. 中文乱码
   prompt 里出现'鍥惧儚'这样的乱码，是 Windows 终端 GBK 编码导致的。解决方法：在 Python 文件第一行加 # -*- coding: utf-8 -*-，或者把中文 prompt 先写进 txt 文件再读取。

调参心得与批量跑图

• Denoising strength（仅限图生图）：0~1，数值越大改变越大。想给猫娘换个发色但保持姿势，设 0.4-0.6 比较合适。
• Hires.fix：先生成 512×512，再通过图生图放大到 1024×1024，重绘幅度 0.3-0.5，速度比直接输出 1024 快几倍且不爆显存。在 WebUI 里勾选'Hires.fix → Upscale by 2 → Denoising strength 0.4'即可。
• 采样器（Sampler）：不要死抱着 Euler a。我的经验：
  • 速度快：DPM++ 2M Karras，20 步就够。
  • 质量高：DPM++ SDE Karras，30 步细节拉满。
  • 兼容旧模型：DDIM。

送一段批量跑图脚本，用来对比不同种子、CFG、采样器的效果：

# batch_grid.py
from diffusers import StableDiffusionPipeline
import itertools, os

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

prompt = "1girl, cyberpunk, detailed eyes"
seeds = [42, 123, 666]
cfgs = [7, 9]
samplers = ["DPM++ 2M Karras", "DPM++ SDE Karras"]

for seed, cfg, sampler in itertools.product(seeds, cfgs, samplers):
    image = pipe(
        prompt,
        num_inference_steps=25,
        guidance_scale=cfg,
        generator=torch.Generator().manual_seed(seed)
    ).images[0]
    fname = f"grid_s{seed}_c{cfg}_{sampler.replace(' ', '_')}.png"
    image.save(os.path.join("outputs", fname))

第二天早上起来直接挑图，省时省力。

写在最后

回头看最初画的那些图，猫娘脸歪、配色辣眼，现在的作品至少能骗到'大佬求原图'。玩 Stable Diffusion 就像带个嘴硬心软的学徒，多试、多调整、多给清晰的指令，它总能画出你脑内的画面。教程里的代码和模型配置我都扔上去了，碰到了问题也别急，去社群里甩图求助，大家一块笑。祝你早日把想象变成壁纸。