Stable Diffusion 入门指南：零基础 AI 绘图实战

跑通这段，你就已经领先 80% 的「一键包」用户。

核心组件解析：Latent Space、UNet 与 CLIP

再给每个打工人立个人设，方便你吹水：

• Latent Space（潜空间） 压缩仓库，把 512×512×3 的图压成 64×64×4 的「小纸条」，显存直接打 3 折。副作用：细节丢失，所以脸容易崩。解法：后文有 hires.fix 兜底。
• UNet 包工头，网络结构像 U 形，左边下采样压缩，右边上采样还原，中间跳过连接防止「左耳进右耳出」。核心代码就这几行：

# unet_idea.py（伪代码，帮你理解）
def unet_step(noisy_latent, prompt_emb, t):
    # 预测噪声
    noise_pred = unet(noisy_latent, t, encoder_hidden_states=prompt_emb)
    # 去噪
    less_noisy = scheduler.step(noise_pred, t, noisy_latent).prev_sample
    return less_noisy

• CLIP 语文老师，把「赛博猫娘」翻译成数学向量，让 AI 知道「赛博」≠「赛文奥特曼」。CLIP 最大 token 77 个，超了直接截断，所以别写小作文，关键词用逗号隔开最稳。

资源优化：本地部署与云端加速方案

我 3060 12G 曾经因为 batch_size=2 直接黑屏，风扇转得跟直升机似的。 后来学会三招，电费瞬间腰斩：

1. 模型剪枝 用 fp16 半精度 + safety_checker=None，显存立减 30%。 再狠一点上 SD 1.5 pruned 版本，体积从 5G 变 2G，画质肉眼难辨。
2. TensorRT 加速 NVIDIA 官方外挂，把模型编译成「显卡母语」，提速 50%。 安装命令：

pip install nvidia-pyindex
pip install nvidia-tensorrt
# 一键转换
python convert_stable_diffusion_to_tensorrt.py --model runwayml/stable-diffusion-v1-5

3. 白嫖 Colab 免费版给 15G T4，够跑 50 张图。脚本扔下面，每天薅羊毛：

# colab_stable_diffusion.ipynb
!pip install diffusers transformers accelerate
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

prompt = "your_prompt_here"
image = pipe(prompt, num_inference_steps=20).images[0]
image.save("/content/sample.png")

提示词工程（Prompt Engineering）实战指南

先放一张翻车对比： 左边「girl」→ 路人脸；右边「1girl, long hair, detailed eyes, light smile, upper body, soft lighting, masterpiece」→ 直接私聊我要原图。 秘诀就三句话：

• 先主体，再细节，再风格，最后画质。
• 关键词用英文逗号隔开，别写整句，CLIP 看不懂散文。
• 负面提示词比你还懂回避雷区，务必加上。

我常用的「万能模板」直接抄：

正面： masterpiece, best quality, 1girl, long silver hair, detailed eyes, cyberpunk city, leather jacket, neon lights, depth of field, sharp focus, 8k
负面： lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

再进阶一点：用括号加权 (word:1.2)，想强调就加 1.2，想弱化就 0.8。 示例：(detailed eyes:1.3) 让眼睛细节卷死隔壁。

扩展插件选择：ControlNet、LoRA 与 Textual Inversion

模型仓库现在比 Steam 游戏还多，别一股脑全装，硬盘会哭。 按需求点菜：

ControlNet 安装实录：

# 1. 装插件
git clone https://github.com/Mikubill/sd-webui-controlnet.git extensions/sd-webui-controlnet
# 2. 下模型（openpose 骨架）
wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth -O models/ControlNet/control_v11p_sd15_openpose.pth

webui 里上传一张 pose 图，勾选「Enable」，prompt 照样写，猫娘就照着你的骨架蹦迪。

LoRA 用法更无脑，把 .lora 文件扔 models/Lora，prompt 里加语法： <lora:ghibliStyle_offset:0.8> 1girl, ghibli background 权重 0-1 可调，值越大越吉卜力。

常见问题排查与解决方案

1. 人脸扭曲 症状：三只眼、鼻梁对折。 病因：VAE 没配对，SD 1.5 官方 VAE 有 bug。 解药：下 vae-ft-mse-840000-ema-pruned.ckpt，webui 里「设置-VAE」手动选它，再生成脸不崩。
2. 画面糊成浆糊 症状：像 480P 截图。 病因：采样步数 < 20 或 CFG < 5。 解药：步数 25-30，CFG 7-9，再开 Hires.fix 放大 2 倍，瞬间 4K。
3. 中文乱码 症状：prompt 里出现「鍥惧儚」。 病因：Windows 终端 GBK 编码。 解药：py 文件首行加 # -*- coding: utf-8 -*-，或直接把中文 prompt 写 txt 再读。

调试技巧：关键参数配置与优化

• Denoising strength（仅限 img2img） 值 0-1，越大越放飞。想给猫娘换发色又保留姿势，0.4-0.6 是甜点区。
• Hires.fix 两步走：先生成 512×512，再图生图放大到 1024×1024，重绘幅度 0.3-0.5，速度比直接 1024 快 3 倍，还不爆显存。 webui 设置示例： 「勾选 Hires.fix → Upscale by 2 → Denoising strength 0.4」
• Sampler 别死守 Euler a，我实测：
  • 想要速度：DPM++ 2M Karras，20 步起飞
  • 想要质量：DPM++ SDE Karras，30 步细节狂魔
  • 想要复古：DDIM，老版本兼容

再送一段批量跑图脚本，适合熬夜调参党：

# batch_grid.py
from diffusers import StableDiffusionPipeline
import itertools, os

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

prompt = "1girl, cyberpunk, detailed eyes"
seeds = [42, 123, 666]
cfgs = [7, 9]
samplers = ["DPM++ 2M Karras", "DPM++ SDE Karras"]

for seed, cfg, sampler in itertools.product(seeds, cfgs, samplers):
    image = pipe(
        prompt,
        num_inference_steps=25,
        guidance_scale=cfg,
        generator=torch.Generator().manual_seed(seed)
    ).images[0]
    fname = f"grid_s{seed}_c{cfg}_{sampler.replace(' ', '_')}.png"
    image.save(os.path.join("outputs", fname))

第二天起床直接挑图，爽翻。

总结：工具使用建议

写完这篇，我回头看自己最早的图——猫娘脸像被门夹过，配色赛狗屁。 现在至少能骗一波「大佬求原图」。 秘诀无它：把 SD 当成一个嘴硬心软的对象，多试、多骂、多哄，它迟早给你惊喜。 教程到这里，代码包我全扔上去了，再翻车别骂我，去群里甩图 @ 我，一起笑。 祝各位都能把脑内的老婆画出来，下回见。