Stable Diffusion XL 文生图模型结构与部署解析

7. 单一大文件

• sd_xl_base_1.0.safetensors: 打包文件，方便 WebUI 用户直接下载使用。

二、推理流程详解

SDXL 生成流程总览 (Inference Pipeline)
├── 【用户输入】提示词 (Prompt): "a cat"
▼ [1. 预处理阶段 (Tokenization)]
   ├── CLIPTokenizer 读取 vocab.json / merges.txt
   └── 输出：Token IDs [49406, 320, ...]
▼ [2. 文本编码阶段 (Text Encoding)]
   ├── CLIPTextModel (x2) 加载 model.safetensors
   └── 输出：Prompt Embeddings (文本特征向量矩阵)
▼ [3. 初始噪声生成 (Latent Initialization)]
   ├── Gaussian Noise Generator 读取 scheduler_config.json
   └── 输出：Noisy Latents (纯噪声张量 128x128)
▼ [4. 循环去噪阶段 (The Denoising Loop)] ★核心
   ├── UNet2DConditionModel 加载核心权重
   ├── 动作：UNet 预测噪声 -> Scheduler 减去噪声
   └── 输出：Clean Latents (干净的潜空间图像)
▼ [5. 图像解码阶段 (Image Decoding)]
   ├── AutoencoderKL 加载 VAE 权重
   └── 输出：Final Image (1024x1024 最终图片)

1. 预处理阶段

输入字符串，通过 Tokenizer 切割并查表，输出数字 ID 序列。

2. 文本编码阶段

加载 Text Encoder 权重，将 ID 转换为高维向量 (Embeddings)，代表文本的数学含义。

3. 初始噪声生成

根据调度器配置创建纯噪声张量。

4. 循环去噪阶段

UNet 结合噪声图和文字向量，利用权重预测噪音并逐步去除，重复 20-50 次。

5. 图像解码阶段

VAE 将潜空间数据放大并翻译回 RGB 像素空间。

三、微调与 API 化部署

1. 微调策略

微调通常指更新 .safetensors 中的权重参数，而非修改代码逻辑。

操作简述 (以 LoRA 为例):

1. 准备 20-50 张高质量图片。
2. 打标描述每张图。
3. 使用 kohya_ss 或 HuggingFace Diffusers 脚本训练。
4. 产出轻量权重包 (约 100MB)。

2. 本地代码部署

环境准备:

• NVIDIA 显卡 (建议显存 16GB+)
• CUDA Toolkit (推荐 11.8 或 12.1)

安装依赖:

conda create -n sdxl python=3.10
conda activate sdxl
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install diffusers transformers accelerate safetensors invisible-watermark fastapi uvicorn

推理代码 (inference.py):

import torch
from diffusers import DiffusionPipeline

model_path = "./stable-diffusion-xl-base-1.0"
print("正在加载模型到内存...")
pipe = DiffusionPipeline.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16"
)
pipe.to("cuda")

def generate_image(prompt):
    print(f"正在生成：{prompt}")
    image = pipe(prompt=prompt).images[0]
    return image

if __name__ == "__main__":
    img = generate_image("A futuristic city on Mars, 8k resolution")
    img.save("output.png")
    print("生成完成！")

3. API 封装与调用

使用 FastAPI 将模型包装为 Web 服务。

服务端代码 (server.py):

import torch
import uvicorn
import base64
from io import BytesIO
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from diffusers import DiffusionPipeline

app = FastAPI(title="SDXL Image Generation API")

print("Server starting, loading model...")
pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16"
)
pipe.to("cuda")
print("Model loaded successfully!")

class GenerateRequest(BaseModel):
    prompt: str
    negative_prompt: str = "low quality, bad anatomy"
    steps: int = 30

@app.post("/generate")
async def generate(req: GenerateRequest):
    try:
        image = pipe(
            prompt=req.prompt,
            negative_prompt=req.negative_prompt,
            num_inference_steps=req.steps
        ).images[0]
        buffered = BytesIO()
        image.save(buffered, format="PNG")
        img_str = base64.b64encode(buffered.getvalue()).decode("utf-8")
        return {"status": "success", "image_base64": img_str}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

生产环境全链路架构:

1. 用户终端层: 微信小程序/Web/App 发送 HTTP POST 请求。
2. API 网关与服务层: Nginx 反向代理，FastAPI 验证数据格式，处理并发锁防止显存 OOM。
3. AI 模型引擎层: GPU 显存常驻 UNet/VAE/Text Encoders，动态挂载 LoRA 节省资源。
4. 结果返回链路: 模型产出 PIL Image -> API 层转 Base64 -> 返回 JSON。

此架构支持多用户并发调用，实现 AI 绘画服务的生产级集成。