SGLang 与 Stable Diffusion 联动部署教程

若返回描写，说明启动成功。默认端口通常为 30000，确保防火墙允许访问。

2.3 部署 Stable Diffusion 绘图服务

1. 搜索 Stable Diffusion WebUI 或 SDXL FastAPI 类镜像。
2. 同样点击'一键部署'，选择稍低配置（如 12GB 显存 T4）。
3. 实例命名建议为 sd-painter。

打开浏览器访问实例公网 IP 加端口（通常是 7860 或 7861），应能看到 Web 界面。

启用 API 功能，编辑配置文件：

nano /opt/stable-diffusion-webui/config.json

确保以下字段开启：

{
  "api": true,
  "api_auth": null,
  "api_log": true
}

保存后重启服务。

2.4 获取服务地址

记下关键信息：

• SGLang 服务地址：http://<SGLANG_IP>:30000
• Stable Diffusion API 地址：http://<SD_IP>:7861/sdapi/v1/txt2img

3. 实现联动：编写自动化脚本

3.1 设计联动逻辑

流程如下：

1. 用户输入需求。
2. 脚本发送给 SGLang。
3. SGLang 输出结构化提示词（Prompt）。
4. 脚本组装 JSON 格式请求 SD。
5. SD 返回图片数据。
6. 展示结果。

3.2 编写核心代码

创建 ai_copilot.py：

import requests
import json
import base64
from PIL import Image
from io import BytesIO

# 配置服务地址
SGLANG_URL = "http://<SGLANG_IP>:30000/generate"
SD_URL = "http://<SD_IP>:7861/sdapi/v1/txt2img"

def generate_prompt(user_input):
    """调用 SGLang 生成优化提示词"""
    payload = {
        "text": f"请根据以下描述生成 Stable Diffusion 专用的英文绘图提示词，要求详细、具体、包含风格和细节：{user_input}",
        "sampling_params": {
            "temperature": 0.6,
            "top_p": 0.9,
            "max_new_tokens": 200
        }
    }
    response = requests.post(SGLANG_URL, json=payload)
    result = response.json()
    return result["text"].strip()

def generate_image(prompt):
    """调用 Stable Diffusion 生成图像"""
    sd_payload = {
        "prompt": prompt,
        "negative_prompt": "low quality, blurry, cartoon, drawing",
        "steps": 25,
        "width": 1024,
        "height": 1024,
        "cfg_scale": 7,
        "sampler_name": "DPM++ 2M Karras"
    }
    response = requests.post(SD_URL, json=sd_payload)
    result = response.json()
    image_data = result["images"][0]
    image = Image.open(BytesIO(base64.b64decode(image_data)))
    return image

def main():
    user_request = input("请输入你的创作需求：")
    print("🧠 正在由 SGLang 生成提示词...")
    prompt = generate_prompt(user_request)
    print(f"📝 生成提示词：{prompt}")
    print("🎨 正在调用 Stable Diffusion 绘图...")
    image = generate_image(prompt)
    output_path = "output.png"
    image.save(output_path)
    print(f"✅ 图片已保存至 {output_path}")

if __name__ == "__main__":
    main()

替换 <SGLANG_IP> 和 <SD_IP> 为实际服务器地址。

3.3 参数调优

• temperature=0.6：控制创造力，绘图建议 0.5-0.7。
• steps=25：采样步数，20-30 性价比最高。
• width/height=1024：SDXL 推荐分辨率。
• cfg_scale=7：提示词相关性强度。

3.4 运行测试

执行 python ai_copilot.py，输入示例：'一只穿着宇航服的橘猫在月球上钓鱼'。预期输出提示词及保存的图片文件。

4. 进阶技巧

4.1 批量处理

支持批量生成素材，外层加循环即可：

themes = [
    "未来城市空中花园",
    "海底废弃实验室",
    "沙漠中的机械骆驼商队",
    "樱花树下的机器人茶道"
]
for theme in themes:
    print(f"\n--- 正在生成：{theme} ---")
    prompt = generate_prompt(theme)
    image = generate_image(prompt)
    image.save(f"output_{theme}.png")

4.2 缓存机制

避免重复计算，加入简单缓存：

import pickle
import os
CACHE_FILE = "prompt_cache.pkl"

def load_cache():
    if os.path.exists(CACHE_FILE):
        with open(CACHE_FILE, 'rb') as f:
            return pickle.load(f)
    return {}

def save_cache(cache):
    with open(CACHE_FILE, 'wb') as f:
        pickle.dump(cache, f)

# 在 generate_prompt 函数中调用
# cache = load_cache()
# if user_input in cache: return cache[user_input]
# ... 生成后存入 ...

4.3 动态调整资源配置

根据任务类型变更实例规格。轻量任务使用低成本 GPU，重量任务临时升级，完成后降配。只为实际使用的算力买单。

4.4 监控资源使用

在平台控制台查看实例运行时长、GPU 利用率、显存占用及消费金额。设定每日预算提醒。

总结

• 联动核心在于解耦：分离语言理解和图像生成，解决显存不足。
• 一键部署是关键：借助预置环境快速搭建服务。
• 自动化脚本提效：输入一句话获得完整图文内容。
• 按需使用最省钱：云端算力按小时计费，临时任务成本低。
• 灵活扩展：支持批量处理和缓存优化。