如何利用 SGLang 与 Stable Diffusion 联动解决本地显卡显存不足的问题。通过将大语言模型和图像生成模型解耦并部署在云端不同实例，利用 Python 脚本进行 API 对接，实现了文生图的自动化流程。教程涵盖了从服务部署、脚本编写到参数调优及批量处理的全流程，相比本地双模型运行，该方案显著降低了显存占用，提升了生成速度与质量，且可按需租用算力，大幅降低硬件成本。
大多数内容创作者面临显存不足的问题。普通台式机或笔记本显卡（如 GTX 1660、RTX 3060）显存通常在 8GB 左右，日常办公没问题，但运行 AI 模型时捉襟见肘。
例如：先让大模型生成文案，再喂给 Stable Diffusion 生成图片。两个模型同时运行时，显存需求叠加。Stable Diffusion 占用 5-6GB，中等规模语言模型（如 Qwen-7B）推理需 4GB 以上，总和超过 9GB，远超显卡承载能力。结果导致系统卡顿、程序闪退。
面对此问题，升级硬件并非最佳选择：
核心思路是模型解耦 + 云端协同。将原本挤在一台机器上的任务拆开，分别交给最适合的环境执行。
本地设备仅承担交互工作，重负载任务由云端算力承担。架构天然支持扩展，可批量调用。
| 场景 | 本地双模型运行 | SGLang+SD 联动 |
|---|---|---|
| 显存占用 | 爆满（>9GB），频繁崩溃 | 本地<1GB，稳定运行 |
| 图片生成速度 | 平均 45 秒/张 | 平均 18 秒/张 |
| 文案生成质量 | 受限于小模型 | 可使用更大更强模型 |
| 总体成本 | 无额外支出，效率低 | 按需付费，成本低 |
实现联动的第一步是找到合适的运行环境。利用云端镜像仓库的预置镜像，无需手动安装复杂依赖。
搜索关键词'SGLang'和'Stable Diffusion'，选择带有'官方推荐'标签的镜像，通常更新及时，社区支持好。
部署完成后，通过 Web 终端验证服务状态：
# 查看 SGLang 服务状态
ps aux | grep sglang
# 测试 API 连通性
curl -X POST http://localhost:30000/generate \
-H "Content-Type: application/json" \
-d '{ "text": "请写一句关于春天的描述", "sampling_params": { "temperature": 0.7, "max_new_tokens": 100 } }'
若返回描写，说明启动成功。默认端口通常为 30000，确保防火墙允许访问。
sd-painter。打开浏览器访问实例公网 IP 加端口（通常是 7860 或 7861），应能看到 Web 界面。
启用 API 功能，编辑配置文件：
nano /opt/stable-diffusion-webui/config.json
确保以下字段开启：
{
"api": true,
"api_auth": null,
"api_log": true
}
保存后重启服务。
记下关键信息：
http://<SGLANG_IP>:30000http://<SD_IP>:7861/sdapi/v1/txt2img流程如下：
创建 ai_copilot.py：
import requests
import json
import base64
from PIL import Image
from io import BytesIO
# 配置服务地址
SGLANG_URL = "http://<SGLANG_IP>:30000/generate"
SD_URL = "http://<SD_IP>:7861/sdapi/v1/txt2img"
def generate_prompt(user_input):
"""调用 SGLang 生成优化提示词"""
payload = {
"text": f"请根据以下描述生成 Stable Diffusion 专用的英文绘图提示词，要求详细、具体、包含风格和细节：{user_input}",
"sampling_params": {
"temperature": 0.6,
"top_p": 0.9,
"max_new_tokens": 200
}
}
response = requests.post(SGLANG_URL, json=payload)
result = response.json()
return result["text"].strip()
def generate_image(prompt):
"""调用 Stable Diffusion 生成图像"""
sd_payload = {
"prompt": prompt,
"negative_prompt": "low quality, blurry, cartoon, drawing",
"steps": 25,
"width": 1024,
"height": 1024,
"cfg_scale": 7,
"sampler_name": "DPM++ 2M Karras"
}
response = requests.post(SD_URL, json=sd_payload)
result = response.json()
image_data = result["images"][0]
image = Image.open(BytesIO(base64.b64decode(image_data)))
return image
def main():
user_request = input("请输入你的创作需求：")
print("🧠 正在由 SGLang 生成提示词...")
prompt = generate_prompt(user_request)
print(f"📝 生成提示词：{prompt}")
print("🎨 正在调用 Stable Diffusion 绘图...")
image = generate_image(prompt)
output_path = "output.png"
image.save(output_path)
print(f"✅ 图片已保存至 {output_path}")
if __name__ == "__main__":
main()
替换 <SGLANG_IP> 和 <SD_IP> 为实际服务器地址。
执行 python ai_copilot.py，输入示例：'一只穿着宇航服的橘猫在月球上钓鱼'。预期输出提示词及保存的图片文件。
支持批量生成素材，外层加循环即可：
themes = [
"未来城市空中花园",
"海底废弃实验室",
"沙漠中的机械骆驼商队",
"樱花树下的机器人茶道"
]
for theme in themes:
print(f"\n--- 正在生成：{theme} ---")
prompt = generate_prompt(theme)
image = generate_image(prompt)
image.save(f"output_{theme}.png")
避免重复计算，加入简单缓存：
import pickle
import os
CACHE_FILE = "prompt_cache.pkl"
def load_cache():
if os.path.exists(CACHE_FILE):
with open(CACHE_FILE, 'rb') as f:
return pickle.load(f)
return {}
def save_cache(cache):
with open(CACHE_FILE, 'wb') as f:
pickle.dump(cache, f)
# 在 generate_prompt 函数中调用
# cache = load_cache()
# if user_input in cache: return cache[user_input]
# ... 生成后存入 ...
根据任务类型变更实例规格。轻量任务使用低成本 GPU，重量任务临时升级，完成后降配。只为实际使用的算力买单。
在平台控制台查看实例运行时长、GPU 利用率、显存占用及消费金额。设定每日预算提醒。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online