LobeChat 与 Stable Diffusion 联动实现 AI 绘画描述生成

这个接口的设计非常友好，返回结果中的图像默认以 base64 编码形式嵌入 JSON，便于前端直接渲染。Python 脚本可以轻松完成这一流程：

import requests
from PIL import Image
import io
import base64

url = "http://localhost:7860/sdapi/v1/txt2img"
payload = {
    "prompt": "a serene mountain lake under northern lights, realistic, 8k",
    "negative_prompt": "hazy, overexposed, text",
    "steps": 30,
    "width": 768,
    "height": 512,
    "cfg_scale": 10,
    "sampler_index": "DPM++ 2M Karras"
}

response = requests.post(url, json=payload)
result = response.json()

# 解码图像
image_data = result['images'][0]
image = Image.open(io.BytesIO(base64.b64decode(image_data.split(",", 1)[0])))
image.save("output.png")

这段代码虽然简单，却是整个联动系统的'最后一公里'。它代表了从语言理解到视觉呈现的跨越。而在 LobeChat 插件中，这一切都可以封装成一行调用。

实际工作流程长什么样？

让我们还原一个真实使用场景：

1. 用户在聊天框输入：'帮我画一个未来感十足的城市夜景。'
2. LobeChat 检测到关键词'画'，自动激活图像生成插件。
3. 插件构造 API 请求，添加负向提示词 "low quality, blurry, deformed" 和推荐参数，发送至 http://localhost:7860/sdapi/v1/txt2img。
4. Stable Diffusion 在 GPU 上开始去噪扩散，约 15 秒后返回 base64 图像。
5. LobeChat 将图像插入对话流，显示为一张可缩放、可下载的图片卡片。
6. 用户继续追问：'能不能改成白天？'——系统再次调用模型调整提示词，重新生成。

大模型返回优化后的 prompt：

'A sprawling cyberpunk metropolis at night, illuminated by neon signs and holograms, raining streets reflecting colorful lights, futuristic skyscrapers, intricate details, 8k resolution, cinematic lighting'

插件将原文送入当前连接的大模型（无论是本地还是云端），并附带系统提示：

'请将此描述转化为适合 Stable Diffusion 的英文提示词，要求包含风格、细节、分辨率等要素。'

整个过程流畅自然，仿佛你在和一位既懂美术又会编程的助手对话。更棒的是，由于 LobeChat 支持上下文记忆，后续修改无需重复说明主体内容，只需增量调整即可。

插件怎么写？其实很简单

LobeChat 提供了清晰的插件开发接口。下面是一个简化版的插件注册逻辑，展示了如何整合上述流程：

import { registerPlugin } from 'lobe-chat-plugin-sdk';

registerPlugin({
  name: 'stable-diffusion-generator',
  displayName: 'Stable Diffusion 图像生成器',
  description: '将文本描述发送至本地 SD WebUI 并返回图像',
  inputs: ['text'],
  outputs: ['image'],
  async execute(input) {
    const prompt = await this.enhancePrompt(input.text);
    const response = await fetch('http://localhost:7860/sdapi/v1/txt2img', {
      method: 'POST',
      headers: { 'Content-Type': 'application/json' },
      body: JSON.stringify({
        prompt,
        negative_prompt: "low quality, blurry, distorted anatomy",
        steps: 25,
        sampler_index: "Euler a",
        width: 512,
        height: 512,
        cfg_scale: 9,
      }),
    });
    const result = await response.json();
    return { image: result.images[0] };
  },
  async enhancePrompt(rawText) {
    const completion = await this.llmCall({
      messages: [
        {
          role: 'system',
          content: '你是一个专业的 AI 绘画提示词工程师，请将用户描述转化为适合 Stable Diffusion 的详细英文提示。包含场景、风格、细节、光照、分辨率等要素。'
        },
        {
          role: 'user',
          content: rawText
        }
      ]
    });
    return completion.choices[0].message.content;
  }
});

这个插件只有不到 50 行核心代码，却实现了从语义理解到图像生成的完整链路。它的价值不在于复杂度，而在于解耦与复用：前端不用关心模型在哪跑，后端也不必处理 UI 渲染，各司其职，高效协作。

部署时需要注意什么？

尽管技术路径清晰，但在实际落地中仍有一些关键点需要权衡：

安全性不可忽视

暴露 7860 端口意味着任何人都可能访问你的图像生成 API。建议采取以下措施：

• 使用反向代理（如 Nginx）加 Basic Auth 认证；
• 或在插件层加入 token 校验机制；
• 对敏感词进行过滤，防止生成不当内容。

性能瓶颈需提前规划

GPU 资源有限，若多人同时请求，容易造成排队阻塞。解决方案包括：

• 引入任务队列（如 Redis + Celery）实现异步处理；
• 设置最大并发数限制；
• 对高频请求做缓存（例如相同或相似 prompt 可复用结果）。

用户体验要打磨细节

一个好的插件不只是'能用'，更要'好用'：

• 添加'重绘'、'换风格'、'高清修复'等快捷按钮；
• 支持拖拽上传草图，结合 ControlNet 实现涂鸦转图像；
• 允许用户自定义偏好模型（如 anime、realistic）并由 LLM 自动匹配。

模型调度更智能

高级用法中，可以配置多个 Stable Diffusion 模型（checkpoint）。例如：

• 用户提到'水墨风'，自动切换到 inkDiffusion；
• 提到'动漫'，加载 AnythingV5；
• 提到'写实人像'，启用 RealisticVision。

这些都可以通过 LLM 对原始描述的分类判断来实现动态路由，进一步提升生成效果。

这种联动到底解决了哪些痛点？

回到最初的问题：我们为什么需要 LobeChat + Stable Diffusion 的组合？因为它实实在在地解决了几个长期困扰 AIGC 用户的难题：

更重要的是，这套架构具有极强的可扩展性。今天是图像生成，明天就可以接入视频生成、音乐创作、3D 建模等新模态。LobeChat 正在成为那个'万能插座'，而每一个插件都是一个新的功能模块。

结语：通往多模态智能的桥梁

LobeChat 与 Stable Diffusion 的联动，本质上是一次'认知接口'的升级。它不再要求人类去适应机器的语言，而是让机器学会理解人类的表达方式。这种转变看似微小，实则深远。

我们可以预见，在不远的将来，设计师不再需要打开 Photoshop 才能构思画面，老师不必翻找图库就能生成教学素材，产品经理也能在会议中实时'说出'产品原型。这一切的背后，正是由 LobeChat 这类工具所构建的自然语言驱动的创作生态。

技术从来不是终点，而是通向创造力的桥梁。而现在的我们，正站在桥中央。