Qwen2.5-7B 与 Stable Diffusion 多模态协同部署实战

1. Qwen WebUI：用于与大模型对话。
2. Stable Diffusion WebUI：用于图像生成。

首次加载可能较慢，因为模型需要从磁盘加载到显存。后续重启速度会显著提升。

快速验证：

• 进入 Qwen 界面，输入'你好'，确认对话正常。
• 进入 SD 界面，输入英文提示词生成图片，确认绘图功能正常。

3. 实战操作：智能提示词优化

要让 Stable Diffusion 生成高质量图片，关键在于 Prompt 的质量。手动编写英文提示词对非母语者并不友好，此时可以利用 Qwen 进行辅助。

3.1 基础指令模板

设计一个简单的指令，让 Qwen 将中文描述转换为专业级英文 Prompt：

instruction = "请将以下中文描述转化为适合 Stable Diffusion 使用的英文提示词，要求包含主体、细节、环境、风格和参数。"
description = "一个穿汉服的女孩站在樱花树下拍照"

Qwen 可能会返回：

A girl wearing a traditional Hanfu dress standing under a blooming cherry blossom tree, taking a photo, soft pink petals falling around her, spring afternoon with gentle sunlight, delicate makeup, flowing silk fabric, oriental aesthetic, highly detailed, 8k resolution, cinematic composition, shallow depth of field --v 5 --ar 3:4 

你会发现，Qwen 会自动补充'花瓣飘落'、'柔和阳光'等视觉细节，提升出图质量。

3.2 批量生成策略

如果需要制作系列内容，可以让 Qwen 一次性生成多个 Prompt。例如为'四季主题穿搭'生成四条提示词，分别对应春夏秋冬，然后批量导入 Stable Diffusion 进行生成。

3.3 风格定制（LoRA）

除了基础提示词，还可以结合 LoRA 模型固定特定风格。例如想生成'新中式国风插画'，可以在 SD 中加载对应的 LoRA 模型，并让 Qwen 在 Prompt 中加入相应的权重语法：

(modern city woman in qipao-inspired office wear:1.3), ... lora:chinese_ink_v3:0.6 ...

4. 自动化流水线构建

虽然手动操作两个 Web 界面已经比单独部署方便，但通过 API 调用可以实现真正的自动化协作。

4.1 Python 脚本示例

利用内置的 Python 环境和 API 接口，可以编写脚本实现'一句话生成图文'。

import requests
import base64

# 配置地址（根据实际部署 IP 修改）
QWEN_URL = "http://localhost:7860/api/generate"
SD_URL = "http://localhost:7861/sdapi/v1/txt2img"

def get_prompt_from_qwen(description):
    payload = {
        "prompt": f"请将以下描述转化为 Stable Diffusion 英文提示词：{description}。要求包含主体、细节、环境、风格和参数。",
        "max_new_tokens": 200,
        "do_sample": True
    }
    response = requests.post(QWEN_URL, json=payload)
    return response.json().get("generated_text", "")

def generate_image(prompt):
    payload = {
        "prompt": prompt,
        "steps": 25,
        "sampler_index": "Euler a",
        "width": 768,
        "height": 1024,
        "cfg_scale": 7
    }
    response = requests.post(SD_URL, json=payload)
    return response.json()["images"][0]

if __name__ == "__main__":
    user_input = "一个穿汉服的小女孩在雪地里放烟花"
    print("正在生成提示词...")
    en_prompt = get_prompt_from_qwen(user_input)
    print(f"提示词：{en_prompt}")
    print("正在生成图像...")
    image_base64 = generate_image(en_prompt)
    
    # 保存图像
    with open("output.png", "wb") as f:
        f.write(base64.b64decode(image_base64))
    print("✅ 图文内容已生成：output.png")

运行此脚本后，只需输入一句中文，即可自动生成高质量图片，实现零干预创作。

4.2 定时任务与扩展

若需日更账号，可结合 Linux 的 cron 定时任务，每天自动执行脚本。进一步地，还可以让 Qwen 同时生成标题、正文和图片，拼接成完整的 HTML 页面或 PDF，形成标准化的内容产品。

5. 常见问题与优化

5.1 显存不足（OOM）

即使使用 24GB 显存，生成高清图时也可能报错。解决方案包括：

• 启用 medvram 或 lowvram 模式。
• 使用 INT4 量化版 Qwen。
• 降低图像分辨率至 768x768。
• 关闭 ControlNet 等非必要插件。

5.2 出图效果不佳

这通常源于提示词不够精准。尝试加入质量关键词如 8k resolution, ultra-detailed，或在 Negative Prompt 中添加 blurry, low quality。多试几次也是必要的，因为扩散模型具有一定的随机性。

5.3 成本控制

按小时计费虽便宜，但长期使用时需注意：

• 不用时及时停止实例。
• 选择合适的规格，日常任务不必一直开启高性能卡。
• 集中时间完成批量生成，减少开机次数。

6. 总结

整合 Qwen2.5-7B 与 Stable Diffusion，真正实现了多模态能力的协同。从部署到自动化脚本，这套方案能有效降低技术门槛，提升内容生产效率。无论是个人创作者还是小型团队，都能借此快速构建 AI 辅助工作流，让创意不再受限于工具链的割裂。