Stable Diffusion XL 1.0 实战：低显存 GPU 环境下的本地部署与优化

2.3 采样算法的作用

DPM++ 2M Karras 是一种先进的采样算法，它能够用更少的步骤生成高质量的图像。传统方法可能需要 50 步以上，而它只需要 25-40 步就能达到更好效果，大大提升了生成速度。

3. 分步实践操作

现在让我们开始搭建灵感画廊。我将提供一个简化版的代码，你可以在此基础上进行扩展。

3.1 创建项目结构

首先创建项目文件夹并组织文件结构：

inspiration-atelier/
├── app.py              # 主应用程序
├── model_loader.py     # 模型加载模块
├── style.css           # 界面样式文件
└── requirements.txt    # 依赖列表

3.2 模型加载模块

创建 model_loader.py 文件，专门处理模型加载：

import torch
from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler

def load_sdxl_model(model_path, device="cuda", torch_dtype=torch.float16):
    """加载 SDXL 模型并进行优化配置"""
    # 创建模型管道
    pipe = StableDiffusionXLPipeline.from_pretrained(
        model_path,
        torch_dtype=torch_dtype,
        use_safetensors=True,
        variant="fp16"
    )
    # 配置采样器
    pipe.scheduler = DPMSolverMultistepScheduler.from_config(
        pipe.scheduler.config,
        use_karras_sigmas=True
    )
    # 优化设置
    pipe = pipe.to(device)
    pipe.enable_model_cpu_offload()  # 显存不足时自动卸载到 CPU
    pipe.enable_xformers_memory_efficient_attention()  # 内存优化
    return pipe

3.3 主应用程序

创建 app.py 文件，构建用户界面：

import streamlit as st
import torch
from PIL import Image
import io
import time
from model_loader import load_sdxl_model

# 页面配置
st.set_page_config(
    page_title="灵感画廊 · Atelier of Light and Shadow",
    layout="wide"
)

# 自定义 CSS 样式
with open("style.css") as f:
    st.markdown(f"<style>{f.read()}</style>", unsafe_allow_html=True)

# 初始化 session state
if "model" not in st.session_state:
    with st.spinner("🕯 正在唤醒梦境核心..."):
        st.session_state.model = load_sdxl_model("stabilityai/stable-diffusion-xl-base-1.0")
    st.success(" 梦境核心已就绪")

# 侧边栏 - 画布规制
with st.sidebar:
    st.header(" 画布规制")
    # 意境选择
    style_preset = st.selectbox(
        "意境预设",
        ["影院余晖", "浮世幻象", "纪实瞬间", "自定义"]
    )
    # 画幅比例
    aspect_ratio = st.selectbox(
        "画幅比例",
        ["1:1 (方形)", "16:9 (宽屏)", "9:16 (竖屏)", "4:3 (经典)"]
    )
    # 灵感契合度（CFG scale）
    cfg_scale = st.slider("灵感契合度", 5.0, 15.0, 7.5, 0.5)
    # 生成步数
    steps = st.slider("凝练步数", 20, 40, 25)

# 主界面
st.title(" 灵感画廊 · Atelier of Light and Shadow")
st.markdown("> *见微知著，凝光成影。将梦境的碎片，凝结为永恒的视觉诗篇。*")

# 创作区域
col1, col2 = st.columns([1, 2])
with col1:
    st.subheader("🖋 捕捉梦境")
    prompt = st.text_area(
        "梦境描述",
        height=150,
        placeholder="在这里倾诉你的视觉构思...例如：'月光下的森林，萤火虫飞舞，梦幻氛围'"
    )
    negative_prompt = st.text_area(
        "尘杂规避",
        height=100,
        placeholder="过滤掉不想要的元素...例如：'模糊，扭曲，文字，水印'"
    )

with col2:
    st.subheader("🖼 画作预览")
    if st.button(" 挥笔成画", type="primary", use_container_width=True):
        if not prompt:
            st.warning("请先描述你的梦境")
        else:
            with st.spinner("🕯 光影正在凝结中..."):
                start_time = time.time()
                # 根据选择的画幅比例设置尺寸
                if aspect_ratio == "1:1 (方形)":
                    width, height = 1024, 1024
                elif aspect_ratio == "16:9 (宽屏)":
                    width, height = 1024, 576
                elif aspect_ratio == "9:16 (竖屏)":
                    width, height = 576, 1024
                else:  # 4:3
                    width, height = 1024, 768

                # 生成图像
                image = st.session_state.model(
                    prompt=prompt,
                    negative_prompt=negative_prompt,
                    width=width,
                    height=height,
                    num_inference_steps=steps,
                    guidance_scale=cfg_scale,
                ).images[0]
                gen_time = time.time() - start_time

                # 显示结果
                st.image(image, use_column_width=True)
                st.success(f" 创作完成！耗时 {gen_time:.1f} 秒")

                # 保存选项
                def image_to_bytes(img):
                    buf = io.BytesIO()
                    img.save(buf, format="PNG")
                    return buf.getvalue()

                st.download_button(
                    "💾 珍藏作品",
                    data=image_to_bytes(image),
                    file_name=f"inspiration_{int(time.time())}.png",
                    mime="image/png"
                )

3.4 界面样式文件

创建 style.css 文件，实现宣纸色调的雅致界面：

/* 灵感画廊自定义样式 */
.stApp {
    background-color: #f8f4e9; /* 宣纸色调 */
    color: #3c2f2d; /* 墨色 */
}

/* 标题样式 */
h1, h2, h3 {
    font-family: 'Noto Serif SC', serif;
    color: #5c4a3c;
}

/* 输入框样式 */
.stTextArea textarea {
    background-color: #fffdf6;
    border: 1px solid #d9c7a8;
    border-radius: 4px;
}

/* 按钮样式 */
.stButton button {
    background-color: #8c6d46;
    color: white;
    border: none;
    border-radius: 4px;
    padding: 0.5rem 1rem;
    font-family: 'Noto Serif SC', serif;
}

.stButton button:hover {
    background-color: #6b5436;
    color: white;
}

4. 快速上手示例

现在让我们实际运行一下，看看效果如何。

4.1 启动应用

在终端中运行以下命令：

streamlit run app.py

然后在浏览器中打开显示的地址（通常是 http://localhost:8501），你就能看到灵感画廊的界面了。

4.2 第一次创作尝试

让我们做一个简单的测试：

1. 在"梦境描述"中输入："月光下的樱花树，花瓣飘落，宁静的夜晚，梦幻光影"
2. 在"尘杂规避"中输入："模糊，扭曲，文字，水印，人脸"
3. 画幅比例选择"1:1 (方形)"
4. 点击" 挥笔成画"按钮

等待 25-40 秒（取决于你的显卡性能），就能看到生成的图像了。第一次运行可能会稍慢一些，因为需要加载模型到显存中。

4.3 不同风格的尝试

你可以尝试使用内置的意境预设：

• 影院余晖：适合温暖、电影感的场景
• 浮世幻象：适合日式浮世绘风格
• 纪实瞬间：适合写实、照片风格的图像

只需在侧边栏选择相应的预设，或者在梦境描述中加入相关关键词即可。

5. 实用技巧与进阶

5.1 提示词编写技巧

好的提示词能让生成效果大幅提升。以下是一些实用技巧：

具体描述：不要只说"美丽的风景"，而是描述"夕阳下的雪山，金色的阳光洒在雪地上，天空有粉色的云彩"

风格指定：可以加入"油画风格"、"水彩画"、"赛博朋克"、"吉卜力风格"等艺术风格词汇

艺术家参考：可以尝试"梵高风格"、"莫奈风格"、"宫崎骏风格"等，但要注意版权问题

质量词汇：使用"高清"、"4K"、"细节丰富"、"专业摄影"等提升质量

5.2 显存优化策略

如果你的显存不足 8GB，可以尝试以下优化方法：

# 在 model_loader.py 中添加以下优化选项
pipe.enable_attention_slicing()  # 注意力切片，减少显存使用
pipe.enable_vae_slicing()        # VAE 切片，进一步优化显存
# 或者使用更低的分辨率
width, height = 768, 768         # 降低分辨率减少显存使用

5.3 批量生成技巧

如果你需要一次性生成多张图像，可以使用以下方法：

# 修改生成代码，一次生成多张
images = st.session_state.model(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=width,
    height=height,
    num_inference_steps=steps,
    guidance_scale=cfg_scale,
    num_images_per_prompt=4,  # 一次生成 4 张
).images

6. 常见问题解答

6.1 显存不足怎么办？

如果遇到 CUDA out of memory 错误，可以尝试：

1. 降低生成分辨率（如从 1024x1024 降到 768x768）
2. 启用更多的内存优化选项（如上面提到的 attention slicing）
3. 关闭其他占用显存的程序

6.2 生成速度太慢怎么办？

生成速度主要取决于你的显卡性能。RTX 3060(12GB) 生成一张 1024x1024 图像大约需要 25-40 秒。如果速度过慢，可以：

1. 减少生成步数（如从 30 步降到 25 步）
2. 使用更低的分辨率
3. 确保使用了 FP16 精度

6.3 生成质量不理想怎么办？

图像质量主要取决于提示词的质量。尝试：

1. 使用更详细、具体的提示词
2. 调整"灵感契合度"（CFG scale），通常在 7-10 之间效果较好
3. 增加生成步数到 30-40 步
4. 在"尘杂规避"中加入不想要的元素

6.4 如何保存自定义设置？

你可以修改代码来保存常用的预设：

# 在 app.py 中添加预设保存功能
PRESETS = {
    "影院余晖": {
        "prompt_suffix": "电影光影，温暖色调，35mm 胶片质感",
        "negative": "模糊，平淡，过曝"
    },
    "浮世幻象": {
        "prompt_suffix": "日本浮世绘风格，木版画质感，传统色彩",
        "negative": "现代，照片写实，3D 渲染"
    }
}

7. 总结

通过本教程，你已经成功搭建了一个基于 Stable Diffusion XL 1.0 的灵感画廊创作终端。这个工具不仅技术先进，更重要的是它充分考虑到了实际使用的便利性和硬件友好性。

关键收获：

• 学会了如何部署和运行 SDXL 1.0 模型
• 了解了如何通过 FP16 精度和内存优化技术在 8GB 显存上运行高清生成
• 掌握了提示词编写的基本技巧和优化方法
• 构建了一个具有美观界面的创作工具

下一步建议：

1. 尝试不同的提示词组合，探索模型的创作边界
2. 根据自己的需求调整界面和功能
3. 考虑添加图像到图像的转换功能
4. 探索 LoRA 等微调方法，定制专属风格

最重要的是，现在你可以尽情发挥创意，让 AI 成为你的艺术创作伙伴。无论是概念设计、插画创作，还是只是随意探索视觉可能性，灵感画廊都能为你提供一个静谧而强大的创作空间。