Stable Diffusion WebUI 使用综述
前言
2022 年开始的 AI 浪潮让人类走向智能化,AI 图像生成领域是主流方向之一。Stable Diffusion WebUI 是目前比较主流的图片生成软件,特点是开源且自定义程度高,扩展性强。
简单理解使用 Diffusion 扩散模型生成图片的过程就是一个添加噪声再去除噪声的过程。在这个过程中 AI 将你的意图以及它通过无数训练样本建立起来的特征和原图的关联所形成的潜在变量空间为指导生成图片,而 WebUI 就是用于控制 AI 生成图片的工具。
硬件篇
Stable Diffusion WebUI 目前最主流的搭配方式是 Windows + Nvidia 显卡。
显卡选择
配置层面上显卡有两个核心指标:
- 显卡算力大小:影响出图速度,过低的出图速度会影响使用体验,建议至少 3060 以上。
- 显存大小:影响能够生成图的分辨率,在训练模型时也会影响训练模型的规模,推荐显存 > 8 GB。通常来说,512*1024 比例的图片 8G 显存就能搞定。
部署篇
Mac 环境
如果你只有一台 Mac 电脑并且只是想简单体验一下可以参考,但速度会比较慢。苹果官方进行了适配,可以在 M1/M2 Mac 上运行,但速度仍然比不上 N 卡方案。
Google Colab 等在线平台
如果没有本地机器,可以租用或白嫖显卡平台提供的机器进行训练或者部署。优点是可以租用到高性能显卡,缺点是会受到平台限制。
Windows 环境
部署 stable-diffusion-webui 项目需要安装 python 环境,下载相关 python 库,下载模型,安装插件,安装 cudnn 加速库,安装 xformers 等。网上有不少整合包供用户开箱使用。如果不想折腾,想要立即上手可以下载整合包,由于全套都在 python 虚拟环境中因而和已有环境的冲突概率小。
提速篇
如果是自行部署注意需要开启 cudnn 加速,升级 pytorch 2.0 以及开启 xformers 以提升生成速度。
开启 CUDNN 加速
NVIDIA CUDA® 深度神经网络库 (cuDNN) 是一个 GPU 加速的基元库。启用 cudnn 可以通过 cudnn 来进行 GPU 加速,从而提高 diffusion 生成速度。实测启用之后,速度提升差不多 30% ~ 40% 左右。
升级 pytorch 到 2.0
PyTorch 是一个针对深度学习优化的 tensor library。仅仅是升级到 pytorch 2.0 就可以使 WebUI 速度提升 20% 左右。
开启 xformers 加速
Xformers 是 Facebook 出品的一款加速 Transformers 的工具库。xformers 可以加速图片生成,并显著减少显存占用,是小显存玩家的福音。代价是可能生成不确定性的结果,注意该选项仅可用于 Nvidia 显卡,实测部分情况下提速接近 100%。
界面篇
安装部署完成后,认识一下软件界面及关键参数设置。
提示词工程
prompt 顾名思义是"提示词"的意思,在 AI 文生图中用于指导 AI 生成过程。一个 AI 能够读懂的好咒语应该是内容充实丰富且画面具有清晰标准的,这里提供一个通用模板供快速使用。
模型篇
模型简介
AI 模型类别分为大模型和微调模型。
模型后缀分为 .safetensor 和 .ckpt 或 pt。safetensor 格式更加安全,推荐使用。
同一模型可能也有不同版本,ema, pruned, fp16, fp32 等。
模型优化方案对比
SD 模型调校目前有四种主流的优化方法,分别是 DreamBooth, Text Inversion, LoRA 和 Hypernetworks。
效果上:DreamBooth > ≈ >
内存占用上: >> ≈ >>
训练速度上: > > >


