Stable Diffusion 的发布是 AI 图像生成发展过程中的一个里程碑，相当于给大众提供了一个可用的高性能模型，让「AI 文本图片生成」变成普通人也能玩转的技术。最近一些网友将网上的真人图片不断喂给模型，让其自主学习，训练出来的效果已经可以做到以假乱真。本文将从零开始，手把手教你如何搭建自己的本地 AI 图文视频生成环境。
1. 搭建你自己的 AI 网站
本篇我们将单刀直入教各位最快搭建出一个质量不错的 AI 网站。下文会提及的模型、插件和源码，均为开源社区通用资源。
1.1 环境准备
第一步，我们需要在电脑上安装 Python 3.10.6 版本。如果已经安装了其他 Python 版本，可以利用 conda 安装多一个 3.10 的虚拟环境版本：
conda create -n sd_env python==3.10.6
激活该环境：
conda activate sd_env
接下来下载 Stable Diffusion WebUI 的官方仓库代码：
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui
1.2 安装 PyTorch GPU 版本
进入刚刚创建的虚拟环境后，需要安装对应的 GPU 版本的 Pytorch。请根据显卡型号选择 CUDA 版本（此处以 CUDA 11.6 为例）：
python -m pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
安装成功后，可以测试自己的 PyTorch 版本是否可以跑通：
import torch
print(torch.cuda.is_available())
如果输出 True，说明 GPU 驱动配置成功。
1.3 安装依赖
进入刚刚下载的 Github 仓库的代码文件夹，安装第三方依赖：
python -m pip install -r requirements.txt
2. 模型下载与管理
有了网站之后，就需要下载对应的 AI 模型进行有效生成。一些网友已经利用网上大量的图片训练好的模型，并分享到网站上。
可以在模型资源站找到很多已经训练好的模型。例如找一个生成真人图片的模型：ChilloutMix。从网页上下载对应的模型文件（通常为 .safetensors 或 .ckpt 格式），把该模型放到工程目录下的 models/Stable-diffusion 文件夹中。
重启 WebUI 后，在界面顶部的下拉菜单中即可选择加载该模型。
3. 汉化与插件下载
stable-diffusion-webui 这个项目支持下载第三方插件。例如我们可以下载对应的汉化插件。
登陆扩展管理页面，搜索中文语言包插件。下载插件的安装包后，将其解压放到 extensions 目录下。
接着，需要对网页进行重启服务。在扩展选项卡中，勾选刚安装的插件，并在设置中找到 zh_CN 语言选项，最后重新启动网页，界面即可生效为中文。
4. 生成你的真人图片
启动主程序 launch.py，等待一定的时间出现网页地址就可以了。打开网址时，有时候可能模型没有更新，因此可以尝试多次重启。需要选择刚刚下载的模型：ChilloutMix。
这样就已经完成前期的部署工作了。接下来详细教大家怎么生成自己想要的图片。
4.1 生成真人图片
在模型资源站上，已经有很多大神利用 Prompt 生成图片了，因此我们就可以对这些进行参考。例如找一个好看的图片，对下面的 Prompt 词语进行复制。
其中 Prompt 词语放在提示词框内，消极 Prompt 词语放在对应的方框内。同时调整对应的参数（如采样步数、CFG Scale、分辨率），最后就可以生成真人图片。
4.2 不同风格图片生成
在模型资源站上，还有很多 LoRA 模型可以进行下载。这是一种可以帮助你调整画风的小模型。主要是放到 Prompt 中进行使用。
例如我们可以在网站上下载原神风格的 LoRA 模型。下载完成后，把模型放到 models/Lora 路径下。按照步骤选中模型后，会看到具体的 Prompt 在方框内被自动填充。
把基础 Prompt 词语加入到这里，就可以生成一个特定风格的图片。
4.3 动画视频生成
首先需要安装插件 Deforum。这个插件能够根据多个生成的图片构造成视频动画。
在当前 stable-diffusion 目录下，执行下面命令，就会发现 extensions 多了新的插件：
git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum
同时重启新的网页，会发现多了 Deforum 这个选项。
可以先执行简单的生成，在提示词上，已经默认填写了语句模板：
{
"0": "tiny cute swamp bunny, highly detailed, intricate, ultra hd, sharp photo",
"30": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose",
"60": "a beautiful coconut --neg photo, realistic",
"90": "a beautiful durian, trending on Artstation"
}
Prompt 词语模板解释如下：
//Abstracted Example
{
"0": "Prompt A --neg NegPompt",
"12": "Prompt B"
}
其中'0'和'12'提示在插值中解析的关键帧。Prompt A 和 B 是肯定提示，NegPrompt 是否定提示。当然，也可以直接用上面模型资源站下载下来的模型，生成真人动画。
5. 让你生成的图片开口说话
从上面我们已经得到了生成的图片。那么就可以利用这张图片，创建自己的 AI 说话视频。
目前市面上有多种工具可以实现此功能，例如 SadTalker 等开源项目，或者在线服务。选择工具后，上传刚刚生成的图片，然后输入自己想要说的话（音频文件或文本转语音），之后生成就可以了。
最后就可以得到比较逼真的真人 AI 说话视频了。
有了这个技术，就可以批量制作二次元甚至是真人说话视频。这对于 AIGC 内容创作行业是一个颠覆性的技术，相信未来这个技术在多个领域上都能够推广开来。
6. 常见问题与优化建议
6.1 显存不足问题
如果在运行过程中遇到 OOM (Out Of Memory) 错误，可以尝试以下方法：
- 降低分辨率（例如 512x512）。
- 启用
--medvram或--lowvram启动参数。 - 减少 Batch Size。
6.2 生成速度慢
- 确保已正确安装 CUDA 版本的 PyTorch。
- 检查显卡驱动是否为最新版本。
- 考虑使用云端 GPU 实例进行大规模生成。
6.3 画面崩坏
- 调整 CFG Scale 参数，过高会导致画面过饱和。
- 检查 Negative Prompt 是否包含过多负面词汇。
- 尝试更换不同的 Checkpoint 模型。
7. 总结
通过上述步骤，我们成功搭建了基于 Stable Diffusion 的本地图文视频生成平台。掌握了环境配置、模型管理、插件扩展以及基本的提示词工程技巧。随着技术的不断发展，AIGC 技术将在游戏、计算、影视等领域得到更广泛的应用，使系统具有更高效、更智能的特性。对于开发者而言，深入理解这些底层逻辑和技术实现至关重要。