AI 视频风格转换教程:Stable Diffusion 结合 TemporalKit 实现动漫风
本文详细介绍如何利用 Stable Diffusion WebUI 配合 Temporal-Kit 插件,将普通视频转换为动漫风格。该流程通过提取关键帧、重绘处理及插值合成,实现稳定的视频风格迁移。
一、核心原理与适用场景
1. 工作流程
基本方法是通过 Temporal-Kit 插件提取视频中的关键帧图片,使用 Stable Diffusion WebUI 对关键帧进行重绘(图生图),再利用 Temporal-Kit 处理转换后的关键帧,自动补充中间帧并拼合为视频。
2. 适用建议
为了获得最佳效果,建议输入视频满足以下条件:
- 背景简单:减少重绘时的背景干扰。
- 主体占比大:确保主体在画面中清晰可见。
- 动作变化慢:避免快速运动导致重绘元素不稳定或闪烁。
二、环境准备与插件安装
1. 依赖环境
确保已安装 Python 虚拟环境,并激活 Stable Diffusion WebUI 的 venv。
2. 安装 Temporal-Kit
方法一:在线安装
- 打开 Stable Diffusion WebUI,进入'扩展插件'页面。
- 选择'从网址安装'页签。
- 输入 GitHub 仓库地址(需网络可达)。
- 点击'安装',重启 WebUI。
- 若未显示菜单,检查控制台日志。
方法二:离线安装
若无法访问外网,可下载插件源码包解压至 extensions 目录。
3. 解决依赖报错
常见错误如 ModuleNotFoundError: No module named 'moviepy',需在虚拟环境中手动安装缺失包:
source /root/stable-diffusion-webui/venv/bin/activate
pip install moviepy
pip install scenedetect
注意:路径需根据实际部署位置调整。安装完成后重启 SD WebUI。
三、关键帧提取设置
在 SD WebUI 主页找到 Temporal-Kit 标签,点击'Pre-Processing'。
1. 参数详解
- Sides:决定单张生成图包含的视频帧数。例如设为 2,代表 2x2=4 帧合并;最小为 1。需结合分辨率设置。
- Height Resolution:生成图片高度像素值。建议公式:
视频高度 * Sides。例如 720p 视频设 Sides=2,则高度设为 1440。需考虑显存限制。 - frames per keyframe:抽取关键帧的频率,数值越大关键帧越少。
- fps:视频帧率,通常可在视频属性中查看。
- Target Folder:输出目录,建议为每个项目创建独立文件夹。
- Batch Run:必须勾选以处理整个视频序列。
2. 执行提取
设置完毕后点击'运行'。提取完成后,图像区域会显示首张图片,文件目录中可查看所有关键帧。
四、风格重绘与优化
提取关键帧后,进入'图生图'界面进行风格化重绘。
1. 模型选择
推荐使用动漫类大模型,如 或 系列。根据需求切换 Checkpoint。


