Stable Diffusion 图生图转视频工作流实战

参数设置参考

生成满意图片后，保存到本地（建议 PNG 格式，保留元数据）。

第二步：图生视频核心操作

AnimateDiff 插件安装与配置

在 WebUI 中点击 '扩展' -> '可用' -> 搜索 AnimateDiff -> 安装。重启 WebUI 后，在文生图/图生图界面下方会出现 AnimateDiff 折叠面板。第一次使用时，需要下载运动模块。点击面板中的 '下载运动模块'，选择 mm_sd_v15.ckpt 下载。若下载慢，可手动下载后放入 models/AnimateDiff 文件夹。

运动参数详解

切换到 图生图 界面，加载刚才生成的图片，展开 AnimateDiff 面板，设置如下：

运动参数详解表：

示例组合： 缓慢上移 + 轻微放大
Translation X: 0, Translation Y: 0.5, Rotation: 0, Scale: 1.005

注意： 运动幅度不宜过大，否则人物容易变形。新手建议先尝试单一方向微动。

生成视频与后处理

设置好参数后，点击 '生成'。生成完毕后，在输出图片区域会显示一个 GIF 预览。点击 GIF 右下角的文件夹图标，可以找到生成的 MP4 视频文件（位于 outputs/img2img-images/日期 下）。如果需要高清视频，可以使用 Topaz Video AI 进行补帧（将 8fps 提升到 24fps）和放大分辨率。

实战案例与提示词解析

案例 1：写实人像（镜头缓慢上移）

基础图提示词：

正向：(photorealistic:1.3), (masterpiece:1.2), 1girl, detailed face, perfect eyes, soft skin, natural lighting, depth of field, looking at viewer, wearing sweater, indoors, cozy atmosphere
负向：nsfw, bad hands, bad anatomy, ugly, deformed, disfigured, poorly drawn face, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck, username, watermark, signature

运动参数： Translation Y: 0.5, Scale: 1.0

案例 2：风景（镜头缓缓拉远）

基础图提示词：

正向：(masterpiece, best quality), landscape, mountains, river, waterfall, forest, autumn colors, sunny day, blue sky, clouds, highly detailed, cinematic lighting, 8k, photorealistic
负向：nsfw, low quality, worst quality, blurry, fog, text, signature, watermark, username, artist name, ugly, deformed, bad anatomy, bad proportions

运动参数： Translation Y: 0, Scale: 0.99（每秒缩小 1%，镜头拉远）

常见问题与解决方案（避坑指南）

Q1：生成的视频闪烁严重

原因： 运动幅度过大，或上下文批大小太小。
解决： 降低平移/缩放值，增大上下文批大小至 24；开启 ControlNet Tile 模型（预处理选择 tile_resample）可以增强一致性。

Q2：人物五官扭曲/崩坏

原因： 基础图面部细节不足，或运动过程中面部出现错位。
解决：

• 在负向提示词中强化'bad face, distorted face'。
• 使用 ADetailer 插件（人脸修复）对每一帧进行后处理。
• 降低运动幅度，或使用逐帧生成模式（需更高级设置）。

Q3：视频长度太短

原因： 帧数设置太少。
解决： 增加帧数，但注意显存占用。16 帧约 1 秒（8fps），32 帧约 2 秒。可以生成多段后用剪辑软件拼接，或使用 EbSynth 等工具进行关键帧插值。

Q4：显存不足（CUDA out of memory）

原因： 帧数/上下文批大小过大，或分辨率太高。
解决： 降低分辨率（如 384x512），减少帧数，减小上下文批大小，关闭其他占用显存的应用。