PythonAI算法
Stable Diffusion 图生图与视频生成完整工作流
介绍基于 Stable Diffusion WebUI 和 AnimateDiff 插件的图像转视频工作流。涵盖环境搭建、模型选择、提示词编写、运动参数设置及常见问题解决方案，旨在帮助用户生成高质量动态视频。
介绍基于 Stable Diffusion WebUI 和 AnimateDiff 插件的图像转视频工作流。涵盖环境搭建、模型选择、提示词编写、运动参数设置及常见问题解决方案，旨在帮助用户生成高质量动态视频。
最近 AI 视频生成技术发展迅速，从 Runway Gen-2 到 Stable Diffusion 的 AnimateDiff 插件，静态图片'动起来'已不再是难题。但很多初学者在实操时会遇到各种坑：视频闪烁、人物变形、运动不自然等。
本文将以 Stable Diffusion WebUI + AnimateDiff 为主线，详细拆解从图生图（优化图片）到图生视频的全流程操作，并附上提示词和参数表。无论你是刚入门的小白，还是想提升效率的老手，这篇教程都能帮你快速上手。
| 工具 | 说明 | 获取方式 |
|---|---|---|
| Stable Diffusion WebUI | 秋叶整合包或官方源码 | GitHub 或相关社区 |
| AnimateDiff 插件 | 视频生成核心插件 | WebUI 扩展中搜索'AnimateDiff'安装 |
| ControlNet 插件 | 可选，用于控制画面一致性 | WebUI 扩展中搜索'ControlNet'安装 |
| Python | 3.10.x | 整合包自带 |
majicMIX realistic 或二次元风格 Anything V5mm_sd_v15.ckpt（插件会自动下载，或手动放入 models/AnimateDiff）视频的质量很大程度上取决于首帧图片的质量。如果直接用网上随便找的图，很可能因为风格不统一或细节缺失导致生成失败。因此，建议先用图生图（或文生图）生成一张满意的图片作为起点。
majicMIX realistic 或 ChilloutMixAnything V5 或 CounterfeitRealistic Vision 或 DreamShaper提示词分为正向和负向，建议将关键描述词放在前面，用 (keyword:权重) 加强。
正向提示词示例（古风美女）：
(masterpiece, best quality:1.2), 1girl, solo, chinese clothes, hanfu, looking at viewer, standing, garden, flowers, trees, soft lighting, detailed face, highly detailed skin, (wind blowing hair and clothes:1.1)
负向提示词（通用反咒）：
nsfw, bad hands, bad fingers, missing fingers, extra fingers, bad face, bad eyes, bad proportions, ugly, duplicate, morbid, mutilated, tranny, trans, deformed, blurry, low quality, worst quality, signature, watermark, username, artist name
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 采样器 (Sampler) | DPM++ 2M Karras | 生成质量与速度均衡 |
| 步数 (Steps) | 30 | 太少细节不足，太多变化不大 |
| CFG Scale | 7 | 提示词相关性，过高色彩过饱和 |
| 宽度/高度 | 512x768 | 竖构图更适合短视频，显存友好 |
| 种子 (Seed) | -1 | 随机生成，可固定种子复现效果 |
生成满意图片后，保存到本地（建议 PNG 格式，保留元数据）。
AnimateDiff -> 安装。AnimateDiff 折叠面板。mm_sd_v15.ckpt 下载。若下载慢，可手动下载后放入 models/AnimateDiff 文件夹。切换到 图生图 界面，加载刚才生成的图片，展开 AnimateDiff 面板，设置如下：
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 启用 | ✅ | 必须勾选 |
| 运动模块 | mm_sd_v15.ckpt | 已下载的模块 |
| 帧数 (Number of frames) | 16（测试）→ 32（成品） | 帧数越多视频越长，显存占用越大 |
| 帧率 (FPS) | 8 | 生成时的预览帧率，后期可用软件补帧 |
| 上下文批大小 (Context batch size) | 16 | 同时处理的帧数，越大越稳定，但显存要求高 |
| 运动参数 (Motion parameters) | 见下表 | 控制镜头运动 |
运动参数详解表：
| 参数 | 含义 | 推荐范围 | 示例 |
|---|---|---|---|
| 平移 X (Translation X) | 水平移动 | -2 ~ 2 | X:0 不动，X:1 每秒右移 1 像素 |
| 平移 Y (Translation Y) | 垂直移动 | -2 ~ 2 | Y:0.5 每秒上移 0.5 像素 |
| 旋转 (Rotation) | 画面旋转 | -0.5 ~ 0.5 | 通常设为 0 |
| 缩放 (Scale) | 镜头推拉 | 0.98 ~ 1.02 | Scale:1.01 每秒放大 1%，Scale:0.99 缩小 |
示例组合： 缓慢上移 + 轻微放大
Translation X: 0, Translation Y: 0.5, Rotation: 0, Scale: 1.005
注意： 运动幅度不宜过大，否则人物容易变形。新手建议先尝试单一方向微动。
设置好参数后，点击 '生成'。生成完毕后，在输出图片区域会显示一个 GIF 预览。点击 GIF 右下角的文件夹图标，可以找到生成的 MP4 视频文件（位于 outputs/img2img-images/日期 下）。
如果需要高清视频，可以使用 Topaz Video AI 进行补帧（将 8fps 提升到 24fps）和放大分辨率。
基础图提示词：
正向：(photorealistic:1.3), (masterpiece:1.2), 1girl, detailed face, perfect eyes, soft skin, natural lighting, depth of field, looking at viewer, wearing sweater, indoors, cozy atmosphere
负向：nsfw, bad hands, bad anatomy, ugly, deformed, disfigured, poorly drawn face, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck, username, watermark, signature
运动参数：Translation Y: 0.5, Scale: 1.0
基础图提示词：
正向：(masterpiece, best quality), landscape, mountains, river, waterfall, forest, autumn colors, sunny day, blue sky, clouds, highly detailed, cinematic lighting, 8k, photorealistic
负向：nsfw, low quality, worst quality, blurry, fog, text, signature, watermark, username, artist name, ugly, deformed, bad anatomy, bad proportions
运动参数：Translation Y: 0, Scale: 0.99（每秒缩小 1%，镜头拉远）
原因： 运动幅度过大，或上下文批大小太小。
解决： 降低平移/缩放值，增大上下文批大小至 24；开启 ControlNet Tile 模型（预处理选择 tile_resample）可以增强一致性。
原因： 基础图面部细节不足，或运动过程中面部出现错位。
解决：
原因： 帧数设置太少。
解决： 增加帧数，但注意显存占用。16 帧约 1 秒（8fps），32 帧约 2 秒。可以生成多段后用剪辑软件拼接，或使用 EbSynth 等工具进行关键帧插值。
原因： 帧数/上下文批大小过大，或分辨率太高。
解决： 降低分辨率（如 384x512），减少帧数，减小上下文批大小，关闭其他占用显存的应用。
AI 视频生成技术日新月异，但万变不离其宗：高质量的基础图片 + 合理的运动参数 = 流畅的视频。希望这篇教程能帮助你打开 AI 视频/图片创作的大门。后续还会更新更多 AIGC 实战技巧。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online