基于 Stable Diffusion 的 AI 视频生成与背景替换教程

• 输入目录：填入上一步生成的图片路径。
• 输出目录：设置新的保存路径，例如 /home/user/data/sd/outputs/Isnet_output。
• 执行：点击 Start Batch Generation。

处理完成后，人物背景将被替换为白色透明层。同时会生成 mask 目录，其中包含黑底蒙版图，可用于后续的遮罩合成。

3.3 文生图配置

为了保持人物主体不变而改变背景，需配置 ControlNet 和提示词。

正向提示词 (Positive Prompt):

The sea, mountains, highways, forests, high quality, detailed background

反向提示词 (Negative Prompt):

NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)),((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbic d:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions::1.331), extra limbs,(disfigured:1.331),(missing arms:1.331),(extra legs:1.331),(fused fingers:1.61051),(toe omany fingers:1.61051),(unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit, bad ha ands, missing fingers, ((extra arms and legs))

ControlNet 配置:

• 启用 ControlNet 单元。
• 预处理器选择 control_v1p_sd15_qrcode_monster 或类似能保持结构稳定的模型。
• 模型加载对应的 ControlNet 权重。
• 参考图使用上一步生成的去背图片。

建议先测试生成几张图片，观察人物轮廓是否稳定，再确定最终的 Seed 值。

3.4 固定 Seed，批量生成图

选定满意的 Seed 值后，将其写入批量生成参数中。

• Seed：填入选定的数值（例如 123456）。
• 输入路径：填入去背图片的输出路径。
• 输出路径：设置为 /home/user/data/sd/outputs/txt2img-images 下的日期子目录。
• 执行：启动批量生成任务。

此步骤确保每一帧的人物姿态与背景变化保持一致性，避免闪烁。

3.5 多帧图片合并视频

使用 IS-Net Pro 的 frame2video 功能。

• 图片输入目录：填入批量生成好的图片路径。
• 视频数据目录：设置输出视频路径。
• 帧率设置：通常与原视频帧率一致（如 24fps 或 30fps）。
• 执行：点击生成。

生成完成后，从服务器下载视频文件至本地。此时视频已无声音，且背景已替换。

3.6 制作完整视频

合成的视频通常需要后期处理：

1. 音频合成：使用剪辑软件（如 Premiere、剪映）导入视频。
2. 配音/配乐：添加背景音乐或语音解说。
3. 调色与特效：统一色调，添加转场效果。
4. 导出：渲染为最终 MP4 格式。

4. 常见问题与优化

4.1 视频闪烁问题

若生成的视频出现闪烁，可能是由于每帧的 Seed 值不一致或 ControlNet 强度过高。建议固定 Seed，并适当降低 ControlNet 的 Denoising Strength。

4.2 背景融合不自然

如果人物边缘有白边或融合痕迹，请检查 Mask 图的精度。可尝试调整 IS-Net 的阈值参数，或在后期剪辑软件中使用羽化边缘处理。

4.3 显存不足

批量生成高分辨率图片时可能爆显存。建议降低分辨率（如 512x512 或 768x768），或使用 --medvram 启动参数。

5. 总结

本教程详细阐述了利用 Stable Diffusion 进行 AI 视频生成的技术路径。通过 IS-Net 插件实现高效的人像分割与背景替换，结合 ControlNet 保证画面稳定性。该技术适用于短视频创作、虚拟主播内容生产及自动化视频处理场景。随着 AIGC 技术的发展，此类工具链将进一步简化，提升生产效率。