ControlNet 插件实战指南
核心概述
ControlNet 是由 lllyasviel 团队提出的神经网络架构，旨在解决 Stable Diffusion 生成图像时的不可控问题。它通过预处理器提取参考图的姿态、深度、边缘等结构信息，将其转换为模型可理解的生成条件，让 AI 严格遵循参考图的布局与结构。这不仅是实现精准控图的核心手段，也是 Stable Diffusion 迈向工业化应用的关键一步。
应用场景
- 插画创作：基于线稿生成高精度彩色插画，完美保留线条构图。
- 角色设计：利用姿势参考图生成指定动作的角色形象，如游戏战斗姿态。
- 建筑可视化：根据图纸快速生成写实风格的建筑效果图。
- 3D 辅助：结合深度图、法线图控制空间立体感，辅助纹理绘制。
- 摄影修图：基于照片生成二次元风格，同时保留人物构图。
与图生图的区别
传统的图生图依赖原图进行参数调整或提示词修改，对原图依赖度高且容易破坏原有结构。ControlNet 虽然本质也是图生图，但通过多种控制类型（边缘、姿态、深度等）和预处理器，能在保持原构图的基础上更灵活、精确地引导生成，自由度与可控性显著更高。
安装与环境
ControlNet 需要配合特定的预处理器和模型文件才能运行。在本地部署的 WebUI 中，需确保插件已正确安装并加载了相应的模型文件。
面板参数解析
ControlNet 面板主要分为图像上传、控制类型和控制参数三个板块。
- 图像上传：上传参考图以引导 AI 在细节、风格、结构上符合预期。
- 控制类型：选择控制模式，每种模式对应特定的预处理器和模型。注意检查点模型、控制模式、预处理器、ControlNet 模型四者需一一对应。
- 控制参数：
- 完美像素：自动匹配参考图与生成图的分辨率比例，避免变形。
- 允许预览：生成前查看预处理器输出的控制图，确认结构无误。
- 控制权重：0~2 之间，数值越大参考图引导越强。
- 起始/完结步数：控制 ControlNet 介入生成的阶段。0 表示全程参与，1 表示不参与。
- 预处理器分辨率：决定处理精细度，数值越高细节越丰富但耗时增加。
- 控制模式：调节提示词与 ControlNet 图像的侧重，可选均衡、重提示词、重 ControlNet。
- 图片缩放模式：拉伸、裁剪或填充，适配生成需求。
支持叠加多个 ControlNet 单元，可同时开启多个选项卡使用不同预处理器。
实战案例
以生成一张人物写实图为例，基础参数如下：
- 模型：majicFlus
- 正向提示词：A girl, over the sea, white long dress, sun hat, smile
- 负向提示词：ng_deepnegative_v1_75t, (badhandv4:1.2), EasyNegative, (worst quality:2)
- 采样器：Euler a
- 步数：30
- 尺寸：768x1024
- CFG：3.5
在此基础上启用 ControlNet 控制人物姿态：
- 控制类型：OpenPose 姿态
- 预处理器：openpose
- ：F.1-ControlNet-Pose-V1
