Stable Diffusion 技术详解：LoRA 模型与 ControlNet 协同应用

3. 参数设置

在 ControlNet 面板中配置以下关键参数：

• Enable: 勾选以激活
• Preprocessor: 选择 canny 或 mlsd (根据需求)
• Model: 选择对应的 control_canny-fp16.safetensors
• Control Weight: 建议初始值设为 0.8~1.0，过高可能导致画面僵硬
• Guidance Start/End: 控制 ControlNet 生效的采样步数范围

四、实战流程：图像局部修饰

本章节演示如何使用 LoRA 修改人物服饰细节，同时保持人物姿态不变。

1. 基础模型选择

选择一个高质量的底模作为生成基础，例如 majicMIX realistic 或其他写实风格大模型。

2. 提示词编写

正向提示词 (Positive Prompt)

描述目标场景和主体特征。示例：

1girl, sitting on a cozy couch, crossing legs, soft light, high quality, detailed skin

反向提示词 (Negative Prompt)

排除低质量元素和常见缺陷。示例：

(worst quality:2), (low quality:2), (normal quality:2), lowres, watermark, badhandv4, ng_deepnegative_v1_75t

3. 加载 LoRA

在生成区域找到 LoRA 选项卡，点击添加模型。或者直接在提示词中使用语法：

lora:perfectpantyhose:0.8

其中 0.8 为权重系数，可根据实际效果调整。

4. 图生图设置

1. 将参考图片拖入 "img2img" 区域。
2. 设置 Denoising strength (重绘幅度)：建议在 0.3~0.5 之间，过低变化小，过高可能丢失原图特征。
3. 开启 ControlNet，上传同一张原图作为输入。
4. 勾选 ControlNet 的 "Pixel Perfect" 选项以确保分辨率匹配。

5. 生成与对比

点击 Generate 按钮。生成后对比原图与结果图，观察服饰细节的变化是否符合预期。

五、进阶技巧与调优

1. 多 LoRA 叠加

虽然部分 LoRA 存在冲突，但合理搭配不同风格的 LoRA 可以丰富画面。注意总权重不宜超过 1.5。

2. 解决肢体畸形问题

如果生成的图片出现手部或肢体结构错误，且反向提示词无效，可能是 ControlNet 权重过大或重绘幅度过高导致。

• 解决方案：降低 ControlNet Weight 至 0.6~0.8，或减少 Denoising strength。

3. 提示词优化

对于特定材质（如丝袜），需在提示词中加入具体描述词，如 20d, sheer, texture 等，以辅助模型理解需求。

六、常见问题排查

七、总结

通过 LoRA 模型与 ControlNet 的结合，Stable Diffusion 具备了强大的可控性。掌握上述工作流后，用户可以灵活地进行角色换装、场景重构等多种创作任务。建议在实际操作中多尝试不同的参数组合，积累对模型行为的直觉理解。

注意：在使用 AI 生成内容时，请遵守相关法律法规及平台规范，尊重肖像权与版权，避免生成违规内容。