Stable Diffusion 实现人脸一致的技术方案与实践
在 AI 绘画领域，如何保证每次生成的图片中人物面部保持一致是一个核心难点。本文基于实际测试，对比了五种主流实现方式，并重点解析了 ControlNet Reference Only 的应用技巧。
一、实现人脸一致的五种方式
1. 固定 Seed 种子值
固定 Seed 值确实能让生成的人物脸部保持一致，但 Seed 控制的是整个画面的随机性。这导致新图片不仅人脸相同，姿势、背景甚至光影都高度相似，画面缺乏变化，显得单调。 虽然可以通过 ControlNet 控制姿势，但效果往往不可控，难以在保持人脸的同时灵活调整构图。
2. 使用 Roop 插件
Roop 是一款常见的换脸插件，可以将生成图片中的人物替换为指定的人脸图片。这种方式能很好地做到人脸一致，但属于后期处理，可能影响原图的细节质量，且涉及隐私风险。
3. 针对多张真人照片训练 LoRA 模型
通过收集同一个人物的多张真人照片训练 LoRA 模型，可以固定人物的特征、动作和风格。但这需要一定的技术基础，调优过程费时费力，对普通用户来说门槛较高。
4. 直接利用已有的人物 LoRA 模型
直接使用社区提供的 LoRA 模型也能生成人脸基本一致的图片。但由于训练数据集的数量、质量、角度等因素不同，很难保证人脸完全一致，通常只能达到'神似'的效果。
5. 使用 ControlNet 预处理 Reference Only
这是目前实现人脸一致效果较好的方式之一。ControlNet Reference Only 是 ControlNet 的重大更新功能，它不需要额外的控制模型，即可直接使用一张图片作为参考来引导扩散过程。该方法不仅适用于真人，还适用于动物和二次元角色。
二、LoRA 模型实现人脸一致的效果分析
1. cuteGirlMix4 模型测试
大模型： majicmixRealistic_v6.safetensors 正向提示词： a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes, red sweater, necklace, standing in the classroom, upper body photos, best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper, lora:cuteGirlMix4_v10:1 反向提示词： (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy, DeepNegative, skin spots, acnes, skin blemishes, (fat:1.2), facing away, looking away, tilted head, lowres, bad anatomy, bad hands, missing fingers, extra digit, fewer digits, bad feet, poorly drawn hands, poorly drawn face, mutation, deformed, extra fingers, extra limbs, extra arms, extra legs, malformed limbs, fused fingers, too many fingers, long neck, cross-eyed, mutated hands, polar lowres, bad body, bad proportions, gross proportions, missing arms, missing legs, extra digit, extra arms, extra leg, extra foot, teethcroppe, signature, watermark, username, blurry, cropped, jpeg artifacts, text, error
当 LoRA 权重设置为 1 时，人物效果较好，基本实现了人脸一致。该模型官网推荐搭配 Chilloutmix 大模型，训练集来自国外网红数据，建议权重范围 0.4-0.7。但在本例中，权重设为 1 时效果更佳。
将权重调整为 0.6 后，4 张美女的脸差别变得明显。这说明对于特定 LoRA，高权重有助于锁定特征。
2. chinese-girl 模型测试
该 LoRA 由微博/小红书等网站的 100+ 张时尚博主图片制成。建议权重小于 0.8，采样器为 DPM++ SDE Karras，迭代步数 25。
测试发现：
- 权重设为 1 时，生成图片效果失真，人脸轮廓虽一致但五官细节不一致。
