使用 InstantID 在 SDXL 模型中生成 AI 写真

使用 InstantID 在 SDXL 模型中生成 AI 写真

IPAdapter-FaceId 目前在 SD 1.5 模型上表现较好，但在 SDXL 模型上的效果往往不稳定，难以满足实际生产需求。鉴于许多用户已转向 SDXL 以获得更好的整体出图质量，本文介绍一种在 SDXL 中稳定创作 AI 写真的方法：使用 InstantID。

InstantID（身份标识）是一种 ControlNet 模型，由国内团队开发。其核心能力是提取人物面部信息，并在生成图片中应用该特征。仅需一张正面照片，即可生成多种风格的人物图片，非常适合制作 AI 写真。

效果预览

以下是使用 InstantID 生成的示例效果：

环境准备

InstantID 仅支持 SDXL 模型。在使用前，请确保您的 Stable Diffusion WebUI 或 ComfyUI 已安装以下组件：

1. Stable Diffusion XL 基础模型：建议下载官方或社区验证过的 SDXL Base 模型。
2. ControlNet 扩展：WebUI 需安装 ControlNet 插件及 controlnet_aux 库。
3. InstantID 模型文件：包括 instant_id_face_embedding、ip-adapter_instant_id_sdxl 和 control_instant_id_sdxl。
4. 预处理器：确保安装了 instant_id_face_keypoints 等预处理器。

基本设置

打开'文生图'页面，进行如下配置：

模型选择

选择 SDXL 基础模型。确保模型路径正确且加载成功。

参数设置

建议初始参数如下：

1. 采样器 (Sampler)：推荐使用 DPM++ SDE Karras 或 DPM++ 2M Karras。DPM++ 系列在采样质量和效率上较为平衡。
2. 调度类型 (Scheduler)：Karras 噪声计划有助于提高生成图片的质量，建议在初始步骤噪音较高，结尾较低。
3. 采样步数 (Steps)：设置为 20-30 步。步数过低可能导致细节不足，过高则收益递减。
4. 分辨率：SDXL 模型建议宽度至少 1024 像素。垂直图可设为 768x1024 或 896x1152 等比例。
5. 提示词引导系数 (CFG Scale)：对于 InstantID，建议设置在 3-5 之间。过高的 CFG 可能导致画面僵硬或失真。
6. 种子 (Seed)：-1 代表随机，每次生成产生新变化；固定种子便于复现结果。

ControlNet 设置

InstantID 通过 ControlNet 发挥作用，通常需要配置两个 ControlNet 单元：一个用于控制面部特征，另一个可选用于控制面部姿势。

第一个 ControlNet：面部特征

1. 启用：勾选。
2. 参考图片：上传一张清晰的人物正面照片。
3. 完美匹配像素：勾选此选项，以控制从参考图片中提取的特征信息的分辨率，使其更匹配生成图片的尺寸。