ComfyUI 使用 IP-Adapter V2 与 FaceDetailer 实现人物换装

接下来，我们将详细介绍如何搭建 IP-Adapter 模块，使用另一张裙子的图片进行人物换装。

安装必要的模型

1. 打开 ComfyUI 管理器：进入管理器界面。
2. 安装 IP-Adapter 模型：点击'安装模型'按钮，搜索'ipadapter'。找到包含'sdxl'字样的三个模型，并点击安装。
3. 关闭管理器并刷新界面：模型安装完成后，关闭管理器并在主界面点击'刷新'按钮以更新设置。

[图片]

导入服装图片

类似于加载人物图片的步骤，搜索并导入 Load Image 节点，上传你选择的新服装图片。

设置 IP-Adapter

1. 导入 IP-Adapter 节点：搜索并导入 IPAdapter Advanced 节点。
2. 导入模型加载器：搜索 unified，导入 IPAdapter Unified Loader，选择'PLUS'预设。
3. 连接 Checkpoint 加载器：导入并连接 Checkpoint 加载器到 IP-Adapter 模型加载器，选择 SDXL 模型。

[图片]

配置关注层遮罩和 CLIP 模型

1. 连接遮罩：将 FeatherMask 的 MASK 输出端口连接到 IPAdapter Advanced 的 attn_mask（关注层遮罩）输入端。这样做是为了明确告诉 IP-Adapter 应该关注图像中的哪个部分，即在本例中是服装的区域。
2. 导入 CLIP 视觉加载器：从 ComfyUI 的节点库中拖出 CLIP Vision Loader（CLIP 视觉加载器）。
3. 安装 CLIP 模型：
   • 如果尚未安装所需的 CLIP 模型，打开 ComfyUI 管理器。
   • 在搜索框中输入 clip，搜索相关模型。
   • 找到包含 laion2B 字样的模型，并进行安装。通常，这些模型针对不同的视觉任务进行了优化，选择合适的模型可以提升处理效果。
4. 刷新界面：安装完毕后，返回主界面并刷新，以确保新安装的模型能够被加载器识别和使用。
5. 选择合适的模型：在 CLIP 视觉加载器中选择模型名称末尾包含 b79k 的模型，这通常表示该模型在特定的数据集或任务上有更好的表现。

[图片]

设置 K 采样器与 CLIP 文本编码器

配置 K 采样器：在高级版的 IP-Adapter 节点的模型输出端口拖出一个基础版的 K 采样器。K 采样器在这里用于根据模型指示调整图像的特定区域。

连接 CLIP 文本编码器：

• 从 K 采样器的 "positive" 和 "negative" 输入端拖出两个 "CLIP Text Encoder"（CLIP 文本编码器），并使用不同颜色标记以便区分。
• 将这些编码器连接到 "Load Checkpoint"，这一步骤是必要的以确保文本编码器能够加载和处理相关的文本提示，进而影响图像生成过程。

[图片]

配置 VAE 编码器和解码器

设置 VAE 编码器：

• 从 "latent_image"（潜空间图像）的输出端拖出 "用于局部重绘的 VAE 编码器"。
• 连接此编码器的 "pixels" 端口到 "Load Image"，"vae" 到 "Load Checkpoint"，以及 "mask" 到 "FeatherMask"。这样设置是为了用之前生成的遮罩告诉这个编码器哪个部分需要去噪。

激活 VAE 解码器：

• 从 "Latent" 端口拖出 VAE 解码器。
• 将 "vae" 端口连接到 "Load Checkpoint"，确保解码器能够正确解析并重建图像。

[图片]

完善 VAE 解码过程

• 从 K 采样器的 "LATENT" 输出端拖出 "VAE Decode"（VAE 解码）节点。
• 将解码器的 "vae" 连接到 "Load Checkpoint"，以确保能够加载和应用模型参数。
• 从解码器的图像端口拖出 "Preview Image"（预览图像）节点，以便生成并查看最终的图像。

[图片]

应用提示词以精细化控制

• 添加提示词：在 IP-Adapter 的相关设置中添加描述服装的提示词，例如 "blue dress with floral print"（印花图案的蓝色裙子）。这样做可以帮助模型更精确地理解和实现所需的服装样式和图案。

[图片]

评估和调整权重类型

1️⃣ 初次评估：

• 生成并查看图像，注意裙子的视觉效果。如果发现裙子显得太平，不具备应有的立体感，这时需要调整权重类型。

[图片]

2️⃣ 调整权重类型：

• 样式迁移（Style Transfer）：切换到样式迁移权重，再次生成图像以查看改进后的立体感。
• 弱输入（Weak Input）：若立体感仍不足，尝试弱输入权重，这通常使得图案细节更加突出，但可能牺牲一些立体感。

引入 FaceDetailer 修复服装细节

为了进一步提升换装效果，特别是增强服装的立体感和细节表现，我们将引入 "FaceDetailer" 节点和服装区域检测功能。

安装和配置 DeepFashion 模型

打开 ComfyUI 管理器，搜索并安装 "DeepFashion" 模型，该模型专为服装相关的图像处理优化。

[图片]

配置 FaceDetailer 节点

导入 FaceDetailer 节点：

• 导入 "FaceDetailer" 节点，通常用于修复面部细节，但也适用于服装的细节优化。

连接图像和 Checkpoint：

• 将 "FaceDetailer" 的图像端口连接到 "VAE Decoder" 输出的图像，以接收之前生成的图像。
• 连接 "Load Checkpoint" 以加载所需的模型参数。

配置 CLIP 文本编码器：

• 可以复用之前用于 K 采样器的 CLIP 文本编码器，或者导入新的编码器专用于 "FaceDetailer"。使用专用编码器的好处是可以通过定制化的提示词进一步优化服装的视觉效果。

配置服装区域检测节点

导入并配置检测器：

• 使用 "UltralysticsDetectorProvider" 节点来检测服装区域，这有助于精确应用图像处理效果。
• 连接模型并选择 "deepfashion" 作为源，确保检测精度。

设置 SAM 模型加载器：

• 从 "sam_model_opt" 端口拖出 "SAMLoader(Impact)"，选择适合你计算能力的模型配置。

导入和配置图像预览节点：

• 导入预览图像节点，以便在处理后直接查看效果。

[图片]

生成和比较图像

生成修复后的图像：

• 运行整个配置，生成经过 "FaceDetailer" 优化后的图像。

对比优化效果：

• 将优化前后的图像并排展示，评估立体感和细节的改善，特别是服装的花朵图案和整体质感。

[图片]

通过这些步骤，您不仅能够解决原始换装图像中存在的问题，还能显著提升服装的立体感和细节表现，使其看起来更加自然和逼真。

结论

通过以上步骤，你可以成功地为人物换装，并通过 IP-Adapter 的高级配置实现更自然和精确的视觉效果。这个工作流的构建不仅涉及基本的图片加载和节点连接，还包括对高级模型和编解码器的深入配置，使得整个过程既详细又具有教育意义。