在 Stable Diffusion 中,Inpaint Anything 算法可以实现移除、填补、替换一切内容。通过单击图像上的任何物体,可以一键擦除或替换内容、更改任意背景,从而提高遮罩创建过程的效率和准确性。
1. 安装方法
1. 在扩展面板中安装 Inpaint Anything
地址:https://github.com/Uminosachi/sd-webui-inpaint-anything.git
- 安装插件并重启之后,可以在导航栏面板中看到 Inpaint Anything 组件。此时还需要安装 SAM 模型。
SAM 提供三种模型,显存高的下载 sam_vit_h,识别度更精准。显存 8G 左右的下载 sam_vit_l,显存低于 8G 的下载 sam_vit_b。选择对应模型后,点击'下载模型',下载后的模型会存放在 Inpaint Anything 插件目录中的 models 文件夹内。
2. 使用生成指定蒙版
上传你要修改的图片,点击'run segment anything',会将参考图进行分割。
在右侧图片分割区域,调整笔刷大小,鼠标点击图片需要分割的区域,涂抹你要修改的色块。
选取完毕后,点击'创建遮罩',蒙版将出现在选定的蒙版图像区域中。
你可以看到,上衣已经被选中,以高亮的颜色标识。接着,在界面左下还有一排标签,选择最右边的 Mask only:
出现的两个按钮,分别点击一下,你就得到了两张图:
左边是直接抠图,将上一步中高亮选中的部分直接扣出,生成一张 Alpha 通道的 png 图片。 右边是生成蒙版,高亮区域为白色,其他区域黑色。
需要说明的是,这两张图和原图尺寸完全一致,可以直接保存到本地。
蒙版调整说明:
如果觉得蒙版边缘不够精准,可以点击下方的 expand mask 整体外扩蒙板,使用此按钮可以稍微扩大遮罩的区域以获得更广泛的覆盖范围。
Add mask by sketch 按钮:单击此按钮会将草绘区域添加到蒙版中。
在左侧仅蒙版选项卡中,点击'获取遮罩',创建蒙版图。
点击'发送到图生图重绘',将蒙版发送到图生图上传重绘蒙版模式中。
3. 设置 SD 模型和图生图参数
选择 Stable Diffusion 模型,如果要生成写实模型,就选真人模型比如 majicMIX realistic 模型。
输入你要修改的提示词描述,设置好宽高,分辨率与原图一致(512X768),重绘幅度建议 0.6 以上。
采样方法和迭代步数根据情况来设置,这里设置采样方法为 Euler a,迭代步数 20,启用脸部修复。


