Stable Diffusion WebUI 中 DeepDanbooru 动漫标签自动生成指南

若你已在使用 AUTOMATIC1111 的 stable-diffusion-webui，可通过以下步骤接入 FP8 模型与 DeepDanbooru：

cd stable-diffusion-webui # 下载 FP8 模型
wget -O models/Stable-diffusion/stable-diffusion-3.5-fp8.safetensors \
 https://huggingface.co/stabilityai/stable-diffusion-3.5-large/resolve/main/sd3.5_large_fp8.safetensors
# 启动服务（启用 API 与扩展权限）
./webui.sh --precision fp8 --listen --api --enable-insecure-extension-access 

✅ 建议使用 nightly 分支以获得最佳兼容性，部分旧版本可能存在 FP8 解码异常问题。

DeepDanbooru 安装与验证

尽管 DeepDanbooru 已集成至主流 WebUI 发行版，但仍需手动触发模型下载或进行离线部署。

自动安装流程

1. 启动 WebUI 后进入 Settings → Interrogate
2. 在 DeepDanbooru 设置区域点击 'Download model'
3. 系统将自动拉取 model-resnet_custom_v3.pt（约 2.1GB）
4. 下载完成后重启 WebUI 或点击 'Reload'

手动部署（适用于无网环境）

mkdir -p models/torch_deepdanbooru
wget -O models/torch_deepdanbooru/model-resnet_custom_v3.pt \
 https://github.com/AUTOMATIC1111/TorchDeepDanbooru/releases/download/v1/model-resnet_custom_v3.pt 

验证是否成功的方法很简单：上传一张典型的动漫图（如角色立绘），选择 'DeepDanbooru' 作为分析器，点击 'Interrogate'。正常情况下应在几秒内返回一组结构清晰的英文标签。

参数调优：如何生成更精准的标签？

DeepDanbooru 的表现并非一成不变，合理的参数配置可显著提升输出质量。以下是几个关键设置及其工程意义。

核心参数说明

路径：Settings → Interrogate → DeepDanbooru Settings

动态阈值策略：根据图像复杂度智能调整

固定阈值难以适应所有场景。例如，单人头像需要高精度识别，应设为 0.55–0.65；而多人插画因元素密集，宜降低至 0.35–0.45 以保留上下文信息。

为此，我们可以引入图像复杂度评估机制：

import cv2
import numpy as np
from PIL import Image

def calculate_complexity(image: Image.Image) -> float:
    """基于边缘密度估算图像复杂度"""
    gray = cv2.cvtColor(np.array(image), COLOR_RGB2GRAY)
    edges = cv2.Canny(gray, 100, 200)
    return np.sum(edges) / (image.width * image.height)

def get_dynamic_threshold(image: Image.Image, base=0.5):
    complexity = calculate_complexity(image)
    if complexity > 60: # 复杂构图
        return max(0.3, base - 0.15)
    elif complexity < 20: # 简洁画面
        return min(0.7, base + 0.15)
    return base

此函数可用于脚本化处理流程中，实现'越复杂越宽容'的智能判断逻辑。

自定义过滤规则：剔除冗余与干扰标签

创建 models/deepbooru/filter.txt 文件，每行写入一个需屏蔽的标签：

rating:general rating:sensitive artist_name comic manga 

也可通过正则表达式匹配模式（需修改源码支持）：

.*text.* chibi.* underwear 

修改后需重启 WebUI 或点击 'Reload' 按钮生效。

这种机制特别适用于训练 Textual Inversion 或 LoRA 模型时的数据清洗，避免无关标签污染 embedding 空间。

实战应用：从单图分析到批量自动化

单张图像标签提取（基础操作）

1. 进入 WebUI 的 Interrogate 选项卡
2. 上传目标图像（PNG/JPG/WEBP）
3. 选择 'DeepDanbooru' 作为分析器
4. 点击 'Interrogate' 按钮
5. 复制生成的标签至 txt2img 的 Prompt 框

示例输出：

1girl, solo, long hair, blue hair, yellow eyes, school uniform, pleated skirt, white shirt, red ribbon, smiling, looking_at_viewer 

进一步优化可加入权重修饰符：

(masterpiece, best quality), 1girl, blue hair, school uniform, (smiling:1.2), [city_background:0.8] 

批量处理方案一：本地 Python 脚本

适用于无需联网、完全可控的批量任务：

import os
from PIL import Image
from modules import shared
from modules.deepbooru import deepbooru_model

INPUT_DIR = "input_images"
OUTPUT_DIR = "output_tags"
os.makedirs(OUTPUT_DIR, exist_ok=True)

if not hasattr(shared, 'deepbooru') or shared.deepbooru is None:
    shared.deepbooru = deepbooru_model.DeepDanbooru()
    shared.deepbooru.load()
    shared.deepbooru.start()

for filename in os.listdir(INPUT_DIR):
    path = os.path.join(INPUT_DIR, filename)
    if filename.lower().endswith(('.png', '.jpg', '.jpeg', '.webp')):
        try:
            img = Image.open(path).convert("RGB")
            tags = shared.deepbooru.tag(img)
            txt_path = os.path.join(OUTPUT_DIR, f"{os.path.splitext(filename)[0]}.txt")
            with open(txt_path, "w", encoding="utf-8") as f:
                f.write(tags)
            print(f"[✓] Processed: {filename}")
        except Exception as e:
            print(f"[✗] Failed: {filename} | Error: {str(e)}")

shared.deepbooru.stop()

运行命令：

python batch_interrogate.py 

批量处理方案二：通过 API 远程调用

适用于分布式部署或多节点协同：

import requests
import base64
import os
from io import BytesIO
from PIL import Image

API_URL = "http://localhost:7860/sdapi/v1/interrogate"

def interrogate_image(image_path, threshold=0.45):
    with Image.open(image_path) as img:
        buf = BytesIO()
        img.save(buf, format='PNG')
        img_b64 = base64.b64encode(buf.getvalue()).decode('utf-8')
        payload = {
            "image": img_b64,
            "model": "deepdanbooru",
            "threshold": threshold
        }
        response = requests.post(API_URL, json=payload)
        if response.status_code == 200:
            return response.json().get("caption", "")
        else:
            raise Exception(f"API Error: {response.text}")

# 批量处理
for name in os.listdir("input_images"):
    path = os.path.join("input_images", name)
    if path.lower().endswith(('.png', '.jpg')):
        try:
            tags = interrogate_image(path, threshold=0.4)
            with open(f"tags/{name}.txt", "w") as f:
                f.write(tags)
        except Exception as e:
            print(f"Error processing {name}: {e}")

性能优化：让标签生成更快更强

硬件加速建议

提速技巧三连击

1. 启用半精度加载（GPU 用户）

修改 modules/deepbooru.py 中模型初始化部分：

# 修改前
self.model.load_state_dict(torch.load(model_path, map_location="cpu"))

# 修改后
if torch.cuda.is_available():
    self.model = self.model.half().cuda() # 使用 FP16 加速

2. 限制输入尺寸以加快推理

对于非超高精度需求，可将图像缩放至 384×384：

pic = images.resize_image(2, pil_image, 384, 384) # 原默认为 512

3. 启用 PyTorch 2.0 编译优化

if hasattr(torch, 'compile'):
    self.model = torch.compile(self.model)

💡 在支持的环境下可提速 20%-30%，但首次编译会有延迟。

缓存机制：避免重复计算浪费资源

为频繁访问的图像添加哈希缓存：

import hashlib
import os
CACHE_DIR = "cache/deepbooru"

def cached_tag(dd_model, image: Image.Image):
    os.makedirs(CACHE_DIR, exist_ok=True)
    img_bytes = image.tobytes()
    key = hashlib.md5(img_bytes).hexdigest()
    cache_file = os.path.join(CACHE_DIR, f"{key}.txt")
    if os.path.exists(cache_file):
        with open(cache_file, "r") as f:
            return f.read()
    tags = dd_model.tag(image)
    with open(cache_file, "w") as f:
        f.write(tags)
    return tags

在批量处理相似图像集（如角色不同表情）时，此机制可节省大量重复推理时间。

常见问题排查指南

高级整合：打通全流程创作链路

与 ControlNet 联动实现风格迁移

1. 使用 DeepDanbooru 提取参考图标签
2. 将标签作为 Prompt 输入 txt2img
3. 同时上传原图至 ControlNet（OpenPose/Canny）
4. 设置 denoising_strength=0.6，保留结构与风格

示例 Prompt：

(masterpiece, best quality), 1girl, blue hair, futuristic armor, glowing eyes, sci-fi background, {{tags_from_deepbooru}} 

这种方法可在保留原始角色特征的同时，实现跨风格重绘（如从校园制服转为机甲战士）。

用于 Textual Inversion 训练的数据准备

DeepDanbooru 可为训练集图像自动生成统一格式标签：

input/
  chara1.png
  chara2.png
→ output/
  chara1.txt
  chara2.txt

这些标签可用于监督 embedding 训练过程，显著提升概念一致性与收敛速度。尤其在训练个性化角色或风格模型时，自动化标签极大减少了前期准备工作量。

技术演进方向与生态展望

DeepDanbooru 与 SD3.5-FP8 的组合，标志着 AI 绘画正从'实验探索'迈向'工业化生产'。未来的发展可能集中在以下几个方向：

• 多语言支持：社区已有中文标签映射实验版本，未来有望实现本地化输出
• 轻量化模型推出：如 deepbooru-tiny，可在移动端或浏览器端运行
• LoRA 模型推荐引擎：根据标签自动匹配适配的艺术风格微调模型
• 交互式编辑界面：可视化调整标签权重、层级关系与逻辑分组

该技术栈可支撑高质量动漫图像的规模化生产。