基于 YOLO 与 SAM 微调的工业缺陷自动标注低代码方案

2.3 工业专用损失函数

工业缺陷有两个特点：一是样本少（划痕只占图像的极小部分），二是边界重要。我设计了混合损失函数来应对：

def industrial_loss(pred, target):
    """
    Dice + Focal 组合
    - Dice：让分割边界更贴合
    - Focal：让模型更关注难分的缺陷区域
    """
    pred_sigmoid = torch.sigmoid(pred)
    
    # Dice Loss（边界贴合）
    intersection = (pred_sigmoid * target).sum()
    dice = 1 - (2 * intersection) / (pred_sigmoid.sum() + target.sum() + 1e-6)
    
    # Focal Loss（关注难例）
    ce = torch.nn.functional.binary_cross_entropy_with_logits(pred, target, reduction='none')
    pt = torch.exp(-ce)
    focal = 0.25 * (1-pt)**2 * ce
    
    return 0.6 * dice + 0.4 * focal.mean()

实际效果：某 PCB 厂商用此方案后，<0.1mm 的微小划痕召回率从 58% 提升到 87%，标注员修正时间从每张图 5 分钟缩短到 40 秒。

三、低代码落地：YOLO 检测 + SAM 微调 + OpenClaw 调度

3.1 自动标注器核心代码

import cv2, json, numpy as np
from pathlib import Path
from ultralytics import YOLO
from segment_anything import SamPredictor
from peft import PeftModel

class IndustrialAnnotator:
    def __init__(self, yolo_path, sam_path, lora_path):
        self.yolo = YOLO(yolo_path)  # YOLO 检测
        sam = sam_model_registry["vit_h"](checkpoint=sam_path)
        peft_model = PeftModel.from_pretrained(sam, lora_path)  # 加载微调权重
        self.predictor = SamPredictor(peft_model)

    def annotate(self, img_path, out_dir):
        img = cv2.imread(img_path)
        self.predictor.set_image(img)
        
        # 1. YOLO 粗定位
        results = self.yolo(img)[0]
        annotations = []
        for box in results.boxes:
            x1, y1, x2, y2 = map(int, box.xyxy[0])
            
            # 2. SAM 微调精分割
            masks, _, _ = self.predictor.predict(box=np.array([x1, y1, x2, y2]))
            mask = masks[0]
            annotations.append({
                "type": self.yolo.names[int(box.cls[0])],
                "bbox": [x1, y1, x2, y2],
                "mask": mask.tolist()
            })
        
        # 3. 输出 JSON 标注文件
        with open(f"{out_dir}/{Path(img_path).stem}.json", 'w') as f:
            json.dump(annotations, f)

3.2 OpenClaw 低代码配置

代码部署后，只需在 OpenClaw 里说一句话，就能建立自动化流程：

用户：每天凌晨 2 点，用 industrial-annotator 技能处理 /data/defect_raw/ 目录下的图片，
      先用 YOLO 检测缺陷，再用微调后的 SAM 生成精细掩码，输出标注文件到 /data/defect_annotated/
OpenClaw：已创建定时任务，每天 2:00 执行批量标注

员工早上上班，直接打开文件夹验收，修正率从 80% 降到 20%。

四、腾讯云 Lighthouse 一键部署

既然本地跑不动、有风险，那就上云。腾讯云 Lighthouse 是实测过较为便捷的方案。

4.1 为什么选它？

• 模板一键部署：选'应用模板'→'AI 智能体'→'OpenClaw'，30 秒创建环境
• 成本可控：2 核 2GB 实例新用户价格较低
• 安全隔离：云端运行，不会误删本地文件
• 低代码配置：所有操作都在网页完成，不用敲命令行

4.2 部署步骤（全程鼠标点）

第一步：购买服务器 访问腾讯云轻量应用服务器购买页 → 选择'应用模板' → 'AI 智能体' → 'OpenClaw(Clawdbot)' → 配置 2 核 2GB → 下单

第二步：配置模型 进入服务器'应用管理'页面 → 在模型配置区选择'通义千问'或'腾讯混元' → 粘贴 API Key → 点击'添加并应用'

第三步：上传微调权重 用 WinSCP 将训练好的 LoRA 权重上传到服务器

第四步：安装技能 在 OpenClaw 控制台 → Skills 配置页 → 输入'industrial-annotator' → 点击安装

第五步：接入 IM 进入'通道配置' → 选择企业微信/钉钉 → 填写 Bot 凭证 → 发布后即可在聊天软件里下达指令

五、落地成果展示

案例：深圳某 PCB 制造企业，每天需标注 3000 张缺陷图，原有流程：

• 人工逐张标注：8 分钟/张 → 每天 400 小时人力
• 标注员 5 人，月成本 3 万元

采用本方案后：

• AI 自动标注：2 小时完成 3000 张（凌晨运行）
• 标注员修正：40 秒/张 → 每天 35 小时
• 人力减少至 1 人，月成本 6000 元
• 年度节省 28.8 万元

效果对比：

写在最后

当下的 YOLO+OpenClaw+SAM，确实做不到实时质检。但那又怎样？

先别盯着'实时'不放，把工业场景的批量标注方案用起来——用 LoRA 微调 SAM，用混合损失优化边界，用腾讯云一键部署，立刻就能帮标注团队提效、帮企业降本。

通过腾讯云 Lighthouse，你甚至不用写一行复杂代码，就能拥有一个 7×24 小时在线的、经过微调的 AI 标注员。