YOLO+OpenClaw+SAM 微调实战：工业缺陷自动标注方案
不能实时，不代表不能用。微调 SAM+云端部署，让工业标注从'人工描边'变'一键验收'。
上周有位做 PCB 质检的读者反馈：标注员正对着一块电路板缺陷图，用鼠标一点点勾勒划痕的边界，一张图花了 8 分钟。他说：'YOLO 能框，但框不准；SAM 能分割，但通用模型到我们产线就水土不服。有没有办法让标注员少点鼠标？'
当然有。今天结合工业缺陷检测场景，展示一套低代码落地路径：YOLO 粗定位 + 微调 SAM 精分割 + OpenClaw 自动调度，让标注员从'动手画'变成'动口验收'。
一、工业自动标注的三道坎
坎 1：OpenClaw 无法实时推理 OpenClaw 从接收指令到调用模型返回结果，5 秒以上是常态。产线上的产品不可能等 5 秒，但标注任务可以——把数千张图丢给 AI，让它半夜慢慢跑，员工早上来验收结果。
坎 2：边缘端算力要求大，且存在安全风险 OpenClaw 调用大模型需要至少 8GB 显存，普通办公电脑扛不住。更关键的是，OpenClaw 能读写文件、执行命令，放在个人电脑上相当于请了个'有权限的陌生人'。建议云端隔离部署，算力交给云服务器，安全也交给云服务器。
坎 3：通用 SAM'水土不服' SAM 擅长分割自然图像，但面对工业缺陷（划痕、凹坑、毛刺）时，边界常常跑偏。实验结论：微调 SAM 能让分割精度提升约 30%，且只需微调 2% 的参数。
二、微调 SAM：工业缺陷精分割的低代码方案
2.1 为什么用 LoRA 微调？
全量微调 SAM 需要 8 张 V100 跑几天，普通用户根本搞不定。而 LoRA 微调只更新约 2% 的参数，训练速度提升 3 倍，效果接近全量微调。简单说：用更少的资源，达到近似全量微调的效果。
2.2 核心代码（复制即用）
from peft import LoraConfig, get_peft_model
from segment_anything import sam_model_registry
# 加载通用 SAM
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h.pth")
# 配置 LoRA（只调整注意力层）
lora_config = LoraConfig(
r=16, # 秩维度
lora_alpha=32,
target_modules=["qkv"], # 只改查询/键/值层
lora_dropout=0.1
)
# 应用 LoRA
model = get_peft_model(sam, lora_config)
# 可训练参数占比仅 2.5%，显存需求从 24GB 降到 8GB
2.3 工业专用损失函数
工业缺陷有两个特点：一是样本少（划痕只占图像的极小部分），二是边界重要。设计了混合损失函数来应对：
def industrial_loss(pred, target):
""" Dice + Focal 组合
- Dice：让分割边界更贴合
- Focal：让模型更关注难分的缺陷区域
"""
pred_sigmoid = torch.sigmoid(pred)
intersection = (pred_sigmoid * target).()
dice = - ( * intersection) / (pred_sigmoid.() + target.() + )
ce = torch.nn.functional.binary_cross_entropy_with_logits(pred, target, reduction=)
pt = torch.exp(-ce)
focal = * (-pt)** * ce
* dice + * focal.mean()
