DINOv3 下载与使用

import torch
from transformers import AutoImageProcessor, AutoModel
from transformers.image_utils import load_image

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = load_image(url)
pretrained_model_name = "facebook/dinov3-convnext-tiny-pretrain-lvd1689m"

processor = AutoImageProcessor.from_pretrained(pretrained_model_name)
model = AutoModel.from_pretrained(
    pretrained_model_name,
    device_map="auto",
)
inputs = processor(images=image, return_tensors="pt").to(model.device)

with torch.inference_mode():
    outputs = model(**inputs)
    pooled_output = outputs.pooler_output

print("Pooled output shape:", pooled_output.shape)

4. 图像预处理要跟权重匹配

这一点很容易被忽略，但实际跑结果时非常关键。DINOv3 的预处理方式取决于权重来源：

• LVD-1689M 网络图像权重：按 ImageNet 常用归一化配置处理。
• SAT-493M 卫星影像权重：使用另一组均值和方差，不能直接套自然图像的标准参数。

LVD-1689M 的变换示例：

import torch
from torchvision.transforms import v2

def make_transform(resize_size: int = 256):
    to_tensor = v2.ToImage()
    resize = v2.Resize((resize_size, resize_size), antialias=True)
    to_float = v2.ToDtype(torch.float32, scale=True)
    normalize = v2.Normalize(
        mean=(0.485, 0.456, 0.406),
        std=(0.229, 0.224, 0.225),
    )
    return v2.Compose([to_tensor, resize, to_float, normalize])

SAT-493M 的配置则是：

import torch
from torchvision.transforms import v2

def make_transform(resize_size: int = 256):
    to_tensor = v2.ToImage()
    resize = v2.Resize((resize_size, resize_size), antialias=True)
    to_float = v2.ToDtype(torch.float32, scale=True)
    normalize = v2.Normalize(
        mean=(0.430, 0.411, 0.296),
        std=(0.213, 0.156, 0.143),
    )
    return v2.Compose([to_tensor, resize, to_float, normalize])

这里要注意，预处理和训练数据域是绑定的。权重来自自然图像还是卫星影像，归一化参数就不能混用。

5. 预训练检测器与下游头

DINOv3 不只有 backbone，还提供了针对不同任务训练好的头部模型，比如分类、检测、分割和零样本任务检测器。实际使用中，这些模型通常都需要同时指定 weights 和 backbone_weights。

以 ImageNet 分类头为例，加载方式如下：

import torch

# DINOv3
dinov3_vit7b16_lc = torch.hub.load(
    REPO_DIR,
    'dinov3_vit7b16_lc',
    source="local",
    weights=<DEPTHER/CHECKPOINT/URL/OR/PATH>,
    backbone_weights=<BACKBONE/CHECKPOINT/URL/OR/PATH>
)

目标检测和语义分割的加载方式类似，只是调用的模型名不同：

detector = torch.hub.load(
    REPO_DIR,
    'dinov3_vit7b16_de',
    source="local",
    weights=<DETECTOR/CHECKPOINT/URL/OR/PATH>,
    backbone_weights=<BACKBONE/CHECKPOINT/URL/OR/PATH>
)

segmentor = torch.hub.load(
    REPO_DIR,
    'dinov3_vit7b16_ms',
    source="local",
    weights=<SEGMENTOR/CHECKPOINT/URL/OR/PATH>,
    backbone_weights=<BACKBONE/CHECKPOINT/URL/OR/PATH>
)

如果你想看一个更完整的分割推理流程，思路也并不复杂：先取图像，做预处理，再把 batch 喂给模型，最后用官方提供的推理函数把输出映射成分割图。这里真正值得注意的是输入尺寸和输出分辨率的一致性，否则可视化结果很容易出现错位。

6. 安装环境与快速上手

DINOv3 的训练和评估代码要求 PyTorch 版本不低于 2.7.1，并且只在 Linux 环境下测试过。官方推荐用 micromamba 来创建独立环境，步骤很直接：

micromamba env create -f conda.yaml
micromamba activate dinov3

如果只是想先体验一下效果，官方还提供了几个 Notebook，覆盖块特征 PCA、前景分割、稠密/稀疏匹配以及分割跟踪等常见场景。对快速验证特征质量来说，这些示例很有参考价值。

7. 训练、蒸馏与评估

DINOv3 的训练脚本也已经整理好，既可以用于常规预训练，也可以用于蒸馏和评估。

以 ImageNet-1k 上训练 ViT-L/16 为例，官方给出了基于 SLURM 和 submitit 的启动方式。训练结束后，通常会定期保存教师模型权重，后续可以直接拿这些 checkpoint 做线性评估或 k-NN 评估。

蒸馏的启动命令和普通训练非常接近，差别主要在于多了 --multi-distillation 之类的参数。对于需要把 7B 级别模型压缩到更易部署版本的团队，这一部分会比较实用。

评估阶段，常见任务包括：

• ImageNet-1k 逻辑回归分类
• ImageNet-1k k-NN 分类
• 带数据增强的线性分类
• 文本对齐训练

这些脚本本身并不神秘，本质上都是围绕同一套 backbone checkpoint 展开的。真正需要花时间的是数据路径、配置文件和权重路径的对应关系，一旦接错，报错通常会比较隐蔽。

8. 小结

DINOv3 的价值不只是'又一个更大的视觉模型'，而是它把自监督视觉表征推到了一个更实用的位置：既能拿来做通用 backbone，也能通过轻量头部适配到检测、分割、跟踪等任务；既适合自然图像，也能扩展到卫星和医学影像。对于想快速验证视觉基础模型效果的人来说，先把权重拉下来，配好对应的预处理，再用 PyTorch Hub 或 Hugging Face 跑通一遍，基本就能看出它的能力边界了。