YOLOv8 模型 LibTorch C++ 部署与调用示例
在工业质检产线高速运转的场景中，每秒需要处理上百帧图像以检测微小缺陷；在自动驾驶车辆的感知系统里，目标检测模块必须在毫秒级时间内完成推理并保证稳定运行。这些对性能和可靠性的严苛要求，使得 Python 环境下的深度学习模型难以直接胜任——GIL 锁限制并发、解释器开销拖慢响应、复杂的依赖环境增加部署风险。
正是在这样的背景下，将训练好的 YOLOv8 模型通过 LibTorch 集成到 C++ 项目中，成为从原型验证迈向工程落地的关键一步。这套技术组合不仅保留了 YOLO 系列'一次前向传播完成检测'的高效特性，还借助 C++ 原生执行的优势，实现了低延迟、高吞吐的生产级部署能力。
Ultralytics 于 2023 年发布的 YOLOv8，在继承前代速度优势的基础上进一步优化了网络结构设计。它采用无锚框（anchor-free）机制，直接预测目标中心点与宽高偏移，简化了后处理流程；其主干网络基于 CSPDarknet 改进，并融合 PANet 特征金字塔增强多尺度融合能力。更重要的是，YOLOv8 支持统一架构下的多种视觉任务——无论是目标检测、实例分割还是姿态估计，都可以使用相似的部署方式，极大降低了工程适配成本。
而 LibTorch 作为 PyTorch 官方提供的 C++ 前端接口，则是打通训练与部署鸿沟的核心工具。它允许我们将 Python 中导出的 TorchScript 模型（.pt 文件）在完全脱离 Python 解释器的环境中加载和运行。整个过程不再受 GIL 限制，内存占用更低，启动更快，特别适合嵌入式设备或边缘计算平台的应用需求。
要实现这一链路，首先需在 Python 端完成模型导出：
from ultralytics import YOLO
# 加载预训练模型
model = YOLO("yolov8n.pt")
# 导出为 TorchScript 格式
model.export(format="torchscript", imgsz=640, optimize=True)
这段代码会生成一个名为 best.torchscript 的序列化模型文件。其中 optimize=True 会启用算子融合等移动设备优化策略。值得注意的是，PyTorch 版本应不低于 1.10，否则可能因兼容性问题导致导出失败。建议在训练和推理两端保持相同的 PyTorch 版本（推荐 2.0+），避免因图结构差异引发运行时错误。
进入 C++ 侧后，关键在于如何正确加载模型并处理输入输出张量。以下是一个典型的推理流程实现：
#include <torch/script.h>
#include <opencv2/opencv.hpp>
#include <iostream>
torch::Tensor preprocess(cv::Mat& image) {
cv::Mat resized, float_img;
cv::resize(image, resized, cv::Size(640, 640));
resized.convertTo(float_img, CV_32F, 1.0 / 255.0);
cv::(float_img, float_img, cv::COLOR_BGR2RGB);
tensor = torch::(float_img.data, {, , , }, torch::kFloat);
tensor = tensor.({, , , });
tensor.();
}
{
std::shared_ptr<torch::jit::script::Module> ;
{
= torch::jit::();
->();
} ( c10::Error& e) {
std::cerr << << e.() << std::endl;
;
}
cv::Mat img = cv::();
(img.()) {
std::cerr << << std::endl;
;
}
input_tensor = (img);
std::vector<torch::jit::IValue> inputs;
inputs.(input_tensor);
at::Tensor output;
{
output_tuple = ->forward(inputs).();
output = output_tuple->()[].();
} ( std::exception& e) {
std::cerr << << e.() << std::endl;
;
}
std::cout << << output.() << std::endl;
;
}
