Retinaface+CurricularFace 在 Jetson Orin 上的部署与优化实践

对于 JetPack 5.1.2 (CUDA 11.4)，命令如下：

# 安装 PyTorch 及其依赖
sudo apt-get update
sudo apt-get install -y python3-pip libopenblas-base libopenmpi-dev
pip3 install --upgrade pip
# 安装 PyTorch 1.13+（选择与 CUDA 11.4 兼容的版本）
# 注意：这里可能需要稍低于镜像 2.5.0 的版本，如 1.13 或 2.0，以兼容 JetPack
wget https://nvidia.box.com/shared/static/ssf2v7pf5i245fk4i0q932hyu5j0yfxe.whl -O torch-2.0.0-cp311-cp311-linux_aarch64.whl
pip3 install torch-2.0.0-cp311-cp311-linux_aarch64.whl
# 验证安装
python3 -c "import torch; print(f'PyTorch 版本：{torch.__version__}')"
python3 -c "import torch; print(f'CUDA 是否可用：{torch.cuda.is_available()}')"

重要提示：可能无法安装与原始镜像完全一致的 PyTorch 2.5.0。原则是：在保证 CUDA 可用、核心功能正常的前提下，选择 JetPack 支持的最高版本。PyTorch 2.0.0 对于本模型的大多数操作已经足够。

4. 模型代码与依赖的深度适配

4.1 获取与检查模型代码

将模型代码从原始镜像迁移过来。可以通过 Git 克隆，或者直接复制文件。

# 在工作目录克隆或放置模型代码
cd ~
git clone <模型代码仓库地址> Retinaface_CurricularFace_Jetson
cd Retinaface_CurricularFace_Jetson

首先，仔细阅读项目的 requirements.txt 或 setup.py。策略是：逐一安装，遇到问题再解决。

4.2 依赖安装与冲突解决

使用 pip 安装依赖，但需要特别注意 ARM 架构的兼容性。

# 先安装一些可能需要的系统库
sudo apt-get install -y libgl1-mesa-glx libglib2.0-0
# 使用 pip 安装依赖，指定国内源加速
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

过程中大概率会遇到两个问题：

1. 特定包无 ARM 版本：有些包（如 onnxruntime-gpu 的特定版本）可能没有预编译的 ARM 轮子。解决方案有两种：
   • 寻找替代包：例如，使用 onnxruntime 代替 onnxruntime-gpu，虽然可能无法用 GPU 加速，但能保证运行。
   • 从源码编译：这通常是最后的手段，非常耗时。对于本项目，如果遇到，可以先尝试注释掉非核心依赖。

torchvision 兼容性：requirements.txt 里要求的 torchvision 版本可能与你安装的 PyTorch 不匹配。需要手动安装对应版本。

# 根据 PyTorch 版本安装 torchvision
# 例如，对于 PyTorch 2.0.0
pip install torchvision==0.15.0

4.3 模型推理脚本适配

原始推理脚本 inference_face.py 通常是针对标准环境编写的。需要进行微调以确保其在 Jetson 上稳定运行。

需要检查的几个关键点：

• 图像处理库：确保 cv2 (OpenCV) 已正确安装。Jetson 上可能需要 pip install opencv-python-headless。
• 模型加载路径：检查脚本中加载预训练模型权重的路径。确保权重文件已下载并放在正确的 models 目录下。
• TensorRT 集成（可选但推荐）：为了极致性能，可以考虑将 PyTorch 模型转换为 TensorRT 引擎。但这涉及模型转换和精度校准，属于进阶优化。初期可先用 PyTorch 模式跑通。

一个简单的适配检查是直接运行脚本，看报错信息。

# 尝试运行，预期会报错，但我们可以根据错误信息修复
python inference_face.py --input1 ./imgs/face_recognition_1.png --input2 ./imgs/face_recognition_2.png

常见的修复包括修改文件路径、调整因版本差异导致的 API 调用等。

5. 性能优化与实测效果

5.1 基础性能测试

当模型成功跑起来后，首先要关心它的性能。在 Jetson Orin NX 16GB 上，进行了初步测试。

# 可以使用一个简单的循环来测试平均推理时间
import time
import sys
sys.path.append('.')
from inference_face import compare_faces

# 假设我们将核心函数封装成了这样
def benchmark(image1_path, image2_path, runs=10):
    times = []
    for _ in range(runs):
        start = time.time()
        score, result = compare_faces(image1_path, image2_path)
        end = time.time()
        times.append(end - start)
    avg_time = sum(times) / len(times)
    print(f"平均推理时间：{avg_time:.3f} 秒")
    print(f"相似度得分：{score:.4f}, 结果：{result}")
    return avg_time

if __name__ == "__main__":
    benchmark("./imgs/face_recognition_1.png", "./imgs/face_recognition_2.png")

初始结果（PyTorch FP32 模式）：

• 推理时间：约 1.2 - 1.8 秒/次（包含两张图的检测 + 识别）
• 内存占用：峰值约 2.5GB
• 准确率：在 LFW 等公开测试集上，与 x86 服务器结果一致，阈值 0.4 下准确率>99.5%。

这个速度对于实时性要求不高的场景（如后台批量比对）尚可，但对于门禁、打卡等需要'秒开'的场景，还需要优化。

5.2 核心优化策略

为了让模型在边缘端'飞起来'，实施了以下优化：

1. 图像尺寸与批量处理：
   • 输入尺寸：RetinaFace 检测部分可以接受较大图像，但识别部分（CurricularFace）通常需要固定尺寸输入（如 112x112）。确保在预处理时尽早将裁剪后的人脸缩放到目标尺寸，减少不必要的计算。
   • 批量处理：如果应用场景涉及多人脸或连续比对，尽量使用批量推理（batch inference），能显著提升 GPU 利用率。
2. 使用 TensorRT 加速（进阶）：将 PyTorch 模型通过 ONNX 转换为 TensorRT 引擎。这个过程稍复杂，但能带来数倍的性能提升。
   • 步骤：PyTorch -> ONNX -> TensorRT Engine
   • 工具：可以使用 torch.onnx.export 和 trtexec 命令行工具。
   • 注意：转换后可能需要校准量化（INT8），以获得最大速度，但这会引入轻微的精度损失，需要仔细评估。

半精度（FP16）推理：这是最直接有效的加速手段。Jetson Orin 的 Tensor Core 对 FP16 有极高的计算效率。

# 在模型加载后，增加以下代码
import torch
model = model.half() # 将模型转换为半精度
# 注意：输入数据也需要转换为半精度
# img_tensor = img_tensor.half()

效果：推理速度提升约 30-50%，内存占用减少近一半，精度损失极小（对人脸特征影响可忽略）。

经过 FP16 优化后，最终性能：

• 推理时间：稳定在 0.6 - 0.9 秒/次。
• 内存占用：峰值约 1.3GB。
• 功耗与温度：持续运行下，设备温度保持在 65-75°C 的合理范围。

这个性能已经能够满足大多数边缘端人脸识别场景的实时性要求（通常认为<1 秒可接受）。

6. 总结与部署建议

6.1 项目回顾

这次将 Retinaface+CurricularFace 模型部署到 Jetson Orin 边缘设备的经历，是一次典型的 AI 模型边缘化适配实战。主要完成了三件事：

1. 环境隔离与搭建：通过 Conda 创建独立的高版本 Python 环境，解决了系统级软件版本冲突的核心矛盾。
2. 依赖与代码适配：针对 ARM 架构，解决了 PyTorch、torchvision 等关键依赖的安装问题，并对推理脚本进行了兼容性微调。
3. 性能评估与优化：通过启用 FP16 半精度推理，将单次识别耗时从近 2 秒优化到 1 秒以内，满足了边缘场景的实时性需求。

整个过程的关键在于耐心排查和灵活变通。没有哪个教程能完全匹配你的具体环境，学会看错误日志、搜索社区解决方案、进行最小化测试验证，是工程师最重要的能力。

6.2 给后来者的实践建议

如果计划在 Jetson 或其他边缘设备上部署 AI 模型，以下建议或许能帮你少走弯路：

• 前期验证：在投入大量时间适配前，先用模型最简单的部分（例如只做前向推理）在目标设备上跑通，验证核心算子和框架的兼容性。
• 版本管理：严格记录所有软件包（Python, PyTorch, CUDA, 依赖库）的版本号。使用 pip freeze > requirements_jetson.txt 保存你的成功环境。
• 性能基线：在标准服务器和边缘设备上，使用同一组数据测试模型性能，建立清晰的性能基线，明确边缘化带来的损耗。
• 内存监控：边缘设备内存有限，务必使用 tegrastats 等工具监控 GPU 和 CPU 内存使用情况，避免内存泄漏导致崩溃。
• 从简到繁：先追求'跑通'，再追求'跑快'。先使用 PyTorch 原生模式，稳定后再考虑 TensorRT 等加速方案。

边缘 AI 部署不再是遥不可及的黑科技，它正成为智能终端设备的标配。希望这份结合了 Retinaface+CurricularFace 模型的实战经验，能为你点亮一盏灯。当你看到自己训练的模型在巴掌大的设备上流畅运行时，那种成就感，绝对是云端 API 调用无法比拟的。