边缘计算实战：基于 LLaMA-Factory 微调模型部署至 Jetson
在 AI 落地过程中，很多 IoT 团队都面临同一个难题：如何在资源受限的边缘设备上跑通大语言模型？云端推理虽然方便，但延迟和隐私成本往往难以接受。本文将分享一套完整方案，利用 LLaMA-Factory 完成模型微调，并通过 TensorRT 优化将其部署到 Jetson 系列设备。
为何选择边缘部署？
直接在云端运行模型通常有三个痛点：
- 延迟敏感：工业控制或实时监控场景，毫秒级响应是刚需
- 数据隐私：敏感数据不宜离开本地环境
- 成本压力：长期占用云端 GPU 资源费用高昂
Jetson 作为边缘计算的代表硬件，优势很明显：内置 GPU 加速、支持 TensorRT 深度优化，且功耗控制在 5-15W 左右，生态也很完善。
云 GPU 环境下的模型微调
部署前，我们得先在云 GPU 上把模型调教好。LLaMA-Factory 是目前很成熟的开源框架，支持多种架构和微调策略。
微调方案选型
根据显存和任务需求，常见方案有几种：
- 全参数微调（Full Fine-tuning）
- 修改模型所有权重
- 效果最好，但显存吃紧，7B 模型约需 80G
- LoRA（Low-Rank Adaptation）
- 仅训练低秩矩阵
- 显存需求降低 50%-70%，适合资源受限场景
- QLoRA（Quantized LoRA）
- 结合 4-bit 量化和 LoRA
- 7B 模型仅需 12G 显存，精度损失可控
配置示例
下面是一个典型的 LoRA 微调命令（以 Qwen-7B 为例）：
python src/train_bash.py \
--model_name_or_path Qwen/Qwen-7B \
--stage sft \
--do_train \
--dataset your_dataset \
--template qwen \
--finetuning_type lora \
--lora_rank 8 \
--output_dir outputs \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 1000 \
--learning_rate 5e-5 \
--num_train_epochs 3.0 \
--fp16
注意：实际运行时请根据显存大小调整
batch_size和gradient_accumulation_steps。
模型转换与优化
微调完成后，模型需要转换成 Jetson 能跑的格式。核心流程包括导出、ONNX 转换和 TensorRT 优化。
1. 模型导出
使用 LLaMA-Factory 工具将微调后的 checkpoint 转为 HuggingFace 标准格式：
python src/export_model.py \
--model_name_or_path outputs/checkpoint-final \
--template qwen \
--finetuning_type lora \
--export_dir exported_model
2. ONNX 转换
为了后续优化，先转成 ONNX 格式：
from transformers import AutoModelForCausalLM
torch
model = AutoModelForCausalLM.from_pretrained()
onnx_path =
input_names = [, ]
output_names = []
dummy_input = (torch.ones(, , dtype=torch.long), torch.ones(, , dtype=torch.long))
torch.onnx.export(
model,
dummy_input,
onnx_path,
input_names=input_names,
output_names=output_names,
dynamic_axes={
: {: , : },
: {: , : },
: {: , : }
},
opset_version=
)
