从数据集构建到 LoRA 微调：使用 LlamaFactory 实现高效文本分类

关键参数说明：

• stage: sft: 指定监督微调阶段。
• finetuning_type: lora: 启用 LoRA 低秩适配器，节省显存。
• cutoff_len: 截断长度，需根据显存大小和数据平均长度调整。
• bf16: 启用 bfloat16 混合精度训练，加速计算并减少显存占用。
• ddp_timeout: 分布式训练超时时间，防止因长时间运行被系统杀死。
• eval: 开启验证集评估，监控过拟合情况。

启动模型训练

使用以下命令启动后台训练任务：

nohup llamafactory-cli train qwen_train_cls.yaml > qwen_train_cls.log 2>&1 &

命令分解：

• nohup: 确保进程在终端关闭后继续运行。
• llamafactory-cli train: 调用 CLI 工具执行训练子命令。
• > qwen_train_cls.log 2>&1: 将标准输出和错误输出重定向到日志文件。
• &: 将命令放入后台运行。

训练过程中，请定期检查 qwen_train_cls.log 中的 Loss 变化曲线，确保模型收敛正常。若出现 OOM（Out Of Memory）错误，可尝试减小 per_device_train_batch_size 或增加 gradient_accumulation_steps。

模型部署与推理

训练完成后，LoRA 权重保存在 output_dir 指定的路径下。虽然 LLaMA-Factory 原生支持推理，但为了获得更高的吞吐量，可以结合 vLLM 进行批量推理。

本地推理示例：

llamafactory-cli chat \
  --model_name_or_path qwen/Qwen2.5-7B-Instruct \
  --adapter_name output/qwen2.5-7B/cls_epoch2 \
  --template qwen \
  --infer_backend vllm

此命令加载基础模型及 LoRA 适配器，并使用 vLLM 后端加速生成。推理结果应遵循训练时的输出格式（包含 reason 和 label），以便于统一评估。

文本分类评估代码

为了量化模型效果，需要编写评估脚本解析预测结果并与真实标签对比。以下是一个基于 Python 和 sklearn 的评估示例。

import os
import re
import json
from sklearn.metrics import classification_report, confusion_matrix

# 文本类别列表
CLASS_NAME = [
    "产业相关",
    "法律法规与行政事务",
    "其他",
    # ... 补充完整所有类别
]

def load_jsonl(file_path):
    """加载 JSONL 文件"""
    data = []
    try:
        with open(file_path, "r", encoding="utf-8") as file:
            for line in file:
                tmp = json.loads(line)
                data.append(tmp)
    except FileNotFoundError as e:
        print(f"文件未找到：{file_path}")
        raise e
    return data

def parser_label(text: str):
    """从模型输出中提取 label"""
    pattern = r"label[:：\s\.\d\*]*([^\s^\*]+)"
    matches = re.findall(pattern, text, re.DOTALL)
    if len(matches) == 1:
        return matches[0]
    return None

def trans2num(item):
    """将类别名称转换为索引"""
    predict = parser_label(item["predict"])
    label = parser_label(item["label"])

    predict_idx = -1
    label_idx = -1
    for idx, cls_name in enumerate(CLASS_NAME):
        if predict == cls_name:
            predict_idx = idx
        if label == cls_name:
            label_idx = idx

    return predict_idx, label_idx

def cls_eval(input_file):
    """执行评估"""
    data = load_jsonl(file_path=input_file)
    predicts = []
    labels = []

    for item in data:
        predict, label = trans2num(item)
        if label == -1:
            continue
        predicts.append(predict)
        labels.append(label)

    report = classification_report(predicts, labels, output_dict=False)
    print(report)
    return report

if __name__ == "__main__":
    cls_eval("xxx/generated_predictions.jsonl")

注意事项：

1. parser_label 函数需根据实际模型输出格式调整正则表达式。
2. 若模型未输出有效标签（返回 -1），应在评估前过滤掉该样本。
3. 建议使用 F1-score 作为核心指标，特别是在类别不平衡的情况下。

常见问题与优化建议

1. 显存不足：如果训练过程中显存溢出，可以尝试开启 flash_attention_2（如果硬件支持），或者进一步降低 batch size 并增加梯度累积步数。
2. 过拟合：观察验证集 Loss 是否上升。如果验证集效果下降而训练集持续下降，说明过拟合，可增加 weight_decay 或提前停止训练。
3. 推理速度：在生产环境中，务必使用 vLLM 等推理引擎，相比原生 transformers 推理速度可提升数倍。
4. 数据质量：文本分类的效果很大程度上取决于标注数据的质量。建议对训练数据进行去重和清洗，确保类别分布均衡。

通过上述步骤，您可以利用 LLaMA-Factory 快速构建高效的文本分类模型，并根据业务需求灵活调整微调策略。