Llama Factory 模型评估：如何科学衡量微调后的模型性能

提示：在评估显存占用时，建议使用不同长度的输入文本进行压力测试，因为显存消耗与序列长度呈平方关系。

构建有效的测试集

好的测试集应包含：

1. 目标领域样本（核心评估）
2. 覆盖主要场景
3. 包含边缘案例
4. 标注难度分级
5. 通用领域样本（能力保留测试）
6. 从原始验证集抽样
7. 加入对抗样本
8. 人工验证集（最终校验）
9. 50-100 个典型样本
10. 由领域专家标注

# 测试集拆分示例
from sklearn.model_selection import train_test_split

# 保留 10% 作为人工验证集
train_val, test_human = train_test_split(data, test_size=0.1, random_state=42)

# 剩余 90% 再拆分
train, eval = train_test_split(train_val, test_size=0.2, random_state=42)

使用 LLaMA-Factory 进行系统评估

1. 基础评估流程

# 安装评估依赖
pip install -r requirements_eval.txt

# 运行综合评估
python src/evaluate.py \
 --model_name_or_path ./finetuned_model \
 --tasks mmlu,ceval,race \
 --batch_size 4 \
 --load_in_4bit \
 --output_dir ./eval_results

关键参数说明：

• --tasks：指定评估任务列表
• --load_in_4bit：4bit 量化评估节省显存
• --batch_size：根据显存调整

2. 自定义评估指标

创建自定义评估脚本：

# custom_eval.py
from datasets import load_dataset
from transformers import pipeline

# 加载微调模型
pipe = pipeline("text-generation", model="your_finetuned_model")

# 加载测试集
dataset = load_dataset("your_dataset")["test"]

def evaluate_sample(example):
    output = pipe(example["prompt"])
    return {
        "bleu": calculate_bleu(example["reference"], output),
        "accuracy": check_fact(output)
    }

results = dataset.map(evaluate_sample)
print(results["bleu"].mean(), results["accuracy"].mean())

3. 结果分析与可视化

使用 pandas 分析评估结果：

import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_json("eval_results/all_results.json")

# 绘制指标对比图
df[["task", "accuracy"]].plot.bar(x="task")
plt.title("Accuracy Across Tasks")
plt.savefig("accuracy_comparison.png")

典型问题与解决方案

问题 1：评估时显存不足

解决方案：

• 启用 4bit/8bit 量化评估
• 减小 batch_size
• 使用梯度检查点技术

python src/evaluate.py \
 --load_in_4bit \
 --batch_size 2 \
 --gradient_checkpointing

问题 2：评估结果波动大

可能原因：

• 测试样本不足
• 存在数据泄露
• 随机种子未固定

应对措施：

• 增加测试样本量
• 检查数据拆分逻辑
• 固定所有随机种子

import torch
import numpy as np
import random

def set_seed(seed):
    torch.manual_seed(seed)
    np.random.seed(seed)
    random.seed(seed)

问题 3：指标与人工评估不一致

处理方案：

• 检查指标计算逻辑
• 增加人工评估样本
• 设计更贴合业务的指标

# 自定义业务指标示例
def business_metric(output, reference):
    key_points = extract_key_points(reference)
    covered = 0
    for point in key_points:
        if point in output:
            covered += 1
    return covered / len(key_points)

总结与下一步建议

通过本文介绍的系统评估方法，你现在应该能够：

1. 选择合适的评估指标组合
2. 构建全面的测试集
3. 使用 LLaMA-Factory 运行标准化评估
4. 分析并解释评估结果

建议下一步尝试：

• 对比不同微调方法（LoRA vs 全参数）的评估结果
• 建立自动化评估流水线
• 定期在开发过程中运行评估

记住，模型评估不是一次性的工作，而应该贯穿整个模型开发生命周期。