Llama-Factory 模型评估模块详解：BLEU、ROUGE、Accuracy 全支持
在大语言模型（LLM）日益渗透到实际业务场景的今天，一个现实问题摆在开发者面前：如何快速判断微调后的模型是否'变好了'？是更流畅了，还是更准确了？传统做法往往是靠人工抽查几条输出，主观打分。这种方式不仅效率低，而且难以复现、无法量化。
正是在这种背景下，Llama-Factory 应运而生——它不只帮你完成模型微调，更重要的是，提供了一套开箱即用的自动化评估流水线，让每一次训练迭代都有据可依。尤其值得一提的是，其内置的评估模块原生支持 BLEU、ROUGE 和 Accuracy 三大核心指标，覆盖了从机器翻译、文本摘要到分类任务的广泛需求。
这套评估体系到底怎么工作的？为什么选这三个指标？它们各自适合什么场景？又该如何避免踩坑？接下来，我们就深入代码与设计逻辑，一层层揭开 Llama-Factory 模型评估能力的技术底牌。
BLEU：不只是 n-gram 匹配那么简单
提到自动评估生成文本质量，很多人第一个想到的就是 BLEU。这个由 IBM 在 2002 年提出的指标，至今仍是机器翻译领域的'黄金标准'之一。但你真的理解它的设计哲学吗？
BLEU 的本质其实很朴素：生成文本越接近参考译文，得分越高。但它聪明的地方在于，并没有简单地数'有多少词对上了'，而是引入了两个关键机制来防止作弊。
首先是 n-gram 精度的加权几何平均。它同时考察 1-gram 到 4-gram 的匹配情况，比如：
- 'the cat' 是一个 2-gram，
- 'cat is on' 是另一个。
如果模型只是不断重复高频词如'the'、'is'，虽然 1-gram 得分会很高，但高阶 n-gram 会暴露问题。这种多粒度设计有效抑制了'堆词'行为。
其次是那个常被忽略却至关重要的 短句惩罚（Brevity Penalty, BP）。想象一下，如果模型为了保险起见只输出最确定的几个词，比如把整句话压缩成'yes'，虽然精准但信息量极低。BP 就是为了惩罚这类'偷懒'行为：
$$ \begin{cases} 1 & \text{if } c > r \ \exp(1 - r/c) & \text{otherwise} \end{cases} $$
其中 $c$ 是生成长度，$r$ 是最接近的参考长度。当 $c < r$ 时，指数衰减会让分数大幅缩水。这一点在实际使用中特别重要——我见过不少团队因为没注意输出截断导致 BLEU 虚低，误判模型性能。
最终公式为：
$$ \text{BLEU} = BP \cdot \exp\left(\sum_{n=1}^N w_n \log p_n\right) $$
这背后体现的是工程上的平衡艺术：既要鼓励匹配，又要防止走捷径。
当然，BLEU 也有局限。它无法识别同义替换，'car' 和'automobile'算作完全不匹配；也不关心语义连贯性。所以它更适合术语固定、结构清晰的任务，比如技术文档翻译或指令生成。
在 Llama-Factory 中，这一整套逻辑已经被封装得非常干净。你可以直接传入预测和参考字段，系统会自动调用 nltk 或 sacrebleu 进行标准化计算。尤其是后者，能确保不同实验之间的结果具备可比性——要知道，早期很多论文的 BLEU 分数不可复现，就是因为分词方式不统一。
from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction
reference = [["the", "cat", "is", "on", "the", "mat"]]
candidate = ["the", "cat", "is", "on", "the", "mat"]
smoothie = SmoothingFunction().method4
bleu_score = sentence_bleu(reference, candidate, smoothing_function=smoothie)
()
