RAG 系统效果评估指南：核心指标与 LangChain4j 实践

• Precision@10 = 3/10 = 0.3
• Recall@10 = 3/5 = 0.6
• 如果第一个相关结果出现在第 2 位，则 MRR 贡献值为 1/2 = 0.5

2.2 生成阶段指标

忠实度计算示例：

• 答案：'第一届超级碗于 1967 年 1 月 15 日举行，由绿湾包装工队获胜。'
• 上下文：['第一届 AFL-NFL 世界冠军赛于 1967 年 1 月 15 日在洛杉矶纪念体育馆举行']（未提及获胜队伍）
• 拆分 claims：
  • Claim 1：'第一届超级碗于 1967 年 1 月 15 日举行' → 可从上下文推断 ✅
  • Claim 2：'由绿湾包装工队获胜' → 无法从上下文推断 ❌
• 忠实度 = 1/2 = 0.5

2.3 无参考评估指标

LLM-as-a-Judge（大模型作为裁判）

使用一个高性能的 LLM（如 GPT-4、Llama-3-70B）作为裁判，给定查询、上下文和生成的答案，让模型按照预设的评分标准给出分数。

// LLM-as-a-Judge 的提示词示例
String judgePrompt = """
  请评估以下答案的忠实度和相关性，分别给出 1-5 分。
  用户查询：{query}
  检索到的上下文：{context}
  生成的答案：{answer}
  忠实度评分标准：
  5 分：答案完全基于上下文，无任何幻觉
  4 分：答案基本基于上下文，有少量推断 ...
  相关性评分标准：
  5 分：答案直接、充分地回答用户问题
  4 分：答案相关但不够充分 ...
  请以 JSON 格式返回：{"faithfulness": 分数，"relevance": 分数}
""";

研究表明，LLM-as-a-Judge 与人类评估的一致性很高，已成为工业界主流的评估方法。

RAGAS 综合评分

RAGAS 是一个专为 RAG 系统设计的无参考评估框架，它将多个指标组合成一个RAGAS 总体得分：

RAGAS 得分 = 加权平均 (忠实度，答案相关性，上下文精度，上下文召回率，...)

权重的分配取决于每个用例的优先级。例如，在需要高度事实准确性的系统中，忠实度的权重应该更高。

三、LangChain4j 生态中的评估实践

LangChain4j 提供了多种工具来支持 RAG 系统的评估。

3.1 RAG 的三种实现层次

在开始评估之前，需要理解 LangChain4j 中 RAG 的三种实现层次，它们对应不同的评估复杂度：

3.2 与 RAGAS 集成

LangChain4j 可以与 RAGAS 框架配合，对 RAG 系统进行全面评估。

步骤 1：准备评估数据集

RAGAS 需要的数据集格式如下：

data_samples = {
    'question': ['第一届超级碗是什么时候举行的？', '谁赢得了最多的超级碗冠军？'],
    'answer': ['第一届超级碗于 1967 年 1 月 15 日举行', '赢得最多超级碗冠军的是新英格兰爱国者队'],
    'contexts': [
        ['第一届 AFL-NFL 世界冠军赛于 1967 年 1 月 15 日在洛杉矶纪念体育馆举行'],
        ['绿湾包装工队...', '新英格兰爱国者队赢得了创纪录的六次超级碗冠军...']
    ],
    'ground_truth': [
        '第一届超级碗于 1967 年 1 月 15 日举行',
        '新英格兰爱国者队赢得了六次超级碗冠军'
    ]
}

步骤 2：使用 LangChain4j 收集评估数据

// 构建 RAG 应用
RetrievalAugmentor augmentor = DefaultRetrievalAugmentor.builder()
    .contentRetriever(myRetriever)
    .build();
AiService aiService = AiServices.builder(Assistant.class)
    .chatLanguageModel(chatModel)
    .retrievalAugmentor(augmentor)
    .build();

// 准备评估数据集
List<EvaluationSample> samples = new ArrayList<>();
for (String question : testQuestions) {
    // 执行查询
    String answer = aiService.chat(question);
    // 获取检索到的上下文（需要自定义 ContentRetriever 来记录）
    List<String> contexts = myRetriever.getLastRetrievedContents();
    // 构建评估样本
    samples.add(EvaluationSample.builder()
        .question(question)
        .answer(answer)
        .contexts(contexts)
        .groundTruth(groundTruths.get(question)) // 可选
        .build());
}
// 导出为 JSON，供 RAGAS 使用
exportToJson(samples, "rag_eval_data.json");

步骤 3：使用 RAGAS 计算指标

from ragas import evaluate
from datasets import Dataset

# 加载评估数据
dataset = Dataset.from_json("rag_eval_data.json")

# 计算各项指标
result = evaluate(
    dataset,
    metrics=[
        faithfulness,
        answer_relevancy,
        context_precision,
        context_recall
    ]
)
print(result)
# 输出示例：
# {'faithfulness': 0.95, 'answer_relevancy': 0.92, 
#  'context_precision': 0.88, 'context_recall': 0.85}

3.3 使用 Quarkus 的 @AiScorer 进行 LLM-as-a-Judge

如果你在 Quarkus 环境下使用 LangChain4j，官方提供了非常便捷的 @AiScorer 注解和 Scorer 工具，可以直接在单元测试中集成 LLM 评估：

@QuarkusTest
public class RagEvaluationTest {
    @AiScorer(prompt = "请评估以下答案的忠实度和相关性，分别给出 1-5 分", model = "gpt-4")
    Scorer scorer;

    @Test
    void testRagResponses() {
        // 准备测试样本
        Samples<String> samples = new Samples<>(
            EvaluationSample.<String>builder().withName("医疗查询").withParameter("我摔断了腿该怎么办？").build(),
            EvaluationSample.<String>builder().withName("法律查询").withParameter("我因逃税被起诉").build()
        );

        // 执行评估
        EvaluationReport report = scorer.evaluate(
            samples,
            param -> ragAssistant.chat(param), // 执行 RAG 查询的函数
            null // 评分函数（可选，如果不提供则使用 AI 评分）
        );

        // 断言
        assertThat(report.score()).isGreaterThan(4.0);
    }
}

3.4 自定义轻量级评估

你也可以结合 Embedding 模型和简单的计算，实现轻量级的自动化评估：

public class LightweightRagEvaluator {
    private final EmbeddingModel embeddingModel;

    public double evaluateRetrievalQuality(String query, List<String> retrievedDocs) {
        // 计算查询与检索文档的平均相似度
        Embedding queryEmbedding = embeddingModel.embed(query).content();
        double avgSimilarity = retrievedDocs.stream()
            .map(doc -> embeddingModel.embed(doc).content())
            .mapToDouble(docEmbedding -> cosineSimilarity(queryEmbedding, docEmbedding))
            .average()
            .orElse(0.0);
        return avgSimilarity;
    }

    public double evaluateAnswerRelevance(String query, String answer) {
        // 计算答案与查询的语义相似度
        Embedding queryEmbedding = embeddingModel.embed(query).content();
        Embedding answerEmbedding = embeddingModel.embed(answer).content();
        return cosineSimilarity(queryEmbedding, answerEmbedding);
    }

    private double cosineSimilarity(Embedding e1, Embedding e2) {
        // 计算余弦相似度
        return Math.sqrt(e1.dotProduct(e2) / (e1.magnitude() * e2.magnitude()));
    }
}

3.5 评估工作流集成

在生产环境中，建议将评估集成到 CI/CD 流水线中：

# .github/workflows/rag-evaluation.yml
name: RAG Evaluation
on:
  pull_request:
    paths:
      - 'src/main/**'
jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Setup Java
        uses: actions/setup-java@v3
        with:
          java-version: '17'
      - name: Run RAG evaluation tests
        run: mvn test -Dtest=RagEvaluationTest
      - name: Upload evaluation report
        uses: actions/upload-artifact@v3
        with:
          name: rag-evaluation-report
          path: target/rag-evaluation-report.json

四、总结与最佳实践

4.1 RAG 评估的黄金法则

1. 分阶段评估：检索质量和生成质量必须分开考察，才能准确定位问题
2. 多维度指标：单一指标无法反映系统全貌，应组合使用精度、召回率、忠实度、相关性等多个指标
3. 自动化优先：将评估集成到 CI/CD 流水线，实现持续监控
4. 贴近业务：评估指标的权重应根据业务场景调整，如金融领域应更重视忠实度

4.2 常见问题定位指南

4.3 生产环境评估建议

• 建立黄金数据集：维护一组高质量的测试问答对，定期评估系统性能
• 监控用户反馈：收集用户的点赞/点踩数据，作为评估的补充
• A/B 测试：在正式上线前，对新旧系统进行对比评估
• 渐进式发布：逐步放量，监控各项指标的变化

掌握这些评估方法，不仅可以帮助你持续优化 RAG 系统的效果，也是在高级面试中展示你对 RAG 技术深刻理解的关键。