大模型算法实习面试复盘：RAG、LoRA、强化学习与 Agent 架构解析

一、项目与八股文：从 RAG 到 LoRA，层层深入

Q1：你在项目中用到了 RAG，那 RAG 是如何做 rerank（重排序）的？

面试官提问：'你在简历里提到用 RAG 构建了一个金融问答系统。那么，在 retrieve 阶段拿到 top-k 个文档后，你是怎么做 rerank 的？具体用了什么模型或策略？'

我的回答：

我在项目中构建了面向投资者教育的金融知识问答系统，底层基于 Llama-3-8B + FAISS + Reranker 的三段式 RAG 架构。

首先，用户输入问题后，我会用 bge-large-zh-v1.5 对 query 进行编码，然后在 FAISS 中进行近似最近邻搜索（ANN），召回 top-50 的候选文档片段（chunk）。但这 50 个结果只是基于向量相似度（cosine similarity）的粗排，存在两个问题：

语义漂移：比如用户问'科创板上市条件'，可能召回一堆关于'创业板'的文档；
细粒度相关性不足：有些文档虽然整体主题相关，但关键信息缺失。

因此，我们引入了 Cross-Encoder Reranker 做精排。具体来说，使用了 bge-reranker-v2-m3 模型（这是智源开源的中文重排序模型），它会对每个 (query, passage) 对进行联合编码，输出一个相关性分数。

# 伪代码示意
reranker = BGEM3Reranker(model_name="BAAI/bge-reranker-v2-m3")
scores = reranker.compute_score([(query, doc) for doc in retrieved_docs])
reranked_docs = [doc for _, doc in sorted(zip(scores, retrieved_docs), reverse=True)]
final_top_k = reranked_docs[:5]

这个 reranker 虽然计算开销比双塔模型大（因为要对每个 pair 做 full attention），但在金融这种高精度场景下，准确率提升远大于延迟成本。我们在测试集上观察到 MRR@5 提升了约 18%。

此外，我们也尝试过 ColBERTv2 这种 late interaction 架构，它在保持较高精度的同时推理速度更快，但由于部署复杂度较高（需要维护 token-level embeddings），最终选择了更成熟的 cross-encoder 方案。

面试官追问：'如果 reranker 输出的分数都很接近，比如都在 0.85~0.90 之间，你怎么判断哪个更相关？有没有考虑过集成或者不确定性校准？'

这个问题很关键！我们在实际部署时确实遇到过'分数扎堆'现象。我们的应对策略有三点：

引入多样性惩罚：在 rerank 后再加一层 MMR（Maximal Marginal Relevance），避免 top-k 结果内容高度重复；
置信度阈值过滤：如果最高分 < 0.7，直接返回'未找到可靠答案'，避免幻觉；
多模型投票：在离线阶段，我们并行跑 bge-reranker 和 Cohere Rerank API，取交集或加权平均，提升鲁棒性。

未来我们也计划引入 Uncertainty-aware Reranking，比如用 Monte Carlo Dropout 估计 reranker 的预测不确定性，对高不确定样本降权或触发人工审核。

维度	传统 RL	Agentic RL
状态空间	固定、低维（如 Atari 像素）	动态、高维、符号 + 感知混合
动作空间	预定义离散/连续动作	自主生成工具调用序列（如 `search("AAPL") → get_price() → calculate_pe()`）
奖励信号	环境直接提供	稀疏、延迟，甚至需 self-supervised reward（如 correctness verifier）
学习目标	最大化累计 reward	实现复杂 goal（如'分析特斯拉未来三年盈利能力'）

大模型算法实习面试复盘：RAG、LoRA、强化学习与 Agent 架构解析