大模型常见面试问题及核心技术原理解析

Token 计数是控制成本和管理上下文长度的关键，但在实际使用中常遇到挑战。

常见问题

• 不同模型和工具的不一致性：不同的语言模型和工具对 token 的定义和计数方式可能存在差异。例如，某些模型使用 BPE（Byte Pair Encoding），而另一些可能使用 WordPiece，这导致在使用 LangChain 进行多模型或多工具集成时，难以准确统一地计算 token 数量。
• 复杂任务中的计数困难：在涉及多个步骤和不同类型输入输出的复杂任务中，准确跟踪和计算 token 的使用情况变得复杂。例如在生成文本并对其进行后续处理的任务中，难以精确统计每个环节的 token 消耗。

解决方法

• 统一标准和工具：使用一些通用的 token 化工具，如 Hugging Face 的 tokenizers 库，确保在整个工作流中采用一致的 token 化方法和计数规则。
• 自定义计数逻辑：根据具体的任务和模型组合，开发自定义的函数来精确计算 token 数量。在复杂任务中，可以在每个关键步骤后记录和累加 token 使用量，通过对任务流程的深入分析和代码层面的精细控制，实现更准确的 token 计数。
• 缓存机制：对于重复出现的 Prompt 部分，建立缓存以减少重复计算的 token 开销。

5. LLM 预训练阶段有哪几个关键步骤？

LLM 的预训练是一个庞大且复杂的工程，主要包含以下关键步骤：

数据收集与预处理

收集大规模的文本数据，来源广泛，如互联网文本、书籍、新闻文章、代码仓库等。然后对数据进行清洗、分词、标记化等预处理操作。例如，去除噪声数据、过滤低质量内容、将文本分割成单词或子词单元，并为每个单元分配唯一的标识符。

模型架构选择

确定适合的神经网络架构，主流为 Transformer 架构及其变体（如 Decoder-only, Encoder-Decoder）。这些架构通常包含多个层，如多头注意力层、前馈神经网络层、LayerNorm 等，用于对输入文本进行特征提取和建模。

参数初始化

对模型的参数进行初始化，通常采用随机初始化或基于特定分布（如 Xavier 或 Kaiming）的初始化方法，为模型的训练提供一个初始的起点，避免梯度消失或爆炸。

训练过程

使用大规模的计算资源，通过优化算法（如随机梯度下降 SGD、AdamW 及其变体）最小化预定义的损失函数（通常是交叉熵损失）。在训练过程中，模型不断学习输入文本中的语言模式和语义信息，调整参数以提高对文本的理解和生成能力。例如，在预测下一个单词的任务中，通过最小化预测误差来更新参数。

6. RLHF 模型为什么会表现比 SFT 更好？

RLHF（Reinforcement Learning from Human Feedback）通常在对齐人类偏好方面优于 SFT（Supervised Fine-Tuning）。

核心原因

• 利用人类反馈进行优化：RLHF 能够整合人类的偏好和反馈信息，通过奖励模型引导语言模型的训练，使其生成更符合人类期望的文本。相比之下，SFT 主要依赖于有监督的微调数据，可能无法充分捕捉人类的主观偏好和复杂的语言使用场景。
• 增强泛化能力：RLHF 中的强化学习过程促使模型在不同的任务和情境下进行探索和学习，有助于提高模型的泛化能力，使其能够更好地应对未见过的输入和任务。
• 动态调整策略：RLHF 可以根据奖励信号动态调整模型的生成策略，不断优化生成结果。常用的算法包括 PPO（Proximal Policy Optimization），它能在保证稳定性的同时提升性能。

流程简述

1. SFT 阶段：使用高质量指令数据微调基座模型。
2. 奖励模型训练：收集人类对不同回复的排序数据，训练奖励模型。
3. RL 优化：使用 PPO 等算法，基于奖励模型优化策略模型。

7. 参数高效的微调（PEFT）有哪些方法？

为了降低全量微调的资源消耗，PEFT 技术应运而生。

常见方法

• LoRA（Low-Rank Adaptation）：通过在原始模型的基础上添加低秩矩阵来调整模型参数，只需要训练这些低秩矩阵，大大减少了可训练参数的数量。公式通常为 $W = W_0 + BA$，其中 $B$ 和 $A$ 是低秩矩阵。
• Adapter Tuning：在模型的特定层插入小型的适配器模块，这些适配器模块在微调过程中进行训练，而原始模型的大部分参数保持固定。
• Prefix Tuning：在模型输入的前面添加可学习的前缀向量，通过调整这些前缀向量来影响模型的输出，在不改变原始模型结构的情况下实现微调。
• Prompt Tuning：类似于 Prefix Tuning，但仅优化嵌入层的 prompt tokens，不修改模型内部结构。

8. LoRA 微调相比于微调适配器或前缀微调有什么优势？

LoRA 是目前最流行的 PEFT 方法之一，其优势显著。

核心优势

• 低秩矩阵的高效性：LoRA 使用低秩矩阵来捕捉模型的变化，相比其他方法在参数数量上具有更大的优势。它可以在保持模型性能的同时，显著减少可训练参数的数量，降低了计算资源和存储需求。
• 灵活性和兼容性：LoRA 可以方便地应用于不同的模型架构和层，具有较好的灵活性和兼容性。它可以在不改变原始模型结构的基础上进行添加和训练，易于与现有的模型训练和部署流程相结合。
• 相对简单的实现：LoRA 的实现相对较为简单，不需要对模型结构进行复杂的修改或添加大量的额外模块，降低了开发和调试的难度。
• 权重合并：训练完成后，可以将 LoRA 权重合并回主模型，推理时无需加载额外权重，速度不受影响。

9. 什么是稀疏微调？

稀疏微调是一种在模型微调过程中，只对模型参数的一个子集进行更新的方法。

原理与策略

具体来说，通过某种策略（如基于参数的重要性、梯度信息或特定的稀疏化算法）选择一部分参数进行调整，而将其他参数固定。这样可以减少微调过程中的计算量和内存需求，同时在一定程度上保持模型的性能。

应用场景

• 重要性筛选：通过分析模型在预训练阶段的参数敏感度或梯度分布，确定对模型性能影响较大的参数进行稀疏微调。
• 结构化剪枝：移除不重要的神经元或连接，并在剩余结构上进行微调。
• 混合精度：结合稀疏性与量化技术，进一步压缩模型。

10. 训练后量化（PTQ）和量化感知训练（QAT）有什么区别？

量化是模型部署加速的关键技术，PTQ 和 QAT 是两种主要路径。

区别对比

适用场景

• PTQ：适用于对精度要求不是特别苛刻的应用场景，或者没有足够算力进行重训练的情况。它是一种有效的模型压缩和加速方法。
• QAT：适用于对精度要求较高的任务，尤其是当 PTQ 导致的精度下降不可接受时。虽然成本高，但能最大程度保留模型性能。

总结

掌握上述知识点有助于在大模型相关的技术面试中脱颖而出。建议在实际项目中结合具体业务场景，灵活运用 ReAct、LangChain、LoRA 等技术，并关注 Token 管理和量化优化，以提升系统的整体效率和用户体验。