大模型算法岗位面试攻略：核心常见问题详解

10. RAG 的检索阶段，常见的向量检索模型有哪些？

• ANN 算法：乘积向量、暴力搜索、hnswlib
• KD 树

11. 针对通用的 RAG，你觉得还有哪些改进点？

• Query 侧：做 query 的纠错、改写，规范化和扩展
• 对向量数据库做层次索引，提高检索效率和精度
• 对 LLM 模型微调，针对当前垂直领域引入知识库，提升回答的专业性、时效性和正确性
• 对最终输出做后处理，降低输出的不合理 case

12. 什么是 LangChain

LangChain 为大型语言模型提供了一种全新的搭建和集成方式，通过这个强大的框架，我们可以将复杂的技术任务简化，让创意和创新更加易于实现。有点类似于神经网络开发与 tensorflow/pytorch 之间的关系。

13. LangChain 的常用模块有哪些？

• document_loaders：文档加载
• text_splitter：文档分块
• embedding.huggingface：向量化
• vectorstores：向量存储
• chain.RetrievalQA：检索问答

14. SFT 和 RLHF 优劣对比

15. 详细介绍一下 RLHF

RLHF (Reinforcement Learning from Human Feedback) 通常包含三个步骤：

1. Supervised Fine-Tuning (SFT)：使用高质量的指令数据进行监督微调。
2. Reward Model Training：基于人类反馈数据训练奖励模型，用于评估模型输出的质量。
3. PPO (Proximal Policy Optimization)：使用强化学习算法，根据奖励模型的反馈优化策略模型，使其输出更符合人类偏好。

16. 大模型训练经常出现一些 OOM 问题，在现有硬件基础下，有什么性能提升 trick

• 梯度累积
• 混合精度训练
• 减轻模型参数
• 分布式训练
• 减少批量大小
• 增加硬件资源
• 数据处理与加载优化：例如，可以使用数据流水线技术来并行加载和处理数据，减少内存中同时存在的数据量

17. LLaMA 模型输入句子理论上可以无限长吗？

不可以

• 受限于计算资源
• 训练阶段长句子会导致梯度消失或者梯度爆炸（因为它依赖前面的词进行最大似然估计作为损失函数，这个最大似然估计化简一下就是连乘的形式，容易造成梯度消失或者梯度爆炸）
• 推理阶段会增加预测错误率

18. 如何让大模型处理更长的文本？

• 分块处理，同时重叠保证连贯性
• 增加模型参数量，复杂化模型架构，提高对更长文本的捕捉与表达能力

19. 大模型推理时，显存中有那几部分数据？

• 模型参数
• 输入数据
• 计算中间结果
• 内存管理策略：某些深度学习框架在推理时采用了一种延迟释放显存的策略，即显存不会立即释放，而是保留一段时间以备后续使用。这种策略可以减少显存的分配和释放频率，提高推理效率，但也会导致显存一直占用的现象。

20. 介绍下 ChatGLM

首先要说起它的基座 GLM，GLM 既可以做 Encoder 也可以做 Decoder。 主要通过两种 mask 方式来实现：

• [mask]：bert 形式，随机 mask 文本中的短 span
• [gmask]：gpt 形式，mask 末尾的长 span

在 chatglm 里面做生成任务时，是用 [gmask]。chatglm2 中完全采用 gmask 来进行预训练。

在 ChatGLM 的内部结构中的变换，从下到上依次是：

• 位置编码：从 BERT 的训练式位置编码转变为旋转位置编码
• 激活函数：从 BERT 中的 GeLU 转变为 GLU，在 ChatGLM2 中又变成了 SwiGLU
• LayerNormalization：采用的是 DeepNorm，是对 post-Normalization 的改进，即在残差之后做 Normalization。在 ChatGLM 中，把 layer-normalization 改为 RMSNormalization。

在 ChatGLM 2.0 中还添加了一些其他变化：

• FlashAttention：利用显存和内存来做加速
• Multi-Query Attention：多个头只采用一个 KV 对，通过参数共享来降低显存占用

21. 介绍下 GLU 激活函数和 SwiGLU 激活函数

GLU 的核心思想是通过门控机制来过滤信息，进而提高网络的表达能力和泛化能力。（门控机制有助于长距离建模） SwishGLU 的核心思想是将 Swish 和 GLU 结合起来，SwishGLU 实际上只是多乘了一个 g(x)。

22. LLaMA1/2 的异同

首先从数据角度，llama2.0 为 2.0T，llama1 是 1.4T。其次是上下文长度，llama1 是 2k，llama2 是 4k。 最后从模型架构角度： 从整体上看，二者都遵循自回归 Transformer 的架构，只不过内部的细节有些不同。

• 位置编码：二者都采用了旋转位置编码
• Normalization：二者都采用 pre-normalization，只不过 1.0 中采用原始的 LayerNormalization，2.0 中采用的是 RMSNorm
• 激活函数：采用 SwiGLU

23. 模型在训练和推理的时候各占用显存的多少？

一般来说，训练占用模型参数量的 16 倍大小（优化器、梯度、模型本身）；推理占用模型参数量的 2 倍大小（fp16 是一个单位参数大小对应两个字节，int8 是一个单位参数大小对应一个字节）。

24. 详细说说 Deepspeed 的机制

Deepspeed 是一种数据并行的方法，采用的 ring all reduce 方式。 传统的 parameter server 是 server 和 client 的方式，client 通过计算分配给自己的数据，产生梯度，传给 server，server 做聚合，然后把聚合后的参数再传给 client，这个方式的弊端是 server 容易成为瓶颈，server 通信量太大。另外可能一个 client 失败，会导致其他 client 等待。 Ring all reduce 是一种分布式的方式，各个节点分配通信量。总的通信量和 ps 没啥变化，但是通信的压力平摊到各个 GPU 上了，GPU 之间的通信可以并行进行。 假如，GPU 数量是 N，把模型参数分成 N 份，每个 GPU 要存放整个参数。每个 GPU 也要分配训练数据。当一次迭代，N 个 GPU 之间要经过一个 scatter 和 gather 操作，reduce-scatter 是将不同 gpu 上对应的参数的 gradient 相加，一共需要通讯（N-1）次。All-gather 是将合并完整的参数，传到其他 gpu 上，需要通讯（N-1）次。一次 all reduce，单卡通信量为 2*sita。

Zero 包括 3 种方案，逐步递进：

• zero1：将 adam 的参数分割成 N 份，这样一个 GPU 上只能保存一份 adam 参数：这对于 forward 没啥影响，gradient 需要进行一次 all-reduce，但是只能更新一部分参数，所以 W 需要进行一次 all-gather，通信量为 3N_sita，存储为 12_sita/N + 4*sita
• zero2：将 adamw，gradient 都分割成 N 份，梯度就不需要 all-gather 了，只需要 scatter 了，w 需要 all-gather，通讯量为 2N*sita
• zero3：将参数，adam 和 gradient 都分割，forward 的时候，需要将 w all-gather，backfoward 时，还需要把 w all-gather 回来，计算梯度，丢掉不属于自己的 w，然后对梯度做 reduce scatter，更新 w，通讯量为 3N*sita。

最后采用采用 stage3：用 1.5 倍的通讯开销，换回近 120 倍的显存。 另外，还有 ZeRO-Offload 是基于 Zero2，将 adam 和 gradient 放到内存中，在 cpu 内起了 N 个线程计算。其中的一条主线是 gradient 总是需要 scatter 的，感觉这个数据并行标志。这里需要注意一点 不管是 forward 还是 backward，都是需要有完整的 w 的。另外有了 gradient，以及 adamW 的参数，才能更新 W。

25. 什么是混合精度训练

FP64 用 8 个字节共 64 位，FP32 用 4 个字节共 32 位，FP16 用 2 个字节共 16 位。在神经网络模型的训练过程中，通常默认使用单精度（FP32）浮点数据类型来表示网络模型的权重和其他参数。 为什么需要混合精度训练呢？ 使用 FP16 训练神经网络，相比使用 FP32 有以下优点。

• 内存占用减少：FP16 的位宽是 FP32 的一半，所以权重等参数占用的内存也减少了一半，这样就可以训练更大的网络模型或者使用更多的数据。
• 通讯效率提高：对于分布式训练，特别是大模型训练，通讯的开销是一个性能瓶颈，通讯的位宽减少了一半，就可以加快通讯速度，减少等待时间，提高数据流通效率。
• 计算效率更高：在一些专门的 AI 加速芯片上，使用 FP16 的计算性能比 FP32 更快。

但是使用 FP16 也会带来一些问题，主要有两个方面：

• 数据溢出和
• 舍入误差

为了利用 FP16 的优势，提高深度学习训练的效率和性能，同时避免精度溢出和舍入误差的影响，可以采用 FP16 和 FP32 的混合精度训练，主要涉及到一下三个重要技术点：

• 权重备份（Weight Backup）
• 损失放大（Loss Scaling）
• 精度累加（Precision Accumulated）

26. 什么是 prefix LLM 和 casual LLM

• prefix LM：token 可以相互看到，输入双向注意力，输出单向注意力（ChatGLM、ChatGLM2、U-PaLM）
• casual LM：严格自回归，从左到右的单向注意力（LLaMA-7B、LLaMa 衍生物、Qwen）

27. 说一说针对 MHA 后续的一些计算优化工作

1. KV cache，核心思想：因为 transformers 是自回归，每一个 token 的预测包含大量前文的重复冗余计算。优化点是将需要重复利用的中间结果存下来，避免重复计算
2. MQA，核心思想：虽然 SRAM 的带宽很大，但是容量很小（A100 只有大概 20M），所以要进一步减少需要缓存的数据。MQA 中的多头只有 Q 是不一样的，K、V 完全相同。
3. GQA，核心思想：进一步减少需要缓存的数据大小，K、V 分组复制，数据大小介于 MQA 和 MHA 之间。
4. FlashAttention，核心思想：将 Q、K、V 切分为更小的块，从 HBM 中加载到 SRAM，需要计算的时候直接从 SARM 中读（因为目前 transformers 的计算效率瓶颈不在于计算速度，而是 IO）

FlashAttention 涉及到很多计算 trick，有空单独开一篇文章来说。

28. 说说 attention 几种常见的计算方式

• self-attention
• din 的 attention 计算在得到权重之后，没有进行 softmax 归一化操作，而是保留了权重原始的信号强度。原始权重是通过网络最后一层激活函数得到，因此可以利用激活函数的特点，将其值限制在 0-1 之间，如 sigmoid 函数，从而使得到的原始权重值可直接用于加权求和，保留了权重的差异性。使用 softmax 操作虽然可以进行归一化，但同时会弱化了权重之间的差异性，有损用户兴趣的局部聚焦性。

总结与建议

本文整理了大模型算法岗位面试的 28 个核心问题，涵盖了从 RAG 技术体系、模型微调方法、主流开源架构到训练优化技巧的全方位知识点。建议求职者在准备面试时：

1. 深入理解原理：不仅要知道'怎么做'，还要理解'为什么'，例如不同 Attention 变体的区别及适用场景。
2. 关注工程实践：熟悉 DeepSpeed、混合精度训练等实际落地中的优化手段，解决 OOM 等常见工程问题。
3. 持续跟进前沿：大模型领域发展迅速，保持对最新模型架构（如 MoE、长上下文技术）的关注。
4. 注重数据质量：无论是 SFT 还是 RLHF，高质量的数据集往往是决定模型上限的关键因素。

希望这份指南能帮助求职者系统掌握大模型关键技术点，提升面试通过率。