大模型算法工程师核心面试题及参考答案

大模型算法工程师核心面试题及参考答案 | 极客日志

大模型算法工程师核心面试题及参考答案

一、大模型基础面

1. 目前主流的开源模型体系有哪些？

目前主流的开源大模型体系主要包括：

LLaMA 系列：Meta 发布，包括 LLaMA、LLaMA2、LLaMA3，基于 Transformer Decoder 架构，生态丰富。
ChatGLM 系列：智谱 AI 发布，支持中英双语，架构为 Prefix Decoder，适合对话场景。
Qwen 系列：阿里云通义千问，包含 Qwen、Qwen1.5、Qwen2 等，中文能力较强。
Baichuan 系列：百川智能发布，注重多语言能力和长文本处理。
Falcon 系列：TII 发布，强调推理速度和效率。
Mistral 系列：法国公司 Mistral AI 发布，以高效和性能著称。

2. Prefix LM 和 Causal LM 区别是什么？

Causal LM (因果语言模型)：即标准的自回归模型（如 GPT），只能看到当前 token 之前的信息，不能看到未来的 token。训练目标是预测下一个词。适用于文本生成任务。
Prefix LM (前缀语言模型)：允许模型在生成时访问部分上下文之外的信息，或者在特定位置进行掩码。例如 BERT 是双向的，而某些 Prefix LM 变体允许在特定分割点之后关注之前内容但限制未来。在 LLM 中，通常指允许模型在生成过程中利用特定的前缀提示（Prompt）来引导生成，或者像 ChatGLM 那样使用 Prefix Encoder 结构。

3. 涌现能力是啥原因？

涌现能力（Emergent Abilities）是指当模型规模（参数量、数据量、计算量）达到一定阈值后，突然表现出的小模型不具备的能力（如推理、复杂指令遵循）。原因尚不完全明确，主流观点认为：

规模效应：更大的模型容量能拟合更复杂的函数关系。
数据多样性：海量数据提供了足够的模式覆盖。
架构特性：Transformer 的注意力机制使得长距离依赖建模成为可能。

4. 大模型 LLM 的架构介绍？

主流 LLM 基于 Transformer Decoder-only 架构：

输入层：Token Embedding + Positional Encoding。
网络层：多层 Transformer Block，每层包含 Self-Attention 和 Feed-Forward Network (FFN)。
归一化：LayerNorm 或 RMSNorm。
输出层：线性投影到 Vocabulary 空间，Softmax 概率分布。
优化：通常结合 Flash Attention、RoPE 位置编码等技术提升效率。

二、大模型进阶面

1. Llama 输入句子长度理论上可以无限长吗？

理论上 Transformer 可以处理任意长度，但实际上受限于：

显存限制：Attention 矩阵大小为 $O(N^2)$，序列越长显存占用越高。
位置编码范围：预训练时的最大上下文窗口限制了外推能力。
计算资源：长序列推理时间显著增加。实际应用中需通过切片、滑动窗口或长上下文技术（如 RoPE 插值）扩展。

2. 什么是 LLMs 复读机问题？

指模型在生成长文本时，陷入循环重复相同的短语或句子的现象。这会导致输出质量下降，无法提供有效信息。

3. 为什么会出现 LLMs 复读机问题？

数据偏差：训练数据中存在大量重复模式。
训练目标：自监督学习倾向于预测高频词。
缺乏多样性：训练语料语境单一。
采样策略：贪婪搜索（Greedy Search）容易陷入局部最优。

4. 如何缓解 LLMs 复读机问题？

多样性训练：使用多样化语料。
引入噪声：采样时加入随机性（Temperature > 0）。
调整参数：提高 Temperature，降低 Top-P 阈值。
Beam Search 调整：控制 Beam Size。
后处理：检测并去除重复片段。

5. 什么情况用 Bert 模型，什么情况用 LLaMA、ChatGLM 类大模型，咋选？

Bert：适用于 NLU 任务（分类、抽取、相似度），需要理解上下文但不需要生成。参数量较小，推理快。
LLaMA/ChatGLM：适用于 NLG 任务（生成、对话、摘要）。ChatGLM 更适合中文对话，LLaMA 英文能力强。适合需要创造性输出的场景。
选择依据：任务类型（理解 vs 生成）、语言需求（中文 vs 英文）、资源限制（显存大小）。

6. 各个专业领域是否需要各自的大模型来服务？

通常需要。原因：

领域知识：医疗、法律等领域术语和逻辑特殊，通用模型难以精准掌握。
风格差异：不同行业文档格式和语言习惯不同。
数据安全：垂直领域模型可私有化部署，保障数据隐私。
性能优化：专用模型在特定任务上精度更高。

7. 如何让大模型处理更长的文本？

分块处理：将长文切分为片段，重叠处理保持上下文连贯。
层次建模：段落 -> 句子 -> Token 的多级处理。
注意力优化：使用稀疏注意力、线性注意力机制。
位置编码扩展：采用 NTK-aware RoPE 或 ALiBi 支持外推。
压缩技术：使用 KV Cache 压缩或 Prompt Compression。

三、大模型微调面

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？

全参数微调显存消耗 = 模型权重 + 梯度 + 优化器状态 + 激活值。

公式估算：FP16 权重占 2 字节/参数，Adam 优化器需 4 倍权重显存（动量 + 方差），梯度 2 字节。
经验值：7B 模型全量微调至少需要 48GB+ 显存（单卡 A100 80G 较稳妥），13B+ 模型通常需要多卡分布式训练。

2. 为什么 SFT 之后感觉 LLM 傻了？

灾难性遗忘：微调数据过于单一，覆盖了通用知识。
过拟合：在少量数据上过拟合，泛化能力下降。
数据质量差：指令格式混乱或答案错误。
学习率过大：破坏了预训练学到的通用表示。

3. SFT 指令微调数据如何构建？

格式：[Instruction, Input, Output] 三元组。
来源：Alpaca 数据集、Self-Instruct 生成、人工标注、开源社区整理。
清洗：去重、过滤低质样本、统一指令模板。
增强：数据增强（改写、翻译、混合）。

4. 领域模型 Continue PreTrain 数据选取？

相关性：优先选择与目标领域高度相关的公开语料（如医学论文、法律条文）。
质量：确保文本干净、无乱码、版权合规。
比例：通用语料与领域语料混合，避免完全遗忘通用能力。

5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？

混合训练：在领域数据中加入一定比例的通用数据（如 CommonCrawl）。
正则化：使用 EWC 或 LoRA 等参数高效方法减少权重扰动。
课程学习：先训通用数据，再训领域数据。

6. 领域模型 Continue PreTrain，如何让模型在预训练过程中就学习到更多的知识？

高质量语料：筛选高信息密度的文本。
多模态融合：结合图文数据增强理解。
持续学习：分阶段注入新知识，避免一次性覆盖。

7. 进行 SFT 操作的时候，基座模型选用 Chat 还是 Base？

Base 模型：适合需要从头构建指令遵循能力的场景，灵活性高。
Chat 模型：已具备对话能力，SFT 成本更低，收敛更快，适合直接优化对话风格。
建议：若已有 Chat 版基座且效果尚可，优先选 Chat；若需深度定制行为，可选 Base。

8. 领域模型微调指令&数据输入格式要求？

标准化：统一使用 User: ... \n Assistant: ... 或自定义模板。
完整性：Input 为空时可不填，Output 必须清晰准确。
边界符：使用 <|start|>, <|end|> 等标记区分角色。

9. 领域模型微调领域评测集构建？

测试集：独立于训练集的真实业务问题。
指标：准确率、BLEU、ROUGE、人工评分（相关性、安全性）。
难度分级：简单问答、复杂推理、多轮对话。

10. 领域模型词表扩增是不是有必要的？

必要性：若领域包含大量新术语（如生物化学分子式），标准词表 OOV 率高，需扩增。
代价：增加 Embedding 矩阵大小，影响推理速度。
建议：优先尝试子词合并（Subword），仅在必要且性能受损明显时扩增。

11. 如何训练自己的大模型？

准备数据：清洗、格式化、划分。
选择基座：下载开源权重（如 LLaMA、Qwen）。
配置环境：PyTorch, DeepSpeed, HuggingFace Transformers。
启动训练：全量或 PEFT 微调，监控 Loss。
评估部署：验证效果，量化导出。

12. 训练中文大模型有啥经验？

语料：重点收集高质量中文互联网文本、百科、书籍。
Tokenizer：使用针对中文优化的词表（如 SentencePiece 中文模式）。
位置编码：适配中文语序特点。
评测：侧重中文阅读理解、写作能力。

13. 指令微调的好处？

对齐人类意图：使模型更懂用户指令。
提升可控性：规范输出格式和内容方向。
减少幻觉：通过约束性指令降低胡编乱造。

14. 预训练和微调哪个阶段注入知识的？

预训练：注入通用世界知识和语言规律。
微调：注入特定任务逻辑和领域知识。

15. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？

少量数据：微调（SFT/PEFT）。
海量数据：继续预训练（Continue Pre-training）效果更好，但成本高。
建议：通常先微调，若效果不足再考虑继续预训练。

16. 多轮对话任务如何微调模型？

数据构造：将历史对话作为 Input，当前回复作为 Output。
模板：保留对话历史标记（History）。
记忆机制：确保模型能记住上下文关键信息。

17. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？

原因：权重更新幅度过大，覆盖了预训练特征。
解决：降低学习率，使用 LoRA，混合通用数据。

18. 微调模型需要多大显存？

全量：参考第 1 点，7B 约 48GB+。
LoRA：7B 模型约 16GB-24GB（取决于 Batch Size）。
QLoRA：4-bit 量化，7B 模型约 10GB-16GB。

19. 大模型 LLM 进行 SFT 操作的时候在学习什么？

指令遵循：学习如何将自然语言转化为正确响应。
格式规范：学习输出结构（如 JSON、列表）。
领域知识：学习特定领域的回答逻辑。

20. 预训练和 SFT 操作有什么不同？

目标：预训练预测下一词（无监督），SFT 匹配指令 - 回答对（有监督）。
数据：预训练海量文本，SFT 精选指令集。
损失函数：预训练 CrossEntropy，SFT 同样但关注指令对齐。

21. 样本量规模增大，训练出现 OOM 错

原因：Batch Size 过大或序列过长导致显存溢出。
解决：梯度累积（Gradient Accumulation）、减小 Batch Size、使用 ZeRO 优化。

22. 大模型 LLM 进行 SFT 如何对样本进行优化？

去重：移除重复指令。
清洗：剔除低质、错误答案。
平衡：调整不同类别样本比例。
增强：同义改写增加多样性。

23. 模型参数迭代实验

A/B Test：对比不同超参数下的效果。
消融实验：验证各组件（如 LoRA rank）贡献。
监控：记录 Loss 曲线、验证集指标。

四、大模型 LangChain 面

1. 基于 LLM+ 向量库的文档对话基础面

流程：文档加载 -> 切分 -> Embedding -> 存入向量库 -> 检索相似片段 -> 组装 Prompt -> 生成回答。
核心：Retrieval Augmented Generation (RAG)。

2. 基于 LLM+ 向量库的文档对话优化面

重排序（Rerank）：对检索结果二次打分，提升相关性。
混合检索：结合关键词搜索（BM25）与向量搜索。
查询重写：将用户问题改写为更适合检索的形式。

3. 基于 LLM+ 向量库的文档对话工程示例面

框架：LangChain + Chroma/Milvus + OpenAI/本地模型。
代码：定义 Loader, Splitter, VectorStore, Retriever, Chain。

4. 痛点 1：文档切分粒度不好把控

方案：按语义切分（RecursiveCharacterTextSplitter），设置合适的 Chunk Size 和 Overlap。

5. 痛点 2：在基于垂直领域表现不佳

方案：使用领域专用的 Embedding 模型，优化索引结构。

6. 痛点 3：LangChain 内置问答分句效果不佳

方案：自定义 Prompt 模板，引入 Few-Shot 示例。

7. 痛点 4：如何尽可能召回与 query 相关的 Document

方案：多路召回，增加 Top-K，使用 Query Expansion。

8. 痛点 5：如何让 LLM 基于 query 和 context 得到高质量的 response

方案：优化 System Prompt，要求引用原文，禁止幻觉。

9. 什么是 LangChain？

定义：用于构建 LLM 应用的开源框架，提供组件化工具链。

10. LangChain 包含哪些核心概念？

Models, Prompts, Memory, Chains, Agents, Tools, Indexes。

11. 什么是 LangChain Agent？

定义：能够自主决定调用工具（Tools）来完成任务的智能体。

12. LangChain 存在哪些问题及方法方案？

问题：令牌使用低效、概念混淆、行为不一致。
方案：优化 Prompt 模板，简化架构，使用替代方案（如 LlamaIndex）。

13. LangChain 替代方案？

LlamaIndex：专注于数据索引和检索。
Haystack：企业级 RAG 框架。
Semantic Kernel：微软出品。

五、大模型参数高效微调 (PEFT) 面

1. LoRA 篇

原理：冻结预训练权重，训练低秩分解矩阵（A, B）加在原权重旁路。
优点：显存占用少，训练快，不改变原模型结构。
适用：大多数下游任务。

2. QLoRA 篇

原理：在 LoRA 基础上引入 4-bit 量化（NF4），进一步降低显存。
特点：几乎无损精度，可在消费级显卡上微调大模型。

3. AdaLoRA 篇

思路：动态分配秩，重要参数给高秩，节省资源。

4. LoRA 权重是否可以合入原模型？

可以：训练完成后，将 LoRA 权重叠加回基座模型，生成完整权重文件。

5. LoRA 微调优点是什么？

资源节约：显存需求降低 75% 以上。
快速部署：无需重新训练全量参数。
模块化：不同任务可切换不同 LoRA 适配器。

6. 为什么需要 PEFT？

成本：全量微调成本过高，PEFT 降低门槛。
存储：保存多个 Adapter 比保存多个全量模型更省空间。

7. 介绍一下 PEFT？

定义：Parameter-Efficient Fine-Tuning，仅更新少量参数。
方法：LoRA, P-Tuning, Adapter, Prefix-tuning。

8. Peft 和全量微调区别？

全量：更新所有权重，效果好但贵。
PEFT：只更新小部分，性价比高，适合资源受限场景。

9. 多种不同的高效微调方法对比

LoRA：最流行，稳定。
P-Tuning：连续提示，适合小模型。
Adapter：插入额外模块，兼容性好。

10. 能不能总结一下各种参数高效微调方法？

总结：根据显存预算选择。80G 显存可用全量，24G 以下推荐 QLoRA/LoRA。

六、大模型推理面

1. 为什么大模型推理时显存涨的那么多还一直占着？

KV Cache：为了加速自回归生成，缓存历史 Key/Value 矩阵，随序列增长线性增加。
优化：使用 vLLM 等框架管理内存，及时释放。

2. 大模型在 gpu 和 cpu 上推理速度如何？

GPU：速度快，适合实时交互。
CPU：速度慢，延迟高，适合离线批处理。

3. 推理速度上，int8 和 fp16 比起来怎么样？

int8：精度略降，速度显著提升，显存减半。
fp16：精度高，速度适中。

4. 大模型有推理能力吗？

定义：指模型进行逻辑推导、数学计算等能力。
现状：大模型擅长模式匹配，复杂推理仍需辅助（如 CoT）。

5. 大模型生成时的参数怎么设置？

Temperature：控制随机性（0.7 左右）。
Top-P：核采样阈值（0.9）。
Max Tokens：限制最大长度。

6. 有哪些省内存的大语言模型训练/微调/推理方法？

量化：INT8, INT4, FP8。
卸载：CPU Offload。
并行：Tensor Parallelism, Pipeline Parallelism。

7. 如何让大模型输出合规化

System Prompt：设定安全准则。
过滤层：后处理敏感词。
RLHF：通过奖励模型对齐价值观。

七、大模型评测面

1. 大模型怎么评测？

基准测试：MMLU, GSM8K, HumanEval。
人工评估：专家打分一致性、有用性。
自动化：BLEU, ROUGE, Perplexity。

2. 大模型的 honest 原则是如何实现的？

训练：在 RLHF 阶段加入诚实性奖励。
提示：要求模型承认不知道的内容。

3. 模型如何判断回答的知识是训练过的已知的知识？

置信度：通过概率分布判断不确定性。
外部检索：结合 RAG 确认信息来源。

八、大模型强化学习面

1. 奖励模型需要和基础模型一致吗？

建议：通常使用相同架构和初始化，便于对齐。

2. RLHF 在实践过程中存在哪些不足？

成本高：需要人工标注偏好数据。
不稳定：PPO 训练容易崩溃。
维度灾难：奖励模型可能过拟合。

3. 如何解决人工产生的偏好数据集成本较高，很难量产问题？

合成数据：使用大模型生成偏好对。
自动标注：利用规则或强模型辅助。

4. 如何解决三个阶段的训练过程较长，更新迭代较慢问题？

并行化：多卡训练 RM 和 PPO。
简化流程：直接使用 DPO（Direct Preference Optimization）替代 PPO。

5. 如何解决 PPO 的训练过程同时存在 4 个模型对计算资源的要求较高问题？

共享权重：Actor/Critic 共享部分参数。
梯度检查点：减少激活值显存占用。

九、大模型软硬件配置面

1. 训练集面

SFT 格式：JSONL，包含 instruction/input/output。
RM 格式：Pairwise，包含 chosen/rejected。
PPO 格式：Query + Response + Reward。

2. 找数据集哪里找？

HuggingFace Datasets。
GitHub 开源项目。
官方社区。

3. 微调需要多少条数据？

LoRA：几百到几千条即可见效。
全量：通常需要数万条以上。

十、大模型内部原理篇

1. Tokenizer 篇

BPE：Byte-Pair Encoding，合并高频子词。
WordPiece：Google 提出，基于概率合并。
SentencePiece：无空格依赖，支持 Unicode。
对比：BPE 效率高，WordPiece 鲁棒性强，SentencePiece 跨语言好。

2. Layer Normalization 篇

LN：LayerNorm，对每个样本单独归一化。
RMS Norm：均方根归一化，去掉均值，速度更快（LLaMA 使用）。
Deep Norm：深层网络归一化，帮助训练更深模型。
区别：RMS Norm 计算量更小，Deep Norm 稳定性更好。

3. 激活函数篇

GeLU：高斯误差线性单元，平滑非线性。
Swish：门控激活函数。
GLU：Gated Linear Unit，增加表达能力。
趋势：现代模型多用 SwiGLU 或 GeLU。

4. 位置编码篇

RoPE：旋转位置编码，支持外推，相对位置感知。
ALiBi：Attention with Linear Biases，无需位置嵌入，线性偏置。
绝对位置编码：传统 Learnable Embedding。
应用：LLaMA 用 RoPE，Falcon 用 ALiBi。

5. 长度外推问题篇

问题：训练时最大长度外的序列效果差。
解决：NTK-aware Scaling, YaRN, ALiBi。

6. 显存问题面

优化：Flash Attention, Gradient Checkpointing, Quantization。

7. 分布式训练面

策略：Data Parallel, Tensor Parallel, Pipeline Parallel。
框架：DeepSpeed, Megatron-LM。

8. Agent 面

注入知识：通过 RAG 或知识库挂载。
快速体验：使用 API 或云端 Notebook。

注：本文档整理自行业面试常见考点，旨在提供技术参考。具体实施请结合最新官方文档。