编程语言AI算法
大模型算法岗面试真题超全总结
本文总结了大模型算法岗位的核心面试真题，涵盖基础理论、参数微调与训练、应用框架、分布式训练及其他技术细节。内容包括主流开源模型介绍、Transformer 架构差异、Tokenizers 原理、LoRA 等微调技术详解、LangChain 与 RAG 框架应用、以及分布式训练策略如 ZeRO 和 Flash Attention。文章旨在帮助求职者系统梳理知识点，掌握从模型选型到工程落地的全流程技能。
本文总结了大模型算法岗位的核心面试真题，涵盖基础理论、参数微调与训练、应用框架、分布式训练及其他技术细节。内容包括主流开源模型介绍、Transformer 架构差异、Tokenizers 原理、LoRA 等微调技术详解、LangChain 与 RAG 框架应用、以及分布式训练策略如 ZeRO 和 Flash Attention。文章旨在帮助求职者系统梳理知识点，掌握从模型选型到工程落地的全流程技能。
从 2019 年的谷歌 T5 到 OpenAI GPT 系列，参数量爆炸的模型不断涌现。尤其是 2022 年 11 月对话大模型 ChatGPT 的出现，引起了社会各界的广泛关注。
近些年，在大规模语料库上预训练 Transformer 模型产生了预训练语言模型（PLMs），并在解决各类 NLP 任务上展现出了强大的能力。当参数规模超过一定水平时，语言模型实现了显著的性能提升，并展现出小模型中不存在的能力，比如上下文学习。为了区别于 PLM，这类模型被称为大型语言模型（LLMs）。
本文结合大模型面试的真题分享和实战经验，将大模型常考的面试题归纳为：大模型基础、大模型参数微调/训练/推理、大模型应用框架、大模型分布式训练及其他技术等内容。
目前主流开源模型包括 LLaMA 系列（Llama, Llama2, Llama3）、ChatGLM 系列（ChatGLM2, ChatGLM3）、Qwen（通义千问）、Baichuan（百川）、Falcon 等。选择模型时通常考虑许可证、性能、多语言能力以及社区活跃度。
主要结构包括 Encoder-only（如 BERT）、Decoder-only（如 GPT 系列）、Encoder-Decoder（如 T5、BART）。此外还有混合架构（如 Switch Transformer）和多模态架构（如 CLIP、Flamingo）。
模型幻觉指模型生成的内容与事实不符或凭空捏造。解决方案包括：增加高质量数据训练、引入检索增强生成（RAG）、使用知识图谱约束、优化损失函数（如 RLHF）以及后处理校验。
常见方法有 WordPiece（BERT）、Byte-Pair Encoding（GPT）、Unigram（SentencePiece）。原理是将文本分割为子词单元，通过统计频率合并高频字符对，平衡词汇表大小与压缩率，有效处理未登录词。
ChatGLM3 基于 SentencePiece 进行分词，采用了特殊的 tokenizer 设计以支持中文和英文的高效编码，同时优化了特殊 token 的处理逻辑。
主要包括 ReLU、SwiGLU（Swish + GLU）、GeLU。SwiGLU 在 LLaMA 等模型中被广泛采用，相比 ReLU 能更好地捕捉非线性特征且梯度更平滑。
多模态模型如 CLIP、BLIP、Flamingo 可处理图文。落地案例包括智能客服（图文识别）、医疗影像分析、电商商品搜索（以图搜图）等。
通用大模型缺乏特定领域知识。微调（Fine-tuning）能让模型适应垂直场景。优点包括：成本低（相比从头训练）、效果好、可定制性强。
方式包括全量微调、LoRA、P-Tuning、Prompt Tuning。最常用的是 LoRA，因其显存占用低且效果接近全量微调。
LLaMA-Adapter 通过在 Transformer 层插入可学习的 adapter 模块，保持原始权重不变。它使用了残差连接和特定的初始化策略来确保训练稳定性，避免灾难性遗忘。
原理: 冻结预训练权重，旁路训练低秩分解矩阵（A 和 B），更新权重 W' = W + BA。技巧: 设置合适的 rank（如 8, 16, 64），选择正确的 target modules（如 q_proj, v_proj），配合适当的 learning rate。
显存占用极低，训练速度快，易于部署，支持多任务切换（只需加载不同 LoRA 权重），几乎不降低模型性能。
AdaLoRA 动态调整低秩矩阵的秩，根据重要性分配预算给不同的权重矩阵，比固定秩的 LoRA 更高效，能在更少参数下达到更好效果。
使用 merge_lora_weights 接口，将 LoRA 适配器权重叠加到基座模型权重上，保存为完整 checkpoint，以便直接推理而无需加载适配器。
P-tuning: 在输入层加入连续 prompt 向量，冻结模型。P-tuning v2: 将 prompt 扩展到所有层，并使用 MLP 投影，表达能力更强。v2 效果更好但显存占用稍高。
通常是因为监督微调（SFT）数据质量差、分布偏移过大或过拟合。缓解方法包括混合通用数据与领域数据、控制学习率、使用正则化。
采用混合训练策略，在领域数据中加入一定比例的通用数据（如 Common Crawl 片段），或使用回放机制（Replay Buffer）。
取决于任务。若需对话能力，选 Chat 版；若需指令遵循或特定格式输出，Base 版配合高质量指令数据微调更灵活。
视情况而定。若领域包含大量专业术语且现有词表无法有效编码，则有必要。否则可能导致稀疏性问题，一般优先使用子词扩展而非扩充词表。
中文大模型需注意分词优化、文化语境对齐、以及清洗高质量中文语料（如百科、新闻、书籍）。建议采用混合精度训练加速。
常用基座如 LLaMA-7B/13B/70B。显存需求取决于 Batch Size 和序列长度。例如 7B 模型全量微调需约 80GB+ 显存，LoRA 微调 7B 模型单卡 24GB 即可。
预训练是无监督学习海量数据，学习语言规律；SFT 是有监督学习指令数据，学习任务遵循。预训练是基础，SFT 是适配。
数据收集与清洗 -> 预处理（分词）-> 预训练 -> 评估 -> 指令微调（SFT）-> 人类反馈强化学习（RLHF/DPO）-> 部署。
DPO（Direct Preference Optimization）直接优化偏好数据，无需单独训练奖励模型（RM），简化流程。DDO 并非标准术语，可能指代 Direct Distillation Optimization 或其他变体，通常对比的是 PPO 与 DPO。
是的，常用方法包括对比学习（Contrastive Learning），使用三元组 Loss 拉近正样本对距离，推远负样本对距离。
量化（INT8/INT4）、FlashAttention、ZeRO 优化、KV Cache 优化、LoRA 微调、Offloading（CPU/GPU 卸载）。
方法包括自动评测（BLEU, ROUGE, Perplexity）和人工评测（Human Eval）。常用基准测试集如 MMLU, GSM8K, C-Eval。指标包括准确率、流畅度、安全性。
尝试 DPO 替代 PPO 阶段，减少训练步骤；使用更高效的数据采样策略；并行化训练流程；优化超参数以减少收敛时间。
公开数据集如 Hugging Face Datasets, Common Crawl, GitHub Code, Wikipedia。也可自行爬取或购买商业数据。
量化旨在减少模型存储和计算开销。原理是将浮点权重转换为低精度整数（如 FP16->INT8），在保持精度的前提下降低显存带宽压力。
工具如 SentencePiece, BPE。方法包括基于频率合并、领域术语注入。需谨慎评估对 OOV 率和训练稳定性的影响。
LangChain 是一个用于构建大模型应用的开源框架，提供链式调用、记忆管理、Agent 编排等功能，简化 RAG 和应用开发流程。
Agent 是能够自主规划、调用工具（如搜索、计算器）来完成复杂任务的组件。它根据用户意图决定调用哪个工具及顺序。
指 LangChain 封装的模型接口，统一了不同后端（OpenAI, Local LLM, HuggingFace）的调用方式，便于切换。
了解 LlamaIndex（侧重 RAG 和数据索引）、Haystack、Semantic Kernel（微软）、DSPy（声明式编程）。
曾搭建过企业知识库问答系统。流程：文档切片 -> 向量化存入 VectorDB -> LangChain 检索 -> 提示词组装 -> 模型生成 -> 结果展示。
问题：延迟高、幻觉严重。解决：引入缓存机制、优化 Prompt、增加 RAG 检索相关性过滤、使用 Few-Shot 示例。
优化文档分块策略（Chunking），使用混合检索（关键词 + 向量），重排序（Rerank）模型，优化 Query 改写。
了解，如 MapReduce 摘要、滑动窗口、关键信息提取。目的是在长上下文中保留核心语义，减少噪声。
维护一个滑动窗口队列，新内容进入时移除旧内容，或基于时间戳/访问频率淘汰过期上下文。
LangChain, LlamaIndex, Haystack, DSPy。
LangChain 生态丰富，通用性强；LlamaIndex 在数据处理和 RAG 管道构建上更专注，对复杂数据源支持更好。
Elasticsearch（全文检索强）、Milvus（高性能向量检索）、Chroma（轻量级本地）、Faiss（Facebook 开源，底层高效）。区别在于扩展性、查询速度和易用性。
依据语义完整性设置，通常 500-1000 tokens。过小导致信息碎片化，过大导致检索噪声。可通过实验调整。
使用 Rerank 模型对检索结果排序，只取 Top-K；优化 Prompt 指示模型忽略无关信息；改进检索策略提高召回精准度。
减少幻觉，提供实时知识，增强可解释性，降低训练成本（无需重新训练模型即可更新知识）。
DeepSpeed, Megatron-LM, PyTorch FSDP。
Horovod, DeepSpeed, Ray Train, PyTorch Distributed Data Parallel (DDP)。
通过减少 HBM 读写次数，优化 Attention 计算内核，显著提升训练和推理速度，降低显存占用。
借鉴操作系统分页机制管理 KV Cache，消除内存碎片，支持更大的 Batch Size 和序列长度，提升吞吐量。
ZeRO-offload 将优化器状态和部分梯度卸载到 CPU，节省 GPU 显存，使更大模型可在有限显存下训练。
Stage 1: 优化器状态分片；Stage 2: 优化器状态 + 梯度分片；Stage 3: 优化器状态 + 梯度 + 参数分片。Stage 3 显存节省最多。
优点：速度快，显存占用减半。问题：数值溢出、精度损失。需使用 Loss Scaling 缓解。
结合 Megatron-LM 的张量/流水线并行与 DeepSpeed 的 ZeRO 优化，实现超大规模模型的高效分布式训练。
由 NVIDIA 提出，专注于大规模 Transformer 训练的并行策略，支持高效的张量并行和流水线并行配置。
常用 NVIDIA A100, V100, RTX 4090 等。国产芯片如华为 Ascend 910 也在逐步普及。
部分项目尝试过昇腾（Ascend）集群，需适配 CANN 软件栈，生态正在完善中。
是。Docker 用于环境隔离，Kubernetes 用于容器编排和弹性伸缩。
ls, cd, grep, awk, sed, top, ps, chmod, ssh, tar 等。
docker run, docker build, docker-compose up, docker exec, docker logs 等。
kubectl get pods, kubectl apply, kubectl delete, kubectl describe 等。
Python 为主，辅以 Shell 脚本和少量 C++（用于算子优化）。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online