超全总结！大模型算法岗面试真题来了！收藏起来吊打面试官
↓推荐关注↓
大家好，从 2019 年的谷歌 T5 到 OpenAI GPT 系列，参数量爆炸的模型不断涌现，尤其2022年11月底对话大模型 ChatGPT 的出现更是引起了社会各界的广泛关注。
近些年，在大规模语料库上预训练 Transformer 模型产生了预训练语言模型（PLMs），并在解决各类 NLP 任务上展现出了强大的能力。
当参数规模超过一定水平时，语言模型实现了显著的性能提升，并展现出小模型中不存在的能力，比如上下文学习。为了区别于 PLM，这类模型被称为大型语言模型（LLMs）。
为了让大家更容易上车大模型，结合一些小伙伴参加大模型面试的真题分享和自己实战经验，我对大模型常考的面试题归纳为：大模型基础，大模型参数微调、训练、推理，大模型应用框架，大模型分布式训练，其他技术等内容。
喜欢本文，喜欢记得收藏、关注、点赞，喜欢技术交流，文末加入我们
大模型基础
你比较关注那些主流的开源大模型？
目前大模型模型结构都有那些？
prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点？
模型幻觉是什么？业内解决方案是什么？
大模型的 Tokenizer 的实现方法及原理？
ChatGLM3 的词表实现方法？
GPT3、LLAMA、Chatglm 的Layer Normalization 的区别是什么？各自的优缺点是什么？
大模型常用的激活函数有那些？
Multi-query Attention 与 Grouped-query Attention 是否了解？区别是什么？
多模态大模型是否有接触？落地案例？
大模型参数微调、训练、推理
为什么需要进行参选微调？参数微调的有点有那些？
模型参数微调的方式有那些？你最常用那些方法？
prompt tuning 和 prefix tuning 在微调上的区别是什么？
LLaMA-adapter 如何实现稳定训练？
LoRA 原理与使用技巧有那些？
LoRA 微调优点是什么？
AdaLoRA 的思路是怎么样的？
LoRA 权重合入chatglm模型的方法？
P-tuning 讲一下？与 P-tuning v2 区别在哪里？优点与缺点？
为什么SFT之后感觉LLM傻了?
垂直领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
进行SFT操作的时候，基座模型选用Chat还是Base?
领域模型词表扩增是不是有必要的？
训练中文大模型的经验和方法
模型微调用的什么模型？模型参数是多少？微调模型需要多大显存？
预训练和SFT操作有什么不同？
训练一个通用大模型的流程有那些
DDO 与 DPO 的区别是什么？
是否接触过 embeding 模型的微调方法
有哪些省内存的大语言模型训练/微调/推理方法？
大模型（LLMs）评测有那些方法？如何衡量大模型的效果？
如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？
模型训练的数据集问题：一般数据集哪里找？
为什么需要进行模型量化及原理？
大模型词表扩充的方法及工具？
大模型应用框架
什么是 LangChain?
什么是 LangChain Agent?
什么是 LangChain model?
除了 LangChain，是否了解其他框架？
是否有基于LangChain 搭建大模型应用的经验，请详细说明？
搭建大模型应用遇到过那些问题？如何解决的？
如何提升大模型的检索效果
是否了解上下文压缩方法？
如何实现窗口上下文检索？
开源的 RAG 框架有哪些，你比较了解？
大模型应用框架 LangChain 和 LlamaIndex 各种的优势有那些？
你使用的向量库有那些？各自有点与区别？
使用外部知识数据库时需要对文档进行分块，如何科学的设置文档块的大小？
LLMs 受到上下文长度的限制，如果检索到的文档带有太多噪声，该如何解决这样的问题？
RAG（检索增强生成）对于大模型来说，有什么好处？
大模型分布式训练
大模型进行训练，你用的是什么框架？
业内常用的分布式AI框架，你什么了解？
数据并行、张量并行、流水线并行的原理及区别？
推理优化技术 Flash Attention 的作用是什么？
推理优化技术 Paged Attention 的作用是什么？
CPU-offload，ZeRO-offload 了解?
ZeRO，零冗余优化器 的三个阶段？
混合精度训练的优点是什么？可能带来什么问题？
Megatron-DeepSpeed 方法？
Megatron-LM 方法
其他技术
你GPU服务器用的那些？
是否使用过国产GPU服务器？
是否部署过Docker 和 k8s ?
Linux 常见命令大全
Docker 常用命令大全
Kubernetes 常用命令大全
平时使用的开发语言是什么？
（完）
在这里你可以了解最前沿AI技术资讯、Paper、大模型(LLM)，算法竞赛、实战项目、获取AI算法的校招/社招准备攻略、面试题库、面试经验分享、Offer选择、内推机会、学习路线、求职答疑和海量学习资料等内容。
同时，你也可以与来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
