国内大模型公司面试经验总结与技术要点分析

一共两面，一面记得是 leetcode+ 写 MHA，感觉面得不错。二面好像答得不太好，具体问的啥忘掉了。。。后来没消息了，被拒。

16. 百川智能

猎头推的，安排了面试，第一面过了之后，后面二面我记错了时间，晚了很久（在外边开车）。然后被 HR 拒掉了，不过理由说的是要 3 年以上经验的，不知道是不是给我点面子。

17. 百度文心

这边面了好多轮。一面是数据组的人，问了很多关于大模型数据处理的内容，感觉答得一般，表达了想去模型组，然后面试官应该是和 HR 交流了，第二组开始就是模型组的人来面试。有没有 leetcode 不记得了，面试内容也比较中规中矩，transformer，大模型训练这种内容。后边和 leader 还有 HR 聊得也比较通畅。和初创不一样他家组分得挺细的，模型，框架，数据啥的都是分开的。（包裹底薪 * 万多，几个月忘了）

18. 科大讯飞

HR 先聊的，觉得我不可能来合肥就拒了。

19. IDEA 研究院

这家确实啥也不记得了，记得的就是一面就被拒了，很尴尬。

20. 好未来

他家感觉团队整体背景在众多公司中相对一般，一面问了一个简单的 leetcode 没答上来很尴尬，模型轮可能比较好最后还是给 offer 了。问题也比较中规中矩，包裹没聊。做的项目是数学相关的 GPT 模型，个人也不是很了解这个方向。

21. 零一万物

一面是之前阿里的推荐系统那边的大佬，问了 leetcode 和一些推荐系统的问题，感觉答得还可以。二面也是个大佬有搜广推，NLP 相关很多经验，考了个需要动点脑子的 leetcode，没答上来，挂了。没有走到很靠后，好奇他家后边面试会不会有大模型的大佬来面。

22. 月之暗面（moonshot）

这家感觉面试问的广度和深度是国内厂面的里边最相关也最专业的。一面是个大佬，之前 Kaiming 大神一些高引论文的共同作者。一开始问了包括一些基础的大模型训练的内容，transformer 架构。然后开始问一些框架端的内容，分布式训练的切割和 device 之间交流，后面 follow-up 的问题问了不同 device 之间 communication 怎么做，底层 communication 算法有啥，我答案里有 ring-reduce，然后再深入问了 reduce 底层如何实现，我就不会了。问了会不会用 cuda 写东西，我说了解很浅。最后给了比较难的 leetcode，题目不记得了，没写出来，挂。看了下他家主页，感觉创始人和员工都很牛。这家虽然只有一面感觉在国内应该是背景很 top 的一家了。很可惜没有机会多聊一些。

23. 阿里达摩院（新达摩）

一面考了 leetcode，浅问了大模型技术。第二面是团队大老板，海归，之前在北美连续创业成功，汇报行癫。聊了很多高层的对于大模型技术上的愿景和理解，大模型未来市场方向之类的，我其实听不特别懂，不过学到了很多。他家是纯研究方向，算力听意思挺 nb 的。主要做大语言模型和多模态大模型这两方面的。最后说我一面 leetcode 不太行，补了一面 coding，然后收到了 offer。

24. 边塞科技

这家专门做 RLHF，微调的。清华背景，创始人有 openai 的经验。聊了两面感觉在 RLHF 上积累特别多，学到了很多东西。楼主 RL 是个票友级别就无了。

面试感悟总结

这段时间面试了很多家，也学到了超级多东西。楼主这边背景是做基座预训练算法端为主的，对框架端和 RL 的内容有一定了解（面试能凑合），对于后端的知识比如 ML compiler，kernel，cuda 相关的了解就比较浅了（问到觉大概率挂）。硬件几乎不太懂。感觉一圈聊下来几点感悟:

1. 大模型这方向真的卷：面试时好多新模型，新 paper 疯狂出，东西出的比我读的快。
2. Research 岗位对工程也有要求：工程端也需要了解模型。
3. 硬核岗位要求全面：感觉比较硬核的岗位，尤其初创公司都是对好几个点都有要求的（应用，模型，框架，底层后端，硬件）。
4. 技能树发展：楼主目前是：模型 > 框架 > 底层 > 其他。下一步想不放下模型的前提下，发展底层这边的能力（kernel 等）。
5. RLHF 很有前景：强化学习如果经历够的话也要深挖一下。
6. 薪资水平：大模型包总体给的相对高一些（同 P)。
7. 研究方向：目前大多数公司还是集中在语言模型，偏研究的方向会有多模态的预训练这意思。

高频考点详解

一些比较高频的东西（针对基座算法/框架岗位为主，大体按重要性排序）：

1. 多头注意力机制 (MHA)

• 频率：太高了。coding 轮，概念轮都考。
• 复习点：
  • 时间/空间复杂度分析。
  • 优化方案：KV Cache, MQA (Multi-Query Attention), GQA (Grouped-Query Attention)。
  • 手写多头代码：注意 Q, K, V 的维度变换，Mask 的处理。
  • 理解为什么管用：并行计算能力，捕捉不同子空间特征。

2. 归一化层 (Norm)

• 频率：不低，不过比较标准的内容。
• 复习点：
  • LayerNorm vs RMSNorm。
  • 位置：Pre-Norm 还是 Post-Norm？为什么 Transformer 常用 Pre-Norm？
  • 有的考手写，有的考概念和理解（为什么管用，梯度消失问题）。

3. 框架相关内容

• 重点：各种并行方式，优缺点。
• 工具：DeepSpeed, Megatron-LM。
• 建议：可以看看源代码，理解 ZeRO 优化策略，Flash-Attention 原理。
• 考察：这个点也经常考代码题或系统设计题。

4. 主流大模型架构

• 模型：BERT, GPT 系列等。
• 细节：
  • 位置编码（Positional Encoding）：绝对位置 vs 相对位置，RoPE 等。
  • 训练 Loss：Cross Entropy 的具体形式。
  • 激活函数：GELU, SwiGLU 等。
  • 架构些许不同：Decoder-only vs Encoder-Decoder。
  • 自回归重点：Next Token Prediction 机制。

5. 大模型训练

• 来源：主要是工作经验相关。
• 常见问题：
  • 训练 Loss 炸掉了，如何解决？（学习率调整，Gradient Clipping，混合精度稳定性）。
  • 一些技巧：Warmup, Scheduler, Gradient Accumulation。
• 目的：面试时有些面试官会问一些很细节的东西，感觉是在确认确实上手跑过基座训练不是吹水。

6. 数据预处理

• 概念：BPE (Byte Pair Encoding), tokenization, mask 相关概念。
• 影响：对模型/训练的影响，数据配比（有 paper 支持）。
• 清洗：去重，过滤低质量数据的重要性。

7. Evaluation (评估)

• 内容：如何评估大模型，安全性，有效性，公开数据。
• 实战：个别考过手写 eval 框架（多选，生成）。
• 指标：Perplexity, Accuracy, F1, BLEU, ROUGE 等。

8. 其他方向

• 根据投的岗位，多模态和 RLHF 内容可以适当看看。这俩感觉 paper 挺重要的，也大多研究岗位。
• 自动驾驶，RL 相关也可以关注，但结果不咋地说明基础不够扎实。

如何学习大模型 AI？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：'最先掌握 AI 的人，将会比较晚掌握 AI 的人有竞争优势'。 这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

学习路径建议

1. 第一阶段：基础夯实

   • 从大模型系统设计入手，讲解大模型的主要方法。
   • 复习深度学习基础：反向传播，优化器，正则化。
   • 熟悉 Python 编程及 PyTorch 框架。

2. 第二阶段：提示词工程

   • 在通过大模型提示词工程从 Prompts 角度入手更好发挥模型的作用。
   • 学习 Few-shot, Zero-shot, Chain-of-Thought 等技巧。

3. 第三阶段：平台应用开发

   • 借助云平台构建电商领域虚拟试衣系统等实际案例。
   • 理解 API 调用，Token 管理，上下文窗口限制处理。

4. 第四阶段：知识库应用开发

   • 以 LangChain 框架为例，构建物流行业咨询智能问答系统。
   • 掌握 RAG (Retrieval-Augmented Generation) 技术，向量数据库使用。

5. 第五阶段：微调开发

   • 借助大健康、新零售、新媒体领域构建适合当前领域大模型。
   • 学习 LoRA, P-Tuning 等高效微调技术。

6. 第六阶段：多模态与部署

   • 以 SD 多模态大模型为主，搭建文生图小程序案例。
   • 学习模型量化，推理加速（vLLM, TensorRT-LLM）。

7. 第七阶段：行业应用落地

   • 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
   • 关注垂直领域的合规性与数据安全。

学会后的收获

• 全栈工程实现：基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力。
• 解决实际需求：能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。
• 理论结合实践：基于大模型和企业数据 AI 应用开发，实现大模型理论、掌握 GPU 算力、硬件、LangChain 开发框架和项目实战技能，学会 Fine-tuning 垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握。
• 提升编码能力：能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练的编写高质量的代码。

推荐资源方向

• AI 大模型学习路线图
• AI 大模型商业化落地方案
• 大模型视频教程
• 大模型 PDF 书籍
• LLM 面试题合集
• AI 产品经理资源合集

底层牛的小伙伴求留言给一些学习资料，编译器，cuda 之类的，想有时间学起来。