国内大模型公司面试经验与考点总结

11. 潞晨科技（Colossal-AI）

• 结果：拒绝
• 过程：一面侧重框架底层（模型切分、Flash-Attention），二面侧重应用端。表达想做算法基座后，发现 HC 有限且偏应用。
• 评价：框架领域口碑较好，但岗位匹配度需注意。

12. 蚂蚁集团

• 结果：Offer
• 过程：徐鹏老师团队。二面由徐鹏老师主面，强调 Research 与 Engineering 不分家，需兼顾模型研究与工程落地。
• 评价：价值观契合，签字费及首年总包有竞争力。

13. 腾讯

• 结果：简历筛选未通过
• 备注：猎头反馈要求 PhD 学历。

14. 小红书

• 结果：简历筛选未通过
• 备注：猎头反馈要求 PhD 学历。

15. 商汤科技

• 结果：拒绝
• 过程：一面 LeetCode+ 手写 MHA，表现尚可。二面遗忘具体细节，感觉发挥不佳。

16. 百川智能

• 结果：拒绝
• 过程：一面通过，二面因迟到被取消，HR 反馈称需要 3 年以上经验。

17. 百度文心

• 结果：Offer
• 过程：多轮面试。数据组转模型组。考察 Transformer、大模型训练细节，分组细致（模型、框架、数据独立）。
• 评价：流程规范，底薪结构清晰。

18. 科大讯飞

• 结果：拒绝
• 原因：HR 沟通地点偏好问题（合肥）。

19. IDEA 研究院

• 结果：拒绝
• 过程：一面即被拒。

20. 好未来

• 结果：Offer
• 过程：一面简单 LeetCode 未答出，模型轮表现尚可。项目涉及数学 GPT 模型。

21. 零一万物

• 结果：拒绝
• 过程：一面推荐系统问题，二面复杂 LeetCode 未解出。未进入核心大模型面试环节。

22. 月之暗面（Moonshot）

• 结果：拒绝
• 过程：面试深度与广度极高。涉及 Transformer 架构、分布式训练通信（Ring-Reduce）、CUDA 编程及高难度 LeetCode。
• 评价：团队背景顶尖，技术考察专业，可惜未能通过。

23. 阿里达摩院（新达摩）

• 结果：Offer
• 过程：一面 LeetCode+ 大模型技术。二面团队负责人聊愿景。补考 Coding 后收到 Offer。
• 评价：纯研究方向，算力资源强，聚焦大语言模型与多模态。

24. 边塞科技

• 结果：拒绝
• 过程：专注 RLHF 微调，清华背景。RL 经验不足导致未通过。

二、面试感悟与行业观察

1. 技术迭代迅速

大模型领域发展极快，新模型与新 Paper 层出不穷，面试中常遇到刚发表不久的技术点，要求候选人保持持续学习。

2. 工程与研究并重

Research 岗位对工程能力有明确要求，工程端也需理解模型原理。硬核岗位通常要求全栈能力（应用、模型、框架、后端、硬件）。

3. 技能树建议

• 优先级：模型 > 框架 > 底层 > 其他
• 补充方向：在保持模型能力的同时，建议加强 Kernel、CUDA 等底层优化能力。

4. 薪资水平

大模型相关岗位总体薪资高于同级别传统互联网岗位。

5. 研究方向分布

目前多数公司集中在语言模型，部分研究岗涉及多模态预训练。RLHF 是极具前景的方向，建议强化学习经历者深挖。

三、高频考点与技术详解

针对基座算法与框架岗位，以下知识点在面试中出现频率极高，建议重点复习。

1. 多头注意力机制（MHA）

• 核心概念：Q、K、V 矩阵的投影计算，Attention Score 的 Softmax 归一化。
• 复杂度：时间复杂度 $O(N^2 imes d)$，空间复杂度 $O(N^2)$。其中 N 为序列长度，d 为隐藏层维度。
• 优化方案：KV-Cache（推理加速）、MQA（Multi-Query Attention）、GQA（Grouped Query Attention）。
• 代码实现：需掌握 PyTorch 或 TensorFlow 下的 MHA 手写实现，注意掩码（Mask）处理。

2. 并行策略与框架

• 并行方式：数据并行（Data Parallelism）、张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）。
• 优缺点对比：数据并行实现简单但显存受限；张量并行显存占用低但通信开销大。
• 工具库：DeepSpeed、Megatron-LM 的源码阅读有助于理解底层实现。
• Flash-Attention：了解其 IO 感知优化原理，减少 HBM 读写次数，提升训练速度。

3. 主流模型架构细节

• BERT vs GPT：BERT 基于双向 Encoder，GPT 基于单向 Decoder（自回归）。
• 位置编码：绝对位置编码与相对位置编码的区别，RoPE（Rotary Positional Embedding）的原理。
• 激活函数：ReLU、Swish、GELU 的选择及其对梯度传播的影响。

4. 大模型训练稳定性

• 常见问题：Loss Spike（损失值突增）、梯度爆炸、梯度消失。
• 解决方案：Gradient Clipping（梯度裁剪）、Learning Rate Warmup（学习率预热）、混合精度训练（AMP）。
• 验证方法：确认是否真实跑过基座训练，面试官常问细节以辨别简历真实性。

5. 数据处理与预处理

• Tokenization：BPE（Byte Pair Encoding）算法原理，词表构建策略。
• Masking：MLM（掩码语言模型）与 Next Token Prediction 的区别。
• 数据配比：不同语料（通用文本、代码、对话）的比例对模型性能的影响。

6. 评估体系（Evaluation）

• 指标：Perplexity（困惑度）、BLEU、ROUGE、Human Eval。
• 安全性：模型输出内容的合规性检测，对抗攻击防御。
• 框架搭建：部分面试会要求设计自动化评估框架，支持多选、生成任务评测。

7. 其他方向

• 多模态：CLIP、Diffusion 模型原理，图像 - 文本对齐技术。
• RLHF：Reward Model 训练、PPO 算法在大模型对齐中的应用。

四、备考建议

1. 基础夯实：熟练掌握 Transformer 变体及数学推导，这是面试的基石。
2. 代码能力：LeetCode 刷题不能停，尤其是动态规划、图论及字符串处理题目。
3. 项目复盘：对自己做过的项目要能讲透细节，包括遇到的坑及解决方案。
4. 关注前沿：定期阅读 ArXiv 最新论文，了解 SOTA 技术进展。
5. 模拟面试：找同行进行 Mock Interview，锻炼表达能力和临场反应。

注：以上经验基于个人面试记录整理，仅供参考。实际招聘情况可能随公司业务调整而变化。