20 家互联网大厂大模型岗位面试经验汇总

二面：

• AGI 缺不了视觉。
• 工业场景，人的检测，奇怪的零件，机器的检测。检测的结果，需要理解人的行为。理解和 Context 的关系。人和环境的关系。借助多模态来解决。
• 自驾，感知端到决策端，感知不需要全面的感知，着重感知的部分。
• 假新闻，图是真的，Caption 场景。
• OCR，街景的 OCR，文档，网页截图等是不同的，这些场景混在一起会有影响吗？
• OCR 的方案，一般是先出检测框，再出文本。不规则的文本，如何解决？
• 多模态大模型的 OCR。
• Qwen-VL 的文本检测形似，是否合理？
• 模型本身的三种能力。
• 自己的能力，认识什么？
• LISA：借助 Decoder 来做，用新的 Prompt 来实现分割。
• 外挂 RAG 等。
• 判断左右括号（），等组成的字符串是否是合法的。

三面：

• Leader 面，聊了一些有的没的。

面试体验：面试过程很专业，毕竟是商汤，算法技术是国内领先的。奈何没产品，而且薪资包也没有诚意。

蚂蚁风控大模型【Offer】

一面：

• 自我介绍。
• 介绍 Focus-DETR，有没有在业务中应用。

二面：

• 介绍目前在做的事情。
• 下游的任务，文档场景，再做一个什么任务？
• OCR 数据是如何生成的？
• 效果如何？
• 如何解决幻觉的问题？

HR 面：

• 具体的工作内容，印象。
• 安全内容，ToB 的内容审核。竞对分析。
• 个人介绍。
• 上海海思，为什么跳槽？
• 算法支撑情况。

MiniMax【挂】

一面：

• 空间感知能力是如何解决的？
• 不同 Token 长度是否有做 Balance 的方式？
• 很多有价值的问题。
• 编程题：Python 实现 MLP Regressor。题目描述与要求：实现一个 MLP Regressor 的完整训练过程，包括 Forward, Backward, SGD 更新参数；验证 Backward 梯度正确性；构建数据，验证端到端正确性 (收敛&泛化)；(Optional) 参考你过往的实验经验，尽可能让功能更完善；不使用第三方库中已实现好的自动求导方法；P.S. 实现方法不限，但由于在线 IDE 运行环境不稳定，推荐使用 Numpy。

PS：面试官对算法底层了解比较深入，比较考验代码能力，不是字节那种风格。

零一万物【挂】

一面：

• 多模态的情况。
• Document 的难度。
• 手写 Self Attention。

二面：

• 自我介绍。
• 传统的 OCR 模型和多模态大模型的区别。
• 带不带 OCR，多模态文档智能差多少？
• 未来 OCR 模型是否会被大模型吃掉？OCR 大模型有什么是做不了的？
• 在哪些模型上做过一些预训练？
• 多模态未来怎么做？
• EVA 的有趣的现象。没有出现涌现的现象。
• 后面的工作主要集中在哪里？
• 怎么训练比较好，Gemini 那种形式，LLM 那种形式？

PS：问了很多开放性的问题，给的回复是业务积累不够。

美团【Offer】

一面：

• 文档大模型是一个独立的模型，会整合到一个大模型还是分离式的？
• 不考虑通用场景的。
• 目前用的多大的模型？
• 是一个什么结构？对结构的一些了解。
• Flamingo 或者 BLIP2 的结构上的对比。
• 足够资源的情况下，哪个结构是最优的？
• 分辨率是如何解决的？文档的分辨率比较高。
• QA 对匮乏如何解决的？
• OCR 的性能目前是低于多模态大模型。
• 如何解决 BBox 感知能力差的问题？
• 充足的算力。数据如何获取？如何有效的清洗？
• Fuyu 这种结构有什么优化的空间？

二面：

• OCR 文档大模型。
• Instruction Tuning 的决定性因素，哪些 Instruction Tuning 策略效果更好？如何评估复杂度的性能？
• 如何保证数据集的多样性和复杂度？
• 分层的 Instruction Tuning。
• 数量的影响。数量和质量。
• 不同类型数据的影响。对下游任务的影响。自动化的数据配比。自动化的指标去做类似的事情。
• 专门优化的指标不再是一个好的指标。
• 使用其他的指标来引导模型的优化，而不是使用下游的指标。LLM 使用的 Loss，作为指标。而不是 Benchmark 的分数。
• 合理的评估指标是什么？OpenAI 的压缩理论，Training Loss 代表优化目标。
• AGI 的几个阶段，DeepMind 发表。

三面：

• 各种问题。

四面：

• 介绍自己。
• 有一个多模态大模型，具备一些很多 Baseline 的效果，基础的 CV 能力。可能效果都不是特别好。不如专精的大模型。OCR 为例。目标得到一个类似 GPT4V 的模型，整理提高模型的效果。第二个，全流程，强化 OCR 能力。已有的多模态大模型。
• 文档场景。

阿里控股【Pass】

一面： 这里没什么面经，整体面试体验很差。不考虑继续往下面。

• 人非常高傲，傲慢，问问题，满脸的嫌弃。
• 感觉别人都不行，觉得自己很强。
• 文生图的畸形，检测的方式。

潞晨科技【Pass】

一面：

• 手写 Self-Attention。

PS：但凡面试官是 NLP 的，面试体验都不太好。如果 NLP 背景的面试官，面试会比较困难。

夸克【Offer】

一面：

• 项目。
• 做题。

二面：

• 高分辨率的解决方案。
• 重叠文本框。采用什么方案来解决？
• 端到端的 OCR 是怎么做的？

三面：

• 介绍 Focus-DETR。
• 介绍端到端的 OCR。
• 介绍多模态大模型。
• 小语种数据集采购是为什么？检测数据多了，识别数据少了。
• 介绍业务规划，偏传统业务，不是大模型方向。

四面：

• 大佬面，出了一个概率题。

HR 面：

• 为什么跳槽？
• 职业规划。
• 为什么有这个绩效和各种奖项？

腾讯 - 混元大模型【Offer】

一面：

• 简单描述简历，在做的东西。
• 图像细节提取有什么办法？
• 目前的进展是什么样的，项目进展到什么情况？
• 表格这种数据如何解决，如何对表格这种做有效的信息抽取？
• 目前有多少的数据量？

二面：

• OCR 算法。
• 项目。
• 介绍文本检测的一些问题如何解决？
• MAE 如何优化，什么鬼问题？

三面：

• 纯聊天，没有太多技术问题。
• 多模态大模型，TEG，数据平台事业部。混元大模型。机器学习平台。

阿里巴巴国际部【中止】

一面：

• 题目，旋转图像 Alpha 度。
• 介绍项目。
• 介绍 Focus-Detr。

二面：

• 简单询问项目，很快结束。

PS：不靠谱，很久没消息。没有后续的任何回复。这种最恶心了，建议大家不要再投。

网易实验室【Pass】

一面：

• 自我介绍。
• 剪枝的工作，Focos-DETR 是如何剪枝的？
• Transformer 相比 CNN，相比 RNN 的优势？
• 训练推理，增加吞吐量。
• 推理加速。预训练模型的部署推理，优化。

PS：做推理加速的不合适。

Momenta【Pass】

一面：

• 手写 NMS。
• 介绍 DETR。
• 介绍 Focus-DETR。
• 介绍 Position Embedding。
• 介绍 DETR 里面 Query 的含义。

PS：Momenta 属于给钱多，但是比较累的。以后不太想做自动驾驶了，所以 Pass。不再考虑。

蚂蚁【大模型-codefuse】【HR 面挂】

一面：

• 简单聊项目。

二面：

• 业务题，如何解决多页文档的问题？
• 业务题，现在 UI 多模态大模型，OCR 如何引入，目前 OCR 存在很多问题？
• LeetCode 题目，字符串转数字。
• LeetCode 题目，最大子数组和。
• 多模态大模型的基础知识。

三面：

• 个人介绍。
• 部门规模。
• 论文的情况。
• 换过部门。
• 海思做的内容。
• OCR 成熟度很高。

面试体验： 面试官都很专业，问了很多问题，感觉很强。在 HR 面上吃了亏，很多问题没有回答好，吸取了经验，很多问题调整了回答的方式。也反思自己在过往工作中存在的问题，面对大公司建议 HR 面认真准备，看看网上的一些经验，阿里的 HR 有一票否决权。

HR 面注意点：

1. 跳槽动机：如果是因为晋升不上去看机会，建议这么说：内部机会少，太稳定，想看更有发展的机会，别直接说晋升不上去才看机会，切勿说和 Leader 处不来或者说目前 Leader 坏话。
2. 关于薪资：可以回答看企业安排，或者回答一个区间，保底多少，期望多少，加一句薪资可谈，留足谈判空间，如果企业给的薪资不太满意，别直接拒绝，就说考虑一下，我这边去谈，最后面试结束时，记得感谢下面试官的时间。
3. 关于加班：大厂都大差不差，HR 问就是试探，切勿说接受不了。

面试通用准备建议

基于上述多家公司的面试经历，总结以下通用准备策略：

1. 技术基础扎实

• Transformer 架构：必须熟练掌握 Self Attention、LayerNorm、Position Embedding 等核心组件的原理及实现。建议能手写 Python 版本的 Self Attention。
• OCR 与多模态：了解主流 OCR 流程（检测 + 识别），以及多模态融合方式（如 Cross-Attention）。熟悉 Vision Transformer (ViT)、CLIP、BLIP、Flamingo 等经典模型结构。
• 深度学习框架：熟练使用 PyTorch，理解反向传播、优化器（SGD, Adam）原理。

2. 编程能力考察

• LeetCode 刷题：字节、腾讯等大厂非常看重 Coding 能力。建议准备 60-100 道中等难度题目，涵盖链表、树、动态规划、哈希表等常见题型。
• 算法实现：部分公司（如 MiniMax）会要求手写基础算法模块（如 MLP Regressor），需掌握 Numpy 基础操作及自动求导原理。

3. 项目深度挖掘

• STAR 原则：面试中介绍项目时，遵循 Situation, Task, Action, Result 原则。重点突出你在其中的具体贡献和技术难点。
• 业务结合：能够清晰阐述技术选型背后的原因，例如为什么选择某种结构，如何解决特定场景下的问题（如高分辨率、长文本）。
• 数据与评估：准备好关于数据清洗、标注、评估指标（Loss, Accuracy, mAP, BLEU 等）的详细讨论。

4. HR 面策略

• 稳定性与动机：避免抱怨前公司或领导，强调个人职业发展规划与公司业务的契合度。
• 薪资谈判：保持弹性，预留谈判空间，表现出对机会的重视而非单纯关注薪资。
• 加班文化：提前了解公司文化，表达适应高强度工作的意愿。

5. 常见技术考点汇总

• 模型结构：Transformer, ViT, DETR, Focus-DETR, VQGAN, MagViT, Llama 系列。
• 任务类型：OCR, 目标检测，实例分割，图文匹配，指令微调 (Instruction Tuning)。
• 系统问题：显存优化，推理加速，分布式训练，长文本处理。
• 前沿趋势：AGI 发展阶段，多模态未来演进，RAG 技术应用。

结语

大模型领域发展迅速，面试不仅考察现有知识储备，更看重学习能力和对技术的深刻理解。希望以上经验能为求职者提供参考，祝大家顺利拿到心仪 Offer。