国内 20 家大厂大模型岗位面试复盘与技术要点总结

二面

• AGI 与视觉的关系。
• 工业场景：人检测、零件检测、机器检测及行为理解。
• 自驾感知端到决策端的感知需求差异。
• 假新闻检测：图真 caption 场景。
• OCR 场景区分：街景、文档、网页截图混用影响。
• OCR 方案：先检测框再识别，不规则文本处理。
• 多模态大模型的 OCR 能力。
• Qwen-VL 文本检测形似合理性分析。
• 模型三种能力：自身认知、LISA（Decoder+Prompt 分割）、外挂 RAG。
• 括号字符串合法性判断。

三面

• Leader 面，沟通为主。

面试体验： 技术领先，但产品落地不足，薪资包诚意一般。

4. 蚂蚁风控大模型【Offer】

一面

• 自我介绍。
• Focus-DETR 介绍及业务应用情况。

二面

• 项目介绍及当前工作内容。
• 下游任务：文档场景及具体任务目标。
• OCR 数据生成方法。
• 效果评估及幻觉问题解决。

HR 面

• 具体工作内容印象。
• 安全内容审核（ToB）及竞对分析。
• 跳槽动机：上海海思背景。
• 算法支撑能力。

5. MiniMax【挂】

一面

• 空间感知能力解决方式。
• 不同 Token 长度的 Balance 策略。
• 编程题： 实现 MLP Regressor 完整训练过程（Forward, Backward, SGD），验证梯度正确性，构建数据验证端到端收敛，不使用第三方自动求导库，推荐 Numpy 实现。

PS： 面试官对算法底层了解深入，侧重代码能力而非单纯刷题。

6. 零一万物【挂】

一面

• 多模态情况。
• Document 难度评估。
• 手写 Self Attention。

二面

• 传统 OCR 模型与多模态大模型区别。
• 带不带 OCR 对多模态文档智能的影响。
• 未来 OCR 是否会被大模型替代。
• 预训练模型经验。
• 多模态未来发展方向。
• EVA 模型涌现现象观察。
• 后续工作重点及训练形式（Gemini vs LLM）。

PS： 开放性问题多，反馈为业务积累不够。

7. 美团【Offer】

一面

• 文档大模型是独立还是整合进通用模型。
• 非通用场景考量。
• 当前模型规模及结构。
• Flamingo 或 BLIP2 结构对比。
• 资源充足下的最优结构选择。
• 高分辨率文档处理方案。
• QA 对匮乏解决。
• OCR 性能低于多模态大模型的原因。
• BBox 感知能力差的问题解决。
• 算力充足时的数据获取与清洗。
• Fuyu 结构优化空间。

二面

• OCR 文档大模型细节。
• Instruction Tuning 决定性因素及策略评估。
• 数据集多样性与复杂度保证。
• 分层 Instruction Tuning。
• 数量与质量的影响。
• 自动化数据配比与指标引导优化。
• OpenAI 压缩理论与 Training Loss 作为优化目标。
• AGI 阶段划分（DeepMind 观点）。

三面 & 四面

• 综合问题及多模态大模型优化方案（类似 GPT4V 效果提升）。全流程强化 OCR 能力。

8. 阿里控股【Pass】

体验： 面试体验较差，面试官态度傲慢。涉及文生图畸形检测。

9. 潞晨科技【Pass】

一面： 手写 Self-Attention。NLP 背景面试官提问较难。

10. 夸克【Offer】

一面： 项目 + 做题。 二面： 高分辨率方案、重叠文本框处理、端到端 OCR。 三面： Focus-DETR、端到端 OCR、多模态大模型、小语种数据集采购逻辑。 四面： 概率题。 HR 面： 跳槽动机、职业规划、绩效奖项解释。

11. 腾讯 - 混元大模型【Offer】

一面： 简历描述、图像细节提取、表格信息抽取、数据量。 二面： OCR 算法、文本检测问题、MAE 优化。 三面： 纯聊天，多模态大模型 TEG 部门。

12. 阿里巴巴国际部【中止】

一面： 旋转图像 Alpha 度题目、Focus-Detr 介绍。 二面： 项目询问，无后续回复。

13. 网易实验室【Pass】

一面： 剪枝工作（Focus-DETR）、Transformer vs CNN/RNN 优势、推理加速、预训练部署优化。不适合推理加速方向。

14. Momenta【Pass】

一面： 手写 NMS、DETR 介绍、Focus-DETR、Position Embedding、Query 含义。薪资高但累，自动驾驶方向暂不考虑。

15. 蚂蚁 CodeFuse【HR 面挂】

一面： 项目聊。 二面： 多页文档解决、UI 多模态 OCR 引入、LeetCode（字符串转数字、最大子数组和）、多模态基础。 三面： 部门规模、论文、换部门经历、OCR 成熟度。 HR 面注意点：

1. 跳槽动机：避免说晋升受阻，强调发展机会。
2. 薪资：留谈判空间，不要直接拒绝。
3. 加班：表示接受，大厂常态。

技术知识点补充与学习路径

针对面试中高频出现的概念，以下进行简要梳理，供参考。

1. 核心架构与模型

• Self Attention： 核心在于 Query, Key, Value 的矩阵运算，计算复杂度 O(N^2)，是实现 Transformer 的基础。
• Transformer： 相比 RNN/CNN，具备并行计算能力，长距离依赖建模更强。Encoder-Decoder 结构常用于序列到序列任务。
• Focus-DETR： 一种改进的 DETR 模型，通过引入焦点机制增强对小目标或特定区域的关注，常用于目标检测。
• Flamingo / BLIP2： 多模态模型代表。Flamingo 使用冻结的 LLM 和视觉编码器；BLIP2 通过 Q-Former 连接视觉与语言模型，效率更高。

2. OCR 与文档理解

• 端到端 OCR： 直接从图像输出文本，减少中间步骤误差。难点在于不规则文本检测和布局分析。
• 高分辨率处理： 通常采用分块（Patch）策略或动态分辨率调整，避免显存溢出同时保留细节。
• 幻觉问题： 多模态模型常出现图文不符，可通过 RAG（检索增强生成）或约束解码缓解。

3. 大模型学习与进阶路径

第一阶段：基础认知与应用

• 理解大模型基本原理（Tokenization, Embedding, Attention）。
• 掌握 Prompt Engineering 技巧（指令调优、思维链 CoT）。
• 能够调用 API 完成简单业务对接。

第二阶段：高阶实战与 RAG

• 搭建私有知识库，扩展 AI 能力边界。
• 掌握向量数据库（Vector DB）与向量检索原理。
• 实现基于 RAG 的 ChatPDF 系统，理解混合检索与 RAG-Fusion。
• 本地部署向量模型，优化检索延迟。

第三阶段：模型训练与微调

• 理解预训练、微调（Fine-tuning）、轻量化微调（LoRA）区别。
• 掌握 Transformer 结构细节，能手写简易神经网络。
• 构建高质量训练数据集，理解 Loss 函数与求解器。
• 尝试独立训练开源多模态大模型。

第四阶段：商业闭环与部署

• 硬件选型与成本评估（GPU/TPU）。
• 云端与本地环境部署（vLLM, PAI）。
• 内容安全与算法备案合规性。
• 寻找适合的项目方向，成为被 AI 武装的产品经理或工程师。

总结

社招关于大模型的知识点多为常识与项目深度结合。面试其他公司时基本以项目为主，刷题压力相对较小（除字节等外）。为了准备字节等大厂，建议刷 60 道左右 LeetCode 题目，重点覆盖 Hard 难度。推荐 Labuladong 刷题笔记作为辅助。

在选择 Offer 过程中，需权衡薪资、技术成长、业务前景及团队氛围。面对大公司 HR 面，建议提前准备常见问题的回答策略，保持积极态度。