跳到主要内容

首页博客 AI提示词 GitHub精选代理工具

国内大模型岗位面试经验总结与面经分享 | 极客日志

目录

国内大模型岗位面试经验总结
投递与 Offer 情况
详细面经回顾
1. 淘天集团【Offer】
2. 字节跳动 AML【Offer】
3. 商汤科技【Offer】
4. 蚂蚁风控大模型【Offer】
5. MiniMax【挂】
6. 零一万物【挂】
7. 美团【Offer】
8. 其他公司情况
HR 面试注意事项
核心考点与技术知识梳理
1. OCR 与大模型结合
2. 多模态大模型架构
3. 指令微调 (Instruction Tuning)
4. 常见算法与数据结构
5. 推理与部署
学习建议

💰 8折买阿里云服务器限时8折了解详情

PythonAI算法

国内大模型岗位面试经验总结与面经分享

本文总结了作者历经淘天、字节、蚂蚁、商汤等 20 家国内互联网大厂的大模型岗位面试经历。涵盖 OCR、多模态大模型、指令微调、Transformer 架构等核心技术点的考察细节。文章整理了各公司的具体面试题、Offer 情况及面试体验，并提供了 HR 面试注意事项及核心考点梳理，包括 Self-Attention 实现、OCR 方案对比、推理加速技术等，旨在帮助求职者系统准备大模型算法岗位面试。

ArchDesign发布于 2025/2/60 浏览

国内大模型岗位面试经验总结与面经分享

国内大模型岗位面试经验总结

大模型技术近期发展迅速，在多个领域展现出巨大潜力。然而，其商业化成功及适应监管变化的能力仍是关键。本文基于真实的大模型岗位面试经历，整理相关面经与技术要点，供求职者参考。

投递与 Offer 情况

投递公司： 淘天、字节、蚂蚁、商汤、美团、夸克、腾讯、MiniMax、零一万物、阿里控股、潞晨科技、阿里巴巴国际、网易实验室、Momenta。

获得 Offer： 淘天、字节 AML、商汤、蚂蚁、美团、夸克、腾讯混元、天翼云。

详细面经回顾

1. 淘天集团【Offer】

部门： 未来生活实验室
业务方向： 搜广推、逛逛内容化。团队由戴珊、若海、郑波等人牵头。
一面问题：
- OCR 任务训练细节（实验 Setting、影响分析）。
- 高分辨率训练后在小分辨率上是否崩溃。
- 输出 BBox 的优化方式。
HR 面：
- 教育背景确认（电子科技大 -> 诺亚）。
- 代表性工作、问题解决思路。
- 多模态大模型评测指标及刷榜看法。
体验： 面试体验良好，阿里味不浓，最终选择加入。

2. 字节跳动 AML【Offer】

部门： 火山方舟大模型
预备面经： Hash 表设计、蓄水池采样、超大文本随机行采样、二叉搜索树节点修剪、交叉熵计算、IOU 计算。
一面问题：
- 多模态流程、OCR 结构、LayerNorm 区别。
二面问题：
- 多模态起步时间、文档场景 Token 长度处理、高分辨率解决方案。
- Patch 大小调整、VQGAN、GPT4V 结构、LLM Decoder、MagViT。
- LLM 基础知识补充建议。
三面问题：
- 自我介绍、多模态模型选型、Transformer 熟悉度。
- Python 实现 Self-Attention 和 Transformer。
体验： 注重 Coding，每面两道题，一面体验较差。

3. 商汤科技【Offer】

一面问题：
- 高分辨率解决办法、OCR 方案（Grounding/Referring）。
- GPT4V 位置检测问题、新模态拼接、新数据训练策略。
- 算法题：Tree1 是否为 Tree2 子树。
二面问题：
- AGI 与视觉的关系、工业场景检测（人、零件、机器）。
- 自驾感知到决策、假新闻识别、Caption 场景。
- OCR 场景差异（街景、文档、网页）、不规则文本处理。
- 多模态大模型 OCR 方案、Qwen-VL 文本检测合理性。
- 模型能力分类：自身认知、LISA 分割、外挂 RAG。
- 括号字符串合法性判断。
三面： Leader 面，闲聊为主。
体验： 技术专业，但产品落地不足，薪资包一般。

4. 蚂蚁风控大模型【Offer】

一面： Focus-DETR 介绍及业务应用。
二面： 下游任务（文档场景）、OCR 数据生成、幻觉解决、安全内容审核。
HR 面： 工作内容、竞对分析、跳槽动机、绩效奖项解释。

5. MiniMax【挂】

一面： 空间感知能力、Token 长度平衡。
Coding 题： Python 实现 MLP Regressor（Forward, Backward, SGD），不使用自动求导库，验证梯度正确性。
体验： 面试官底层了解深，考验代码能力。

6. 零一万物【挂】

一面： 多模态情况、Document 难度、手写 Self-Attention。
二面： 传统 OCR 与多模态大模型区别、预训练模型经验、EVA 涌现现象、训练形式（Gemini vs LLM）。
体验： 开放性问题多，反馈业务积累不够。

7. 美团【Offer】

一面： 文档大模型结构（独立/整合）、Flamingo/BLIP2 对比、分辨率解决、QA 对匮乏处理、BBox 感知能力。
二面： Instruction Tuning 策略、数据集多样性、分层 Tuning、评估指标（Training Loss vs Benchmark）。
三/四面： 多模态大模型效果提升、强化 OCR 能力全流程。

8. 其他公司情况

阿里控股： 体验差，傲慢，文生图畸形检测。
潞晨科技： 手写 Self-Attention，NLP 背景面试官较难。
夸克： 高分辨率方案、重叠文本框、端到端 OCR、Focus-DETR、概率题。
腾讯混元： 图像细节提取、表格信息抽取、MAE 优化、纯聊天环节。
阿里巴巴国际： 旋转图像题目，项目介绍，无后续回复。
网易实验室： 剪枝工作、Transformer vs CNN/RNN、推理加速。
Momenta： 手写 NMS、DETR 原理、Query 含义，自动驾驶方向较累。
蚂蚁 CodeFuse： HR 面挂，多页文档处理、UI 多模态 OCR 引入、LeetCode 题。

HR 面试注意事项

跳槽动机： 避免直接说晋升受阻或抱怨领导。建议表述为内部机会有限，寻求更有发展的平台。
薪资谈判： 可回答区间，强调薪资可谈，保留谈判空间。不满意时不要直接拒绝，表示考虑后再沟通。
加班问题： 大厂普遍存在，建议表示接受，避免直接说不接受。
HR 一票否决权： 大公司 HR 面试非常关键，需认真准备，注意沟通态度。

核心考点与技术知识梳理

针对上述面试中出现的高频技术点，进行补充说明，帮助候选人建立知识体系。

1. OCR 与大模型结合

传统 OCR： 通常分为检测（Detection）和识别（Recognition）两步。检测框定位文字区域，识别模块输出文本。
多模态 OCR： 利用 Vision Encoder + LLM Decoder 架构。优势在于能理解上下文，处理不规则文本和复杂布局。难点在于高分辨率下的 Token 数量爆炸，常采用高分辨率输入下采样或局部 Patch 处理。
常见模型： PaddleOCR, MMOCR, Qwen-VL, LayoutLM。

2. 多模态大模型架构

Encoder-Decoder： 如 Flamingo，使用冻结的 Image Encoder 和 LLM，通过 Cross-Attention 连接。
Projector： 将图像特征映射到 LLM 的 Embedding 空间，常用 MLP 或 Linear 层。
Vision Transformer (ViT)： 主流图像编码器，将图像分块（Patch）处理。
Self-Attention： 核心机制，计算 Query, Key, Value 矩阵，关注序列中不同位置的信息。面试常要求手写 Forward/Backward 过程。

3. 指令微调 (Instruction Tuning)

目的： 让模型遵循人类指令，而非仅预测下一个词。
策略： 数据质量优于数量，多样化任务分布，混合通用与垂直领域数据。
评估： 不仅看 Benchmark 分数，更应关注 Training Loss 收敛情况及实际业务指标。

4. 常见算法与数据结构

Hash Table： 哈希冲突处理（链地址法/开放寻址法）。
蓄水池采样： 从流式数据中随机抽取 k 个样本，保证每个元素被选中的概率相等。
NMS (Non-Maximum Suppression)： 目标检测后处理，去除重叠框。
DETR/Focus-DETR： 基于 Transformer 的目标检测模型，Focus-DETR 引入了注意力机制优化查询选择。

5. 推理与部署

量化： INT8/FP16 降低显存占用。
剪枝： 移除不重要的权重或通道，Focus-DETR 涉及剪枝优化。
加速： KV Cache, Flash Attention, TensorRT 等。

学习建议

基础扎实： 深入理解 Transformer 原理，掌握 PyTorch 框架，能够手写核心算子。
项目驱动： 参与开源项目或复现经典论文（如 BLIP, LLaVA），积累实战经验。
刷题准备： 字节等大厂重视 Coding，建议刷 LeetCode Hot 100 及 Medium/Hard 题。
行业洞察： 关注大模型前沿动态，理解商业化落地场景（如搜广推、文档智能、AIGC）。

希望以上经验能帮助大家在求职路上少走弯路，顺利拿到心仪 Offer。

💰 8折买阿里云服务器限时8折购买
🦞 5分钟部署阿里云小龙虾了解详情
🤖 一键搭建Deepseek满血版了解详情
一键打造专属AI 智能体了解详情

极客日志微信公众号二维码

微信扫一扫，关注极客日志

微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog

更多推荐文章

基于 LangChain 搭建最小化 RAG 系统实战
Python 数据可视化绘图基础与实战指南
Llama3 快速体验：Groq 平台 4 种接入方案与性能分析
Python 数据处理进阶：掌握 Filter 函数的高级用法

相关免费在线工具

加密/解密文本
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。在线工具，加密/解密文本在线工具，online
RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online
curl 转代码
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。在线工具，curl 转代码在线工具，online
Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。在线工具，Base64 字符串编码/解码在线工具，online
Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。在线工具，Base64 文件转换器在线工具，online