2025 大模型行业现状与方向调研：LLM、MLLM 及 AIGC 赛道分析

2.2 职业方向细分（训练，推理，Infra）

科学研究（训练）：基座研发->预训练->后训练 RL->后训练 SFT

• 研究岗（Research）：核心职能是科研攻关与技术转化，适合意向核心算法的从业者，准入难度★★★★★。
• 预训练岗（Pretrain）：负责 LLM/MLLM 的基座预训练，需操作多卡集群，处理海量数据与集群运维。仅头部企业布局，准入难度★★★★★。
• 后训练岗（RL）：通过强化学习优化模型性能，是 2025 年热门方向，尤其多模态 RL 领域缺乏'王炸级'研究成果，创新空间大。准入难度★★★★。
• 后训练岗（SFT）：聚焦通用基座的有监督微调，核心工作包括数据配比、模型蒸馏、CoT 思维链设计等。准入难度★★★，是算法岗的'入门选择'。

应用研究（推理）：Agent->搜广推->提示词工程

• 应用岗（Agent）：围绕 LLM/MLLM 构建智能体，核心是工具调用与场景数据构建。2025 年需求旺盛，准入难度★★★。
• 应用岗（跨领域结合）：融合大模型与搜索、推荐、广告等传统算法领域。准入难度★★★☆。
• 其他业务岗：针对特定业务场景开展模型后训练或提示词工程。岗位需求量最大，准入难度★★☆。
• 业务平台搭建（Web 前后端开发）：负责大模型应用的工程化落地，核心工作包括前端交互界面开发、后端服务搭建、数据库设计与维护。准入难度★★★。

基础设施（AI-Infra）

3. 后训练 RL - 多模态方向

3.1 工业界（多模态基础、SFT、RL、RAG、分布式、场景）

（1）多模态基础与优化

1. 什么是多模态大模型？核心挑战是什么？ 答案：融合文本、图像、音频等多种模态信息的模型，核心挑战是模态间异构性对齐与跨模态语义理解的一致性。
2. 多模态模型的常见架构（如 Flamingo、BLIP-2）核心设计思路是什么？ 答案：通过桥接模块（如 Q-Former）将图像特征映射到语言模型的语义空间，实现模态对齐。
3. 多模态预训练的常见任务有哪些？ 答案：图像文本对比学习（CLIP）、图文匹配、图像描述生成、跨模态掩码预测。
4. 如何增强多模态模型的识别准确度（比如识别医疗手写表格的特征与具体值）？ 答案：1. 用领域内高质量标注数据做继续预训练/SFT；2. 加入空间注意力增强；3. 结合 OCR 模型先提取文本，再和图像特征融合；4. 用自监督学习做表格结构预训练。
5. 手写多头注意力的计算步骤？ 答案：1. 输入嵌入分别线性变换得到 Q、K、V 矩阵；2. 对 Q、K 做缩放点积注意力计算相似度；3. 用 softmax 得到注意力权重；4. 权重与 V 相乘得到单头注意力输出；5. 拼接所有头的输出，再线性变换得到最终结果。
6. 为什么计算注意力要除以维度的平方根（\sqrt{d_k}）？ 答案：避免高维度下 Q·K 的内积结果过大，导致 softmax 输出趋近于 one-hot，梯度消失，保证注意力分布更均匀。
7. decoder-only 结构（如 LLaMA）从输入 prompt 到输出 token 的完整过程？ 答案：1. 输入 prompt 做词嵌入 + 位置编码；2. 经过多层 decoder block（每层含掩码多头注意力+MLP），掩码保证当前 token 只关注前文；3. 顶层输出经线性层映射到词表维度；4. softmax 得到下一个 token 的概率分布；5. 采样生成 token 并拼接回输入，重复步骤 2-4 直至生成结束符。
8. 有什么办法将 2 维的 embedding 转换成 3 维的 embedding，同时保留位置编码信息？ 答案：1. 增加维度映射层；2. 位置编码同步扩展；3. 用卷积层升维，利用卷积的参数共享特性保留原有语义和位置特征。
9. 跨模态对齐如何做？你都了解哪些对齐方式？ 答案：1. 对比学习对齐（如 CLIP）；2. 生成式对齐（如 BLIP）；3. 桥接模块对齐（如 Q-Former）；4. 掩码重建对齐（如多模态 BERT）。
10. ROPE（旋转位置编码）给我介绍一下？ 答案：一种绝对位置编码，通过旋转矩阵将位置信息融入 query 和 key 的向量中，公式为 $q_{rot}=q \odot \cos(m\theta)+q_{\perp} \odot \sin(m\theta)$；优势是支持外推（长文本位置可直接计算），且能捕捉相对位置关系。
11. 说一下 P-tuning 的原理？ 答案：一种软提示调优方法，冻结预训练模型权重，只训练少量可学习的软提示嵌入（virtual tokens）；将软提示插入输入序列，通过调整软提示来适配下游任务。

（2）后训练（SFT/继续预训练）

1. 什么是指令微调（SFT）？和预训练的区别是什么？ 答案：用指令 - 响应数据微调预训练模型，让模型遵循人类指令；预训练学通用知识，SFT 学任务适配能力。
2. 多模态 SFT 的数据有什么特点？如何构建高质量多模态指令数据集？ 答案：需包含多模态输入（图 + 文指令）和对应响应；构建需保证模态信息完整性、指令多样性、响应准确性，并做去噪清洗。
3. 后训练中过拟合的原因和解决方法？ 答案：原因是数据量小、模型容量大；方法是增大数据量、加入正则化（dropout/权重衰减）、使用早停。
4. 多模态模型继续预训练的场景和目的？ 答案：针对特定领域（如医疗影像 + 报告），目的是让模型学习领域内的跨模态专属知识，提升下游任务性能。
5. Lora 为什么在工业界这么吃香？原因是什么？ 答案：1. 显存开销低；2. 部署灵活；3. 训练速度快；4. 效果好。
6. 训练大模型的数据如何弄的？ 答案：1. 公开数据集做通用预训练；2. 领域数据爬取/合作获取；3. 数据清洗；4. 数据增强；5. 指令数据构建。
7. 如何关注训练过程中的指标？训练步数如何确定？ 答案：监控指标：训练损失、验证损失、下游任务指标、显存/算力利用率；确定步数：用早停法、参考经验值、小批量测试不同步数的效果。

（3）强化学习与模型对齐（RLHF/RLAIF/DPO）

RLHF：基于人类标注偏好训练奖励模型，再用 PPO 算法微调模型，实现模型与人类偏好对齐的强化学习方法。 RLAIF：用 AI 标注替代人类标注生成偏好数据的对齐方法，降低 RLHF 的标注成本与规模限制。 DPO：无需训练奖励模型，直接用偏好排序数据端到端优化策略的对齐算法，流程更简洁、训练更高效。

1. RLHF 的三大核心步骤是什么？详细流程讲一下？ 答案：步骤 1：有监督微调（SFT）；步骤 2：训练奖励模型（RM）；步骤 3：强化学习微调（PPO）。额外步骤：加入 KL 散度约束。
2. RLHF 的三个流程中你觉得哪个应该是最重要的？为什么？ 答案：训练奖励模型（RM）最重要；因为 RM 是人类偏好的'代言人'，RM 的打分质量直接决定最终模型的对齐效果。
3. 奖励模型（RM）的作用是什么？训练时的关键注意事项？如何训练？训练到什么程度可以？ 答案：作用：对模型输出打分，衡量和人类偏好的对齐程度；训练注意事项：标注数据需一致性高、构建多样化正负样本、避免奖励崩塌；训练方法：收集模型输出的排序样本，用排序损失（Pairwise Ranking Loss）训练；停止标准：验证集上的排序准确率稳定。
4. Reward model 不准确怎么办？ 答案：1. 重新标注高质量数据；2. 迭代优化 RM；3. 加入正则化；4. 多 RM 融合；5. 引入辅助损失。
5. 为啥 RLHF 中要用 PPO？和其他 RL 算法的区别？ 答案：PPO 的核心优势是信任域（Trust Region）限制，通过裁剪策略梯度，避免模型参数更新幅度过大；与其他 RL 算法区别：相比 TRPO 实现更简单，相比 DQN 适合连续动作空间，相比 A2C 支持离线数据训练。
6. PPO 的原理？ 答案：一种近端策略优化算法，核心是最大化'裁剪后的优势函数'；步骤：1. 用当前策略收集数据，计算动作的优势值；2. 计算新旧策略的概率比值，裁剪该比值到 [1-ε, 1+ε] 区间；3. 交替执行'采样数据→更新策略'。
7. PPO 是倾向于将模型往什么方向训练？ 答案：倾向于在人类偏好的方向上渐进优化，同时通过 KL 散度约束，保证模型不会偏离有监督微调的初始模型太远。
8. 在用 vLLM 做强化学习时，你是根据什么指标来查看训练的进度的？ 答案：1. 奖励分数；2. KL 散度；3. 策略梯度的方差；4. 下游任务指标；5. 推理速度/吞吐率。
9. 什么是 RLAIF？解决了 RLHF 的什么问题？ 答案：用 AI 标注替代人类标注的强化学习对齐方法；解决了 RLHF 中人类标注成本高、规模小、一致性差的问题。
10. 多模态 RLHF 的难点是什么？ 答案：多模态输出的奖励难以量化、跨模态反馈信号的稀疏性、模态间对齐和偏好对齐的双重目标。
11. 什么是对齐税（Alignment Tax）？如何缓解？ 答案：模型对齐后任务性能下降的现象；缓解方法是在 RL 阶段加入预训练损失（KL 散度约束），平衡对齐和性能。
12. DPO 了解吗？DPO 和 PPO 有什么区别？你更喜欢使用哪种？ 答案：DPO 是直接偏好优化，一种无需训练奖励模型的对齐算法；区别：流程上 DPO 省去 RM 训练步骤；稳定性上 DPO 鲁棒性更强；计算开销上 DPO 更快；偏好：DPO，因为流程更简洁、超参数更少、训练效率更高。
13. DPO 的公式给我写一下或者口述一下？ 答案：核心是最小化负对数似然损失，目标函数为：$L_{DPO}(\pi_{\theta}) = -\mathbb{E}{(x,y_w,y_l)\sim D}[\log\sigma(\beta(\log\frac{\pi{\theta}(y_w|x)}{\pi_{ref}(y_w|x)} - \log\frac{\pi_{\theta}(y_l|x)}{\pi_{ref}(y_l|x)}))]$。
14. DPO 跟对比学习有哪些相同点和不同点？ 答案：相同点：都依赖成对样本；都通过相对比较优化模型。不同点：目标不同，对比学习是最大化同类相似度，DPO 是最大化偏好输出的概率；应用场景不同；模型输入不同。
15. Reward 有多个目标可以怎么做？ 答案：1. 多奖励模型融合；2. 分层奖励设计；3. 多目标优化算法；4. 在 RM 训练中加入多目标标注。
16. Reward model 和训练的 LLM 模型用同一个基座模型可能有什么作用？ 答案：1. 降低训练开销；2. 提升特征一致性；3. 支持参数共享；4. 便于迁移优化。
17. 如何提升 RLHF 的效率？你认为关键在哪里？ 答案：提升方法：1. 用 Lora/QLoRA 降低训练参数量；2. 采用离线 RL；3. 优化 RM 训练；4. 分布式训练；关键在于提升数据利用效率和降低计算开销。

（4）RAG 与模型幻觉

1. 讲一讲你对 RAG 的理解？ 答案：检索增强生成（RAG）是一种提升 LLM 事实性的技术，核心流程是检索→增强→生成：先从外部知识库检索与 query 相关的文档片段，再将文档和 query 拼接成 prompt 输入模型，最后模型基于检索到的事实生成回答。
2. 模型的幻觉问题？以及 RAG 的好处？如何利用 RAG 去缓解模型幻觉？ 答案：幻觉是模型生成看似合理但不符合事实的内容；RAG 的好处：提升回答事实准确性、降低幻觉率、无需重新训练模型即可更新知识；缓解幻觉的方法：检索权威、最新的知识库，用检索结果作为唯一参考，加入溯源机制，优化检索策略。

（5）工程部署与分布式训练

1. 多模态大模型训练时显存不足的解决方法？ 答案：使用混合精度训练、梯度累积、模型并行/张量并行、激活重计算（activation checkpointing）、量化训练（如 4bit/8bit）。
2. vLLM 部署多模态模型的核心优化点是什么？ 答案：基于 PagedAttention 的高效注意力机制，将 KV 缓存划分为固定大小的 page，实现动态分配，提升吞吐率，降低推理延迟。
3. LLM 的分布式框架了解过吗？展开讲一下它们的优缺点？ 答案：主流框架分为三类：
   • 数据并行（DP/DDP）：代表框架 PyTorch DDP；优点：实现简单，适合数据量大的场景；缺点：模型不能超过单卡显存，通信开销随卡数增加而增大。
   • 模型并行：代表框架 Megatron-LM、DeepSpeed；分为张量并行（TP）和流水线并行（PP）；TP 优点：将单一层的参数拆分到多卡；PP 优点：将模型层拆分到多卡。
   • 混合并行：代表框架 DeepSpeed、Colossal-AI；优点：结合数据并行、张量并行、流水线并行，支持万亿参数模型训练；缺点：配置复杂，对硬件拓扑要求高。
4. llama factory 代码看过吗？ 答案：看过，Llama Factory 是一个轻量级大模型微调框架，支持 LLaMA、Qwen 等模型的 SFT、RLHF、DPO 训练；特点是集成了 Lora/QLoRA、多模态适配、分布式训练等功能，配置简单，开箱即用。
5. Ray 在 LLM 分布式中的角色： 答案：Ray 不是单纯的'训练框架'，而是分布式计算引擎，核心优势是'资源调度 + 跨框架适配'；相比原生 PyTorch，Ray 更适合大规模集群（数十/数百卡）的 LLM 训练。
6. FSDP（完全分片数据并行）的核心价值： 答案：FSDP 将模型参数、梯度、优化器状态全部分片到多卡，相比传统 DDP（单卡存完整模型），能训练更大模型（如 70B+），是中小框架适配大模型的核心方案。

（6）项目场景题

1. 讲一个你最熟悉的模型（DeepSeek-R1） 答案：DeepSeek-R1 是深度求索推出的多模态对话模型，基于 LLaMA 架构扩展多模态能力；核心设计：1. 用 Q-Former 作为图像编码器；2. 采用多阶段训练（预训练→SFT→RLHF）；优势：在图文问答、视觉推理任务上表现优异；应用场景：智能客服、视觉问答、教育辅助等。
2. 如果让你做一个多模态对话模型的后训练+RLHF，你的流程是什么？ 答案：1. 构建多模态对话指令数据集；2. 用 Lora 做 SFT；3. 收集模型输出的多模态回答，人工标注偏好排序；4. 训练多模态奖励模型；5. 用 PPO 微调 SFT 模型；6. 评估模型；7. 迭代优化。

3.2 学术界

（1）会议：CCFA - 人工智能 - 共 7 本

NLP：ACL CV: CVPR/ICCV 综合：IJCAI/AAAI/NeurIPS

（2）期刊：CCFA-人工智能 - 共 4 本

（3）学者：AI2000，ORCID，Google Scholar，DBLP，OpenReview

• AI2000：人工智能全球 2000 位最具影响力学者榜单，基于过去 10 年顶会顶刊论文引用与影响力遴选。
• ORCID：学者身份唯一标识，关联所有投稿平台、避免姓名歧义、成果统一管理。
• DBLP：计算机科学领域权威文献数据库，收录顶会/期刊论文元数据。
• Google Scholar：免费学术搜索引擎，收录全球多学科论文、引用、作者主页与期刊影响因子。
• OpenReview：开放同行评审平台，顶会的公开评审与讨论平台，支持论文投稿、评审、Rebuttal 与结果公示。