2024 年 AI 大模型面试题集锦
引言
随着人工智能技术的快速发展，大模型已成为行业核心关注点。本文整理了涵盖基础理论、架构演进、微调优化及工程实践的高频面试题，旨在帮助求职者系统梳理知识体系，深入理解技术细节。
高频面试题与解析
1. 简述 GPT 和 BERT 的区别
GPT（Generative Pre-trained Transformer）采用 Decoder-only 架构，基于自回归方式生成文本，适合生成任务；BERT（Bidirectional Encoder Representations from Transformers）采用 Encoder-only 架构，双向掩码建模，适合理解类任务如分类、抽取。
2. 讲一下 GPT 系列模型是如何演进的？
从 GPT-1 到 GPT-3.5/4，主要演进包括：参数量指数级增长、预训练数据规模扩大、引入更多指令微调（Instruction Tuning）、强化人类反馈（RLHF）以提升对齐性，以及多模态能力的集成。
3. 为什么现在的大模型大多是 decoder-only 的架构？
Decoder-only 架构更易于并行化训练（相比 RNN），且通过自注意力机制能更好地捕捉长距离依赖。在生成式任务中，单向因果掩码符合自然语言生成的顺序特性，扩展性更好。
4. 讲一下生成式语言模型的工作机理
模型接收输入序列，通过概率分布预测下一个 token。训练时最小化预测 token 与真实 token 之间的交叉熵损失。推理时，根据当前上下文生成下一个词，迭代直至结束符。
5. 哪些因素会导致 LLM 的偏见？
训练数据中的社会文化偏见、标注数据的不平衡、模型对历史数据的过度拟合，以及提示词设计不当都可能引发偏见输出。
6. LLM 中的因果语言建模与掩码语言建模有什么区别？
因果语言建模（Causal LM）使用单向掩码，只允许看到过去信息，用于生成；掩码语言建模（MLM）随机掩盖部分 token，要求模型双向预测上下文，用于理解。
7. 如何减轻 LLM 中的幻觉现象？
方法包括：检索增强生成（RAG）提供事实依据、增加 RLHF 对齐训练、引入思维链（CoT）推理、设置置信度阈值过滤低质量输出。
8. 解释 ChatGPT 的零样本和少样本学习的概念
零样本（Zero-shot）指模型直接根据指令生成回答，无示例；少样本（Few-shot）指在指令前提供少量示例，引导模型模仿格式或逻辑。
9. 你了解大型语言模型中的哪些分词技术？
常见技术包括 WordPiece（BERT 使用）、Byte Pair Encoding (BPE, GPT 使用)、Unigram Language Model（SentencePiece）。它们旨在将词汇表限制在合理大小同时覆盖罕见词。
10. 如何评估大语言模型（LLMs）的性能？
常用指标包括困惑度（Perplexity）、BLEU/ROUGE（文本生成）、Human Eval（代码能力）、MMLU（常识与知识）、以及人工评估对齐度与安全性。
11. 如何缓解 LLMs 重复读问题？
可通过惩罚重复 n-gram、调整采样策略（如 Top-k/Top-p）、使用重复惩罚参数（repetition_penalty）或在解码阶段检测循环模式。
12. 请简述 Transformer 基本原理
基于自注意力机制（Self-Attention）替代 RNN/CNN，实现并行计算。包含多头注意力、前馈神经网络、残差连接与层归一化，支持处理变长序列。
13. 为什么 Transformer 的架构需要多头注意力机制？
多头注意力允许模型在不同表示子空间中联合关注不同位置的信息，增强了模型的表达能力，使其能捕捉多种类型的依赖关系。
14. transformers 需要位置编码吗？
需要。Transformer 本身是排列不变的（Permutation Invariant），位置编码（Positional Encoding）用于注入序列顺序信息，使模型区分词序。
