2025 年秋招 LLM 及多模态模型面试精华涵盖了大模型微调技术如 LoRA 和 Ptuning 的原理，Stable Diffusion 的三组件架构，Decoder-only 结构的优势，缓解复读机问题的策略，Transformer 中 LayerNorm 与 BatchNorm 的区别，多头注意力机制的作用，SFT 导致表现下降的原因及对策，OOM 错误的优化方案，CLIP 架构的连接文本图像原理，Attention 计算复杂度的改进方法，以及 BERT 在分类任务中的优势与后续演进。内容涉及模型架构、训练技巧、显存优化及多模态基础，适合准备人工智能岗位面试的技术人员参考。
LoRA (Low-Rank Adaptation) 方法的核心是在大型语言模型上对指定参数增加额外的低秩矩阵。具体而言，对于原始权重矩阵 W，LoRA 将其分解为两个低秩矩阵 A 和 B 的乘积 (W + BA)。在模型训练过程中，固定 PLM 的参数，只训练降维矩阵 A 与升维矩阵 B。这种方法大幅减少了可训练参数量，同时保持了模型的生成能力，使得在消费级显卡上进行微调成为可能。
Ptuning 方法的核心是使用可微的 virtual token 替换了原来的 discrete tokens，且仅加入到输入层。它使用 prompt encoder（通常由 BiLSTM+MLP 组成）对 virtual token 进行编码学习。与传统的 hard prompt 不同，Ptuning 通过连续向量表示引导模型，无需人工设计提示词，更适合自动化场景。
Stable Diffusion 总共包含三个主要的组件，其中每个组件都拥有一个独立的神经网络：
大模型从模型架构上主要分为三种：Only-encoder, Only-Decoder, Encoder-Decoder 三种模型架构。
而 LLM 之所以主要都用 Decoder-only 架构，除了训练效率和工程实现上的优势外，在理论上是因为 Encoder 的双向注意力会存在低秩问题，这可能会削弱模型表达能力。就生成任务而言，引入双向注意力并无实质好处。而 Encoder-Decoder 架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only 架构就是最优选择了。
LLMs 复读机问题指模型在生成长文本时出现重复段落或句子的现象。缓解策略包括：
Batch Normalization 是对这批样本的同一维度特征做归一化，Layer Normalization 是对这单个样本的所有维度特征做归一化。LN 不依赖于 batch 的大小和输入 sequence 的长度，因此可以用于 batchsize 为 1 和 RNN 中 sequence 的 normalize 操作。
为什么 BN 在 NLP 中效果差：
为什么 LayerNorm 单独对一个样本的所有单词做缩放可以起到效果：
多头注意力机制允许模型在不同的子空间中关注不同的信息。多头保证了 transformer 可以注意到不同子空间的信息，捕捉到更加丰富的特征信息。论文原作者发现这样效果确实好，更详细的解析可以查阅相关文献。通过多个头并行计算，模型能够同时关注来自不同表示子空间的不同位置的信息，增强了模型的表达能力。
SFT（Supervised Fine-Tuning）是一种常见的微调技术，它通过在特定任务的标注数据上进行训练来改进模型的性能。然而，SFT 可能会导致模型的泛化能力下降，这是因为模型可能过度适应于微调数据，而忽视了预训练阶段学到的知识。这种现象被称为灾难性遗忘，可以使用一些策略：
全参数微调的显存需求取决于多个因素，包括模型的大小（参数数量），批次大小，序列长度，以及是否使用了混合精度训练等。对于 GPT-3 这样的大模型，如果想要在单个 GPU 上进行全参数微调，可能需要数十 GB 甚至上百 GB 的显存。
当样本量规模增大时，可能会出现 OOM（Out of Memory）错误，这是因为模型需要更多的内存来存储和处理数据。为了解决这个问题，可以尝试以下方法：
CLIP (Contrastive Language-Image Pre-training) 把自然语言级别的抽象概念带到计算机视觉里了。确定一系列 query，然后通过搜索引擎搜集图像，最后通过 50 万条 query，搜索得到 4 亿个图像文本对。然后将 Text Decoder 从文本中提取的语义特征和 Image Decoder 从图像中提取的语义特征进行匹配训练。通过对比损失函数，拉近图文对的相似度，推远负样本的距离，实现了零样本迁移能力。
代码中的 to_qkv() 函数，即用于生成 q、k、v 三个特征向量：
self.to_qkv = nn.Linear(dim, inner_dim * 3, bias=False)
self.to_out = nn.Linear(inner_dim, dim)
在标准的 Transformer 中，Attention 计算的时间复杂度为 O(N^2)，其中 N 是输入序列的长度。为了降低计算复杂度，可以采用以下几种方法：
在分类任务中，BERT 的结构中包含了双向的 Transformer 编码器，这使得 BERT 能够更好地捕捉文本中的双向上下文信息，从而在文本分类任务中表现更好。BERT 的后续改进工作主要包括以下方面：
此外，随着大模型的发展，Bert 类模型逐渐被更高效的 Decoder-only 架构所补充，但在特定 NLP 任务中仍具有重要价值。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online