大型语言模型（LLM）面试核心问题解析与解答

正确答案：B

深度解析： 预训练模型（如 GPT-3、Llama 系列）的架构决定了其表征能力上限。一个参数量大、结构复杂的基座模型已经掌握了丰富的语言规律和世界知识。微调的作用是在此基础上进行领域适配。即使微调数据量较小，强大的基座模型也能快速迁移能力；反之，若基座模型能力不足，单纯增加数据量也难以弥补架构缺陷。

6. Transformer 结构中的自注意力机制在模型主要起到了什么作用？

选项分析：

• A. 衡量单词的重要性：正确。它计算序列中任意两个位置的相关性权重。
• B. 预测下一个单词：这是整个模型的目标，而非自注意力的单一功能。
• C. 自动总结：这是下游任务的应用。

正确答案：A

深度解析： 自注意力机制（Self-Attention）允许模型在处理某个词时，同时关注句子中的其他词。通过计算 Query、Key、Value 矩阵，模型能够动态地捕捉词与词之间的依赖关系，无论它们在句子中的距离多远。这使得模型能够理解上下文语境，例如区分代词指代的对象，是 Transformer 超越 RNN/CNN 的关键。

7. 在大型语言模型（LLM）中使用子词算法（如 BPE 或 WordPiece）的优点是什么？

选项分析：

• A. 限制词汇量：核心优势。将罕见词分解为常见子词，大幅降低词表规模。
• B. 减少训练数据量：无关，数据量取决于采集策略。
• C. 提高计算效率：是限制词汇量后的间接结果，非主要目的。

正确答案：A

深度解析： 自然语言中存在大量长尾词。如果使用全词表，词汇量可能达到百万级，导致 Embedding 层过大。字节对编码（BPE）和 WordPiece 等子词算法将单词拆分为更小的单元（如 "un", "happiness"）。这既保留了词义的可组合性，又将词表控制在合理范围（如 3 万 -5 万），有效平衡了表达能力与计算成本。

8. 与 Softmax 相比，Adaptive Softmax 如何提高大型语言模型的速度？

选项分析：

• A. 稀疏单词表示：非主要原因。
• B. Zipf 定律：正确。利用词频分布特性分层处理。
• C. 预训练嵌入：无关。

正确答案：B

深度解析： 标准 Softmax 需要对词表中每个词计算概率，复杂度为 O(V)。Adaptive Softmax 利用 Zipf 定律（少数高频词占据大部分概率质量），将词表分层。对于高频词，精确计算 Softmax；对于低频词，将其分组进行近似计算。这种分层策略显著降低了计算量，特别是在词表巨大时效果明显。

9. 可以调整哪些推理配置参数来增加或减少模型输出层中的随机性？

选项分析：

• A. 最大新令牌数：控制生成长度。
• B. Top-k：限制候选词数量，影响随机性但不是唯一参数。
• C. Temperature：温度系数，直接调节概率分布的平滑度。

正确答案：C

深度解析： Temperature（温度）参数通过除以 softmax 前的 logits 值来调节分布形状。低温（<1）使分布变尖锐，模型倾向于选择概率最高的词，输出确定性高；高温（>1）使分布变平缓，低概率词也有机会被选中，增加输出的多样性和创造性。Top-k 采样则进一步限制了候选池，两者常结合使用以平衡质量与多样性。

import torch
import torch.nn.functional as F

def sample_with_temperature(logits, temperature=1.0):
    # 应用温度系数
    logits = logits / temperature
    probs = F.softmax(logits, dim=-1)
    # 此处可接 Top-K 采样逻辑
    return probs

10. 当模型不能在单个 GPU 加载时，什么技术可以跨 GPU 扩展模型训练？

选项分析：

• A. DDP (Distributed Data Parallel)：并行处理数据，但模型副本需完整存在于每个 GPU。
• B. FSDP (Fully Sharded Data Parallel)：分片模型参数，突破单卡显存限制。

正确答案：B

深度解析： DDP 要求每个 GPU 都保存完整的模型副本，适合中小模型。当模型参数量超过单卡显存时，FSDP 成为首选。它将模型参数、梯度和优化器状态切分成多个分片（Shards），分布在不同的 GPU 上。在反向传播过程中，GPU 按需通信获取所需分片，从而实现了超大规模模型的分布式训练。

总结

掌握上述知识点是进入 LLM 研发与应用领域的基石。从底层的注意力机制到上层的对齐策略，再到工程上的分布式训练，每一个环节都紧密相关。建议在实际工作中结合代码实践（如使用 PyTorch Lightning 或 DeepSpeed 框架）加深理解，并持续关注社区的最新进展，如 MoE 架构、长上下文窗口优化等前沿方向。