大模型技术面试涵盖基础架构、训练微调、推理优化及应用框架等核心领域。文章梳理了主流开源模型体系如 Transformer、BERT、GPT 的区别，解析了 Prefix LM 与 Causal LM 的机制差异及幻觉问题解决方案。进阶部分深入探讨了全参数微调与参数高效微调（LoRA、P-tuning）的显存需求与实现技巧，以及 SFT 指令数据构建策略。此外还涉及分布式训练框架（DeepSpeed、Horovod）、并行策略（数据/张量/流水线并行）、RAG 检索增强生成及 LangChain 应用开发的关键知识点，为求职者提供系统化的复习指南。
涌现能力 (Emergent Ability) 是指模型在训练过程中突然表现出的新的、之前未曾预料到的能力。这种现象通常发生在大型模型中，原因是大型模型具有更高的表示能力和更多的参数，可以更好地捕捉数据中的模式和关联。随着模型规模的增加，它们能够自动学习到更复杂、更抽象的概念和规律，从而展现出涌现能力。
大模型 LLM (Large Language Models) 通常采用基于 Transformer 的架构。Transformer 模型由多个编码器或解码器层组成，每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置，捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数，可以处理大量的文本数据，并在各种 NLP 任务中表现出色。
前馈神经网络 (Feedforward Neural Network) 是一种最基础的神经网络类型，它的信息流动是单向的，从输入层经过一个或多个隐藏层，最终到达输出层。在前馈神经网络中，神经元之间的连接不会形成闭环，这意味着信号在前向传播过程中不会回溯。激活函数通常是非线性的，它决定了神经元的输出是否应该被激活，从而允许网络学习复杂和非线性的函数。
模型幻觉是指模型在生成文本时产生的不准确、无关或虚构的信息。这通常发生在模型在缺乏足够信息的情况下进行推理或生成时。业内的解决方案包括：
大模型的 Tokenizer 通常使用字节对编码 (Byte-Pair Encoding, BPE) 算法。BPE 算法通过迭代地将最频繁出现的字节对合并成新的符号，来构建一个词汇表。在训练过程中，模型会学习这些符号的嵌入表示。Tokenizer 将输入文本分割成符号序列，然后将其转换为模型可以处理的数字表示。
ChatGLM3 使用了一种改进的词表实现方法。它首先使用字节对编码 (BPE) 算法构建一个基本的词表，然后在训练过程中通过不断更新词表来引入新的词汇。具体来说，ChatGLM3 在训练过程中会根据输入数据动态地合并出现频率较高的字节对，从而形成新的词汇。同时，ChatGLM3 还使用了一种特殊的词表分割方法，将词表分为多个片段，并在训练过程中逐步更新这些片段，以提高模型的泛化能力和适应性。
多模态大模型是指可以处理和理解多种模态数据（如文本、图像、声音等）的模型。落地案例例如：
LLaMA (Large Language Model Adaptation) 模型的输入句子长度受到硬件资源和模型设计的限制。理论上，如果硬件资源足够，模型可以处理非常长的输入句子。然而，实际上，由于内存和处理能力的限制，输入句子长度通常是有限制的。在实际应用中，开发者会根据具体需求和硬件配置来确定合适的输入句子长度。
LLMs 复读机问题是指在某些情况下，大型语言模型在生成文本时会重复之前已经生成的内容，导致生成的文本缺乏多样性和创造性。
LLMs 复读机问题可能由多种因素引起，包括模型训练数据中的重复模式、模型在处理长序列时的注意力机制失效、或者模型在生成文本时对过去信息的过度依赖等。
BERT 模型通常用于需要理解文本深层语义的任务，如文本分类、命名实体识别等。LLaMA 和 ChatGLM 类大模型则适用于需要生成文本或进行更复杂语言理解的任务，如对话系统、文本生成等。选择哪种模型取决于任务的需求和可用资源。
不同的专业领域需要特定的大模型来更好地服务。专业领域的大模型可以针对特定领域的语言和知识进行优化，提供更准确和相关的回答和生成文本。
全参数微调 (Full Fine-Tuning) 通常需要大量的显存，因为这种方法涉及到更新模型的所有参数。显存的需求取决于模型的规模、批量大小、以及使用的硬件。例如，对于大型模型如 GPT-3，可能需要多个 GPU 甚至 TPU 来分配显存，每个 GPU 或 TPU 可能需要几十 GB 的显存。在实际操作中，需要进行试错法来确定合适的批量大小和硬件配置。
SFT (Supervised Fine-Tuning) 之后感觉 LLM (Large Language Model)'傻了'，可能是因为微调过程中出现了以下问题：
领域模型继续预训练（Continue Pre-Training）的数据选取应该基于领域内的文本特点和应用需求。通常，需要选取大量、高质量、多样化的领域文本数据。数据可以来自专业文献、行业报告、在线论坛、新闻文章等。数据选取时应该注意避免偏见和不平衡，确保数据能够全面地代表领域内的知识和语言使用。
在进行指令微调 (SFT) 操作时，选择基座模型 (Chat 或 Base) 取决于具体任务的需求和模型的性能。通常，如果任务需要生成对话或交互式响应，可以选择对话优化的模型 (Chat)。如果任务更注重理解和生成文本的能力，可以选择基础模型 (Base)。在实际应用中，可能需要根据实验结果和模型性能来选择最合适的基座模型。
领域模型微调的指令和数据输入格式要求取决于所使用的模型和框架。一般来说，指令应该是清晰、具体的，能够指导模型完成特定的任务。数据输入格式通常需要与模型的输入接口相匹配，例如，对于文本模型，数据通常需要是字符串格式，并且可能需要经过特定的预处理，如分词、编码等。
构建领域模型微调的领域评测集时，应该确保评测集能够全面、准确地反映领域内的任务需求和性能指标。通常，需要从领域内的真实数据中收集或生成评测样本，并确保样本的多样性和代表性。此外，可以根据任务需求设计定制的评价指标，以评估模型在领域内的性能。
领域模型词表扩增通常是有必要的，尤其是当领域内有大量的专业术语或特定词汇时。词表扩增可以帮助模型更好地理解和生成领域内的文本，提高模型的领域适应性。然而，词表扩增也需要谨慎进行，以避免引入过多的噪音或不相关的词汇。
在预训练阶段，模型通过大量的无监督数据学习通用的语言知识和模式。在微调阶段，模型通过与特定任务相关的监督数据学习特定领域的知识和任务特定的模式。因此，知识注入主要发生在微调阶段。
为了让模型学习某个领域或行业的知识，通常建议先进行预训练，以学习通用的语言知识和模式。预训练可以帮助模型建立强大的语言表示，并提高模型的泛化能力。然后，可以通过微调来注入特定领域或行业的知识，使模型能够更好地适应特定的任务和应用场景。
微调后的模型出现能力劣化，灾难性遗忘可能是因为模型在微调过程中学习到了过多的特定任务的知识，而忽略了通用的语言知识。这可能导致模型在训练数据上表现良好，但在未见过的数据上表现不佳。为了解决这个问题，可以采取一些措施，如多任务学习、控制微调强度、定期使用通用数据进行回炉训练等。
微调模型需要的显存取决于模型的规模、任务复杂度、数据量等因素。一般来说，微调模型需要的显存通常比预训练模型少，因为微调涉及到更新的参数较少。然而，具体需要的显存仍然需要根据实际情况进行评估和调整。
预训练和 SFT 操作的主要区别在于目标和数据集。预训练通常是在大规模的无标签数据集上进行的，目的是让模型学习到通用的语言表示和模式。这个过程不需要人工标注数据，而是通过模型自己从数据中学习。SFT 则是在有标签的数据集上进行的，目的是让模型适应特定的任务或领域。这个过程需要人工标注数据，以确保模型能够学习到正确的任务特定的模式和知识。
当样本量规模增大时，训练出现 OOM (Out of Memory) 错误可能是由于显存不足导致的。为了解决这个问题，可以尝试以下方法：
模型参数迭代实验是指在训练过程中，对模型的参数进行迭代调整和优化，以提高模型的性能。这通常涉及以下步骤：
参数微调是指只对模型的一部分参数进行更新，以适应特定的任务或领域。进行参数微调的原因包括：
Prompt Tuning 和 Prefix Tuning 都是参数高效的微调方法，它们通过在模型输入中添加特定的提示或前缀来引导模型生成适应特定任务的输出。区别在于：
LLaMA-adapter 是一种参数高效的微调方法，它通过在预训练模型的每个 Transformer 层中添加小型适配器模块来实现特定任务的适应。为了实现稳定训练，可以采取以下措施：
LoRA (Low-Rank Adaptation) 是一种参数高效的微调方法，它通过引入低秩分解来减少需要更新的参数数量。LoRA 的工作原理是将预训练模型的注意力矩阵或前馈网络矩阵分解为两个低秩矩阵的乘积，其中这两个低秩矩阵被视为可学习的任务特定参数。
使用 LoRA 的技巧包括：
AdaLoRA 是一种自适应的 LoRA 方法，它可以根据任务的需求和模型的性能动态调整 LoRA 适配器模块的参数。AdaLoRA 的思路是：
P-tuning 是一种参数高效的微调方法，它通过在模型输入中添加可学习的连续前缀来引导模型生成适应特定任务的输出。P-tuning v2 是 P-tuning 的改进版本，它使用了更多的连续前缀表示来引导模型生成适应特定任务的输出。
P-tuning 与 P-tuning v2 的区别在于：
P-tuning 的优点是参数高效，计算资源需求较低，可以快速实现模型微调。P-tuning 的缺点是可能受到前缀表示长度的限制，无法充分捕捉任务相关的信息。P-tuning v2通过使用更多的连续前缀，可以更充分地捕捉任务相关的信息，但可能需要更多的计算资源来更新多个前缀的参数。
预训练和 SFT 操作的主要区别在于目标和数据集。预训练通常是在大规模的无标签数据集上进行的，目的是让模型学习到通用的语言表示和模式。这个过程不需要人工标注数据，而是通过模型自己从数据中学习。SFT 则是在有标签的数据集上进行的，目的是让模型适应特定的任务或领域。这个过程需要人工标注数据，以确保模型能够学习到正确的任务特定的模式和知识。
DDO (Dual Data Objectives) 和 DPO (Dual Prompt Objectives) 是两种不同的训练策略，用于提高大型语言模型的性能。
嵌入模型微调通常涉及调整模型中的嵌入层，以适应特定的任务或领域。这可能包括：
大模型 (LLMs) 的评测方法通常包括：
衡量大模型效果的方法包括：
模型量化是将模型中的权重和激活从高精度浮点数转换为低精度整数 (如 INT8、INT4、FP16 等) 的过程，目的是减少模型的大小、提高计算效率并降低内存需求。 模型量化的原理在于，低精度数值格式可以提供足够的精度来保持模型性能，同时显著减少数值的位数，从而减少存储和计算资源的使用。
大模型词表扩充的方法包括：
工具方面，一些流行的词表管理工具和库包括：
大模型应用框架提供了一组工具和库，用于构建、训练和部署大型语言模型。这些框架通常包括以下功能：
一些流行的大模型应用框架包括：
搭建大模型应用时可能会遇到以下问题：
解决这些问题的方法可能包括：
上下文压缩是一种减少模型参数数量和计算复杂度的技术，同时尽量保持模型的性能。这种方法通常涉及：
窗口上下文检索是一种在给定文本片段的上下文中检索相关信息的方法。实现窗口上下文检索通常涉及以下步骤：
RAG (Retrieval-Augmented Generation) 是一种结合了检索和生成的框架，用于提高大型语言模型生成文本的质量和相关性。开源的 RAG 框架包括：
LangChain 和 LlamaIndex 是大模型应用框架，它们提供了构建、训练和部署大型语言模型的工具和库。这些框架的优势包括：
一种科学的方法是进行实验和评估，通过比较不同文档块大小对检索效果、效率和用户体验的影响，来确定最佳的分块大小。
LangChain 是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和 API 结合，以完成更复杂的任务。
LangChain Agent 是一种可以执行一系列操作以完成复杂任务的程序。它可以根据给定的输入和上下文，选择合适的工具和策略来生成响应或执行操作。
LangChain model 指的是在 LangChain 框架中使用的大型语言模型，如 GPT-3 或类似的模型。这些模型通常用于生成文本、回答问题或执行特定的语言任务。
LangChain 的替代方案包括其他用于构建和运行大型语言模型应用的开源框架，例如 HuggingFace 的 Transformers 库、OpenAI 的 GPT-3 API 等。
Components 是可重用的模块，例如 API 调用、数据库查询等。Chains 是将多个 Components 链接在一起以完成特定任务的流程。
Prompt Templates 是用于指导语言模型生成输出的文本模板。Values 是填充 Prompt Templates 中的变量的实际值。
Example Selectors 是从一组示例中选择一个或多个示例的工具。它们可以用于提供上下文或示例，以帮助语言模型生成更准确的输出。
Output Parsers 是解析和提取语言模型输出的工具。它们可以将语言模型的输出转换为更结构化和有用的形式。
Indexes and Retrievers 是用于存储和检索信息的索引和数据检索器。它们可以用于提供上下文或从大量数据中检索相关信息。
Chat Message History 是存储和跟踪聊天消息历史的工具。它可以用于维护对话的上下文，以便在多轮对话中提供连贯的响应。
Agents and Toolkits 是提供特定领域功能的代理和工具集。Agents 是一系列可以执行的操作，而 Toolkits 则是为这些操作提供接口和实现的工具集合。
LangChain 通过定义好的 Prompt Templates 向 LLMs 发送指令，LLMs 根据这些指令生成文本回复。LangChain 还可以使用 Output Parsers 来解析和格式化 LLMs 的输出。
在 LangChain 中，可以通过修改 Prompt Templates 的文本内容或变量来定制提示。
LangChain 通过构建 Chains 来链接多个 Components。每个 Component 执行一个特定的任务，然后将输出传递给链中的下一个 Component，直到完成整个任务。
LangChain 可以使用嵌入函数将文本数据转换为向量，并将这些向量存储在向量存储库中。这样做的目的是为了能够高效地检索和查询文本数据。
Flash Attention 是一种用于加速自然语言处理模型中自注意力机制的推理过程的优化技术。它通过减少计算量和内存需求，使得在有限的资源下能够处理更长的序列。Flash Attention 使用了一种有效的矩阵乘法算法，可以在不牺牲准确性的情况下提高推理速度。
Paged Attention 是一种用于处理长序列的优化技术。它将注意力矩阵分页，使得只有当前页的注意力分数被计算和存储，从而大大减少了内存需求。这种方法可以在不增加计算成本的情况下处理比内存容量更大的序列。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
