本文涵盖大模型算法面试的核心领域，包括基础概念如 Transformer 架构、涌现能力、Prefix/Causal LM 区别；进阶话题涉及复读机问题、长文本处理及模型选择策略；深入探讨微调技术，涵盖全参数微调、SFT 数据构建、指令微调、PEFT 方法（LoRA、QLoRA、P-tuning 等）及灾难性遗忘缓解；同时解析 LangChain 应用、向量库检索优化、幻觉处理、推理显存管理及强化学习（RLHF）流程；最后补充评测标准、软硬件配置、Tokenizer 原理及 LayerNorm 变体等底层知识，为求职者提供系统化的复习框架。
目前主流的开源 LLM（语言模型）体系包括以下几个：
这些模型在自然语言处理领域取得了显著的成果，并被广泛应用于各种任务和应用中。
Prefix LM（前缀语言模型）和 Causal LM（因果语言模型）是两种不同类型的语言模型，它们的区别在于生成文本的方式和训练目标。
总结来说，前缀语言模型可以根据给定的前缀生成后续的文本，而因果语言模型只能根据之前的文本生成后续的文本。它们的训练目标和生成方式略有不同，适用于不同的任务和应用场景。
大模型的涌现能力主要是由以下几个原因造成的：
综上所述，大模型的涌现能力是由数据量的增加、计算能力的提升、模型架构的改进以及预训练和微调等因素共同作用的结果。这些因素的进步使得大模型能够更好地理解和生成文本，为自然语言处理领域带来了显著的进展。
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型 LLM 的架构介绍：
需要注意的是，大模型 LLM 的具体架构可能会因不同的研究和应用而有所不同。上述介绍的是一种常见的架构，但实际应用中可能会有一些变体或改进。
LLMs 复读机问题指的是大型语言模型（LLMs）在生成文本时出现的一种现象，即模型倾向于无限地复制输入的文本或者以过度频繁的方式重复相同的句子或短语。这种现象使得模型的输出缺乏多样性和创造性，给用户带来了不好的体验。
复读机问题可能出现的原因包括：
为了解决复读机问题，可以采取以下策略：
需要注意的是，复读机问题是大型语言模型面临的一个挑战，解决这个问题是一个复杂的任务，需要综合考虑数据、训练目标、模型架构和生成策略等多个因素。目前，研究人员和工程师们正在不断努力改进和优化大型语言模型，以提高其生成文本的多样性和创造性。
出现 LLMs 复读机问题可能有以下几个原因：
为了解决复读机问题，可以采取以下策略：
需要注意的是，复读机问题是大型语言模型面临的一个挑战，解决这个问题是一个复杂的任务，需要综合考虑数据、训练目标、模型架构和生成策略等多个因素。目前，研究人员和工程师们正在不断努力改进和优化大型语言模型，以提高其生成文本的多样性和创造性。
为了缓解 LLMs 复读机问题，可以尝试以下方法：
需要注意的是，缓解 LLMs 复读机问题是一个复杂的任务，没有一种通用的解决方案。不同的方法可能适用于不同的场景和任务，需要根据具体情况进行选择和调整。此外，解决复读机问题还需要综合考虑数据、训练目标、模型架构和生成策略等多个因素，需要进一步的研究和实践来提高大型语言模型的生成文本多样性和创造性。
理论上来说，LLMs（大型语言模型）可以处理任意长度的输入句子，但实际上存在一些限制和挑战。下面是一些相关的考虑因素：
尽管存在这些挑战，研究人员和工程师们已经在不断努力改进和优化 LLMs，以处理更长的句子。例如，可以采用分块的方式处理长句子，将其分成多个较短的片段进行处理。此外，还可以通过增加计算资源、优化模型结构和参数设置，以及使用更高效的推理算法来提高 LLMs 处理长句子的能力。
值得注意的是，实际应用中，长句子的处理可能还受到应用场景、任务需求和资源限制等因素的影响。因此，在使用 LLMs 处理长句子时，需要综合考虑这些因素，并根据具体情况进行选择和调整。
选择使用哪种大模型，如 Bert、LLaMA 或 ChatGLM，取决于具体的应用场景和需求。下面是一些指导原则：
在选择模型时，还需要考虑以下因素：
最佳选择取决于具体的应用需求和限制条件。在做出决策之前，建议先进行一些实验和评估，以确定哪种模型最适合你的应用场景。
各个专业领域通常需要各自的大模型来服务，原因如下：
尽管需要各自的大模型来服务不同领域，但也可以共享一些通用的模型和技术。例如，通用的大模型可以用于处理通用的文本任务，而领域特定的模型可以在通用模型的基础上进行微调和定制，以适应特定领域的需求。这样可以在满足领域需求的同时，减少模型的重复训练和资源消耗。
要让大模型处理更长的文本，可以考虑以下几个方法：
需要注意的是，处理长文本时还需考虑计算资源和时间的限制。较长的文本可能需要更多的内存和计算时间，因此在实际应用中需要根据具体情况进行权衡和调整。
要确定全参数微调所需的显存量，需要考虑以下几个因素：
综上所述，全参数微调所需的显存量取决于模型的大小、批量大小、训练数据的维度以及训练设备的显存限制。在进行全参数微调之前，建议先评估所需的显存量，并确保训练设备具备足够的显存来支持训练过程。
在进行 Supervised Fine-Tuning（SFT）之后，有时可能会观察到基座模型（如语言模型）的性能下降或产生一些'傻'的行为。这可能是由于以下原因：
为了解决这些问题，可以尝试以下方法：
通过这些方法，可以尽量减少 Supervised Fine-Tuning 之后模型出现'傻'的情况，并提高模型在新任务上的表现。
构建 Supervised Fine-Tuning（SFT）的微调数据需要以下步骤：
通过以上步骤，您可以构建适合 Supervised Fine-Tuning 的微调数据集，并使用该数据集对基座模型进行微调，以适应特定任务的需求。
在领域模型的 Continue PreTrain 过程中，数据选取是一个关键的步骤。以下是一些常见的数据选取方法：
在数据选取过程中，需要根据具体任务和需求进行适当的调整和定制。选择合适的数据可以提高模型在特定领域上的性能和泛化能力。
当使用领域数据进行训练后，模型往往会出现遗忘通用能力的问题。以下是一些缓解模型遗忘通用能力的方法：
综合使用上述方法，可以在一定程度上缓解模型遗忘通用能力的问题，使得模型既能够适应特定领域的任务，又能够保持一定的通用能力。
在领域模型的 Continue PreTrain 过程中，可以采取一些策略来让模型在预训练过程中学习到更多的知识。以下是一些方法：
综合使用上述方法，可以让模型在预训练过程中学习到更多的知识和语言规律，提升其在领域任务上的性能。
在进行 Supervised Fine-Tuning（SFT）操作时，基座模型的选择也可以根据具体情况来决定。与之前的 SFT 操作不同，这次的目标是在特定的监督任务上进行微调，因此选择基座模型时需要考虑任务的性质和数据集的特点。
如果您的监督任务是对话生成相关的，比如生成对话回复或对话情感分类等，那么选择 ChatGPT 模型作为基座模型可能更合适。ChatGPT 模型在对话生成任务上进行了专门的优化和训练，具有更好的对话交互能力。
然而，如果您的监督任务是单轮文本生成或非对话生成任务，那么选择 Base GPT 模型作为基座模型可能更合适。Base GPT 模型在单轮文本生成和非对话生成任务上表现良好，可以提供更准确的文本生成能力。
总之，基座模型的选择应该根据监督任务的性质和数据集的特点进行权衡。如果任务是对话生成相关的，可以选择 ChatGPT 模型作为基座模型；如果任务是单轮文本生成或非对话生成，可以选择 Base GPT 模型作为基座模型。
领域模型微调是指使用预训练的通用语言模型（如 BERT、GPT 等）对特定领域的数据进行微调，以适应该领域的任务需求。以下是领域模型微调的指令和数据输入格式的要求：
准备微调数据：收集和标注与领域任务相关的数据，确保数据集具有代表性和多样性。 数据预处理：根据任务的要求，对数据进行预处理，例如分词、去除停用词、词干化等。 划分数据集：将数据集划分为训练集、验证集和测试集，用于模型的训练、验证和评估。 模型微调：使用预训练模型和微调数据对模型进行微调，调整超参数并进行训练。 模型评估：使用测试集评估微调后的模型的性能，计算适当的评估指标，如准确率、召回率等。 模型应用：将微调后的模型应用于实际任务，在新的输入上进行预测或生成。
构建领域评测集的过程可以参考以下步骤：
需要注意的是，构建领域评测集是一个耗时且需要专业知识的过程。在进行领域模型微调之前，建议与领域专家合作，确保评测集的质量和有效性。此外，还可以参考相关研究论文和公开数据集，以获取更多关于领域评测集构建的指导和经验。
重复以上步骤，不断优化模型，直到达到满意的评测结果为止。
领域模型的词表扩增可以有助于提升模型在特定领域任务上的性能，但是否有必要取决于具体的情况。以下是一些考虑因素：
需要注意的是，词表扩增可能会增加模型的计算和存储成本。因此，在决定是否进行词表扩增时，需要综合考虑领域特定词汇的重要性、数据稀缺性以及计算资源的限制等因素。有时候，简单的词表截断或者使用基于规则的方法来处理领域特定词汇也可以取得不错的效果。最佳的词表扩增策略会因特定任务和领域的需求而有所不同，建议根据具体情况进行评估和实验。
训练自己的大模型通常需要以下步骤：
需要注意的是，训练自己的大模型通常需要大量的计算资源和时间。可以考虑使用云计算平台或者分布式训练来加速训练过程。此外，对于大模型的训练，还需要仔细选择合适的超参数和进行调优，以避免过拟合或者欠拟合的问题。
训练中文大模型时，以下经验可能会有所帮助：
需要注意的是，中文的复杂性和语义特点可能会对模型的训练和性能产生影响。因此，在训练中文大模型时，需要充分理解中文语言的特点，并根据具体任务和需求进行调整和优化。同时，也可以参考相关的中文自然语言处理研究和实践经验，以获取更多的指导和启发。
在大模型训练中进行指令微调（Instruction Fine-tuning）的好处包括：
指令微调的好处在于在大模型的基础上进行个性化调整，以适应特定任务的需求和提升性能，同时还能节省训练时间和资源消耗。
在大模型训练过程中，知识注入通常是在预训练阶段进行的。具体来说，大模型的训练一般包括两个阶段：预训练和微调。
在预训练阶段，使用大规模的通用数据对模型进行训练，以学习语言知识和表示能力。这一阶段的目标是通过自监督学习或其他无监督学习方法，让模型尽可能地捕捉到数据中的统计规律和语言结构，并生成丰富的语言表示。
在预训练阶段，模型并没有针对特定任务进行优化，因此预训练模型通常是通用的，可以应用于多个不同的任务和领域。
在微调阶段，使用特定任务的数据对预训练模型进行进一步的训练和调整。微调的目标是将预训练模型中学到的通用知识和能力迁移到特定任务上，提升模型在目标任务上的性能。
在微调阶段，可以根据具体任务的需求，调整模型的参数和结构，以更好地适应目标任务的特点。微调通常需要较少的任务数据，因为预训练模型已经具备了一定的语言理解和泛化能力。
因此，知识注入是在预训练阶段进行的，预训练模型通过大规模通用数据的训练，学习到了丰富的语言知识和表示能力，为后续的微调阶段提供了基础。微调阶段则是在预训练模型的基础上，使用特定任务的数据进行进一步训练和调整，以提升性能。
如果你想让大语言模型学习某个特定领域或行业的知识，通常建议进行微调而不是预训练。
预训练阶段是在大规模通用数据上进行的，旨在为模型提供通用的语言理解和表示能力。预训练模型通常具有较强的泛化能力，可以适用于多个不同的任务和领域。然而，由于预训练模型是在通用数据上进行训练的，其对特定领域的知识和术语可能了解有限。
因此，如果你希望大语言模型能够学习某个特定领域或行业的知识，微调是更合适的选择。在微调阶段，你可以使用特定领域的数据对预训练模型进行进一步训练和调整，以使模型更好地适应目标领域的特点和需求。微调可以帮助模型更深入地理解特定领域的术语、概念和语境，并提升在该领域任务上的性能。
微调通常需要较少的任务数据，因为预训练模型已经具备了一定的语言理解和泛化能力。通过微调，你可以在预训练模型的基础上，利用特定领域的数据进行有针对性的调整，以使模型更好地适应目标领域的需求。
总之，如果你希望大语言模型学习某个特定领域或行业的知识，建议进行微调而不是预训练。微调可以帮助模型更好地适应目标领域的特点和需求，并提升在该领域任务上的性能。
微调大语言模型用于多轮对话任务时，可以采用以下步骤：
需要注意的是，微调大语言模型用于多轮对话任务时，数据集的质量和多样性对模型性能至关重要。确保数据集包含各种对话场景和多样的对话历史，以提高模型的泛化能力和适应性。
此外，还可以使用一些技巧来增强模型性能，如数据增强、对抗训练、模型融合等。这些技巧可以进一步提高模型在多轮对话任务上的表现。
灾难性遗忘（Catastrophic Forgetting）是指在模型微调过程中，当模型在新任务上进行训练时，可能会忘记之前学习到的知识，导致在旧任务上的性能下降。这种现象常见于神经网络模型的迁移学习或连续学习场景中。
在微调大语言模型时，灾难性遗忘可能出现的原因包括：
为了解决灾难性遗忘问题，可以尝试以下方法：
综上所述，灾难性遗忘是在模型微调过程中可能出现的问题。通过合适的方法和技术，可以减少灾难性遗忘的发生，保留之前学习到的知识，提高模型的整体性能。
微调大语言模型所需的显存大小取决于多个因素，包括模型的大小、批次大小、序列长度和训练过程中使用的优化算法等。
对于大型语言模型，如 GPT-2、GPT-3 等，它们通常具有数亿或数十亿个参数，因此需要大量的显存来存储模型参数和梯度。一般来说，微调这些大型语言模型需要至少 16GB 以上的显存。
此外，批次大小和序列长度也会对显存需求产生影响。较大的批次大小和较长的序列长度会占用更多的显存。如果显存不足以容纳整个批次或序列，可能需要减小批次大小或序列长度，或者使用分布式训练等策略来解决显存不足的问题。
需要注意的是，显存需求还受到训练过程中使用的优化算法的影响。例如，如果使用梯度累积（Gradient Accumulation）来增加批次大小，可能需要更大的显存来存储累积的梯度。
综上所述，微调大语言模型所需的显存大小取决于模型的大小、批次大小、序列长度和训练过程中使用的优化算法等因素。在进行微调之前，需要确保显存足够大以容纳模型和训练过程中的数据。如果显存不足，可以考虑减小批次大小、序列长度或使用分布式训练等策略来解决显存不足的问题。
在大语言模型（LLM）进行有监督微调（Supervised Fine-Tuning）时，模型主要学习以下内容：
总的来说，有监督微调阶段主要通过任务特定的标签预测、上下文理解和语言模式、特征提取和表示学习以及任务相关的优化来进行学习。通过这些学习，模型可以适应特定的任务，并在该任务上表现出良好的性能。
大语言模型的预训练和有监督微调（Supervised Fine-Tuning）是两个不同的操作，它们在目标、数据和训练方式等方面存在一些区别。
总的来说，预训练和有监督微调是大语言模型训练的两个阶段，目标、数据和训练方式等方面存在差异。预训练阶段通过无监督学习从大规模文本数据中学习语言模型，而有监督微调阶段则在特定任务上使用带有标签的数据进行有监督学习，以适应任务要求。
当在大语言模型训练过程中，样本量规模增大导致内存不足的情况出现时，可以考虑以下几种解决方案：
综上所述，当在大语言模型训练中遇到内存不足的问题时，可以通过减小批量大小、分布式训练、内存优化技术、减少模型规模、增加硬件资源或优化数据处理等方式来解决。具体的解决方案需要根据具体情况进行选择和调整。
对于大语言模型进行有监督微调（Supervised Fine-Tuning）时，可以采用以下几种方式对样本进行优化：
总的来说，对大语言模型进行有监督微调时，可以通过数据清洗和预处理、数据增强、标签平衡、样本选择、样本权重、样本组合和分割、样本筛选和策略等方式对样本进行优化。这些优化方法可以提高训练样本的质量、多样性和数量，从而提升模型的性能和泛化能力。具体的优化策略需要根据任务需求和数据特点进行选择和调整。
模型参数迭代实验是指通过多次迭代更新模型参数，以逐步优化模型性能的过程。在实验中，可以尝试不同的参数更新策略、学习率调整方法、正则化技术等，以找到最佳的参数配置，从而达到更好的模型性能。
下面是一个基本的模型参数迭代实验过程：
通过模型参数迭代实验，可以逐步优化模型性能，找到最佳的参数配置。在实验过程中，需要注意过拟合和欠拟合等问题，并及时调整模型结构和正则化技术来解决。同时，要进行合理的实验设计和结果分析，以得到可靠的实验结论。
大语言模型的模型幻觉问题是指其可能生成看似合理但实际上不准确或不符合事实的内容。这是由于大语言模型在训练过程中接触到的数据源的偏差、噪声或错误所导致的。处理大语言模型的模型幻觉问题需要采取一些方法和策略，以下是一些建议：
这些方法可以帮助减少大语言模型的模型幻觉问题，但并不能完全消除。因此，在使用大语言模型时，仍然需要谨慎评估生成结果的准确性和可靠性，并结合人工的审核和后处理来确保生成内容的质量。
基于大语言模型和向量库的文档对话可以通过以下实现思路：
通过以上实现思路，可以构建一个基于大语言模型和向量库的文档对话系统，使用户能够方便地进行文档检索、推荐和对话交互。具体的实现细节和技术选择会根据具体的应用场景和需求来确定。
基于大语言模型和向量库的文档对话的核心技术包括以下几个方面：
这些技术共同构成了基于大语言模型和向量库的文档对话系统的核心。通过结合这些技术，可以实现文档的检索、推荐和对话交互，提供更智能和个性化的文档服务。
构建基于大语言模型和向量库的文档对话的 prompt 模板可以考虑以下几个方面：
通过这些方面的考虑，可以构建多个不同的 prompt 模板，以满足不同类型和内容的查询需求。在实际应用中，可以根据具体的场景和数据进行调整和优化，以提供更准确和有针对性的查询模板。
在基于大语言模型和向量库的文档对话中，确实需要在文档切分的粒度上进行权衡。如果切分得太细，可能会引入较多的噪声；如果切分得太粗，可能会丢失一些重要的语义信息。以下是一些解决方案：
综上所述，解决文档切分粒度的问题需要综合考虑预处理、主题建模、上下文信息、动态切分等多个因素，并通过实验和优化来找到最佳的平衡点，以保留足够的语义信息同时减少噪声的影响。
如果在垂直领域中，基于 LLM（Language Model + Retrieval）和向量库的文档对话表现不佳，可以考虑以下方法来改进：
总之，通过领域特定训练、增加领域知识、优化检索算法、数据增强和样本平衡、引入外部知识库以及收集用户反馈和迭代优化等方法，可以改进基于 LLM 和向量库的文档对话在垂直领域中的表现。这些方法可以根据具体情况灵活应用，以提高对话系统的准确性和适应性。
如果您在使用 Langchain 内置的问答分句功能时发现效果不佳，可以尝试以下方法来改善：
总之，通过调整输入、引入标点符号、使用自定义规则、结合其他工具、使用上下文信息以及收集反馈和调整模型等方法，可以改善 Langchain 内置的问答分句效果。这些方法可以根据具体情况灵活使用，以提高分句的准确性和效果。
要尽可能召回与 query 相关的 Document，可以采取以下方法：
总之，通过建立索引、关键词匹配、向量化表示、上下文建模、查询扩展、语义匹配、实时反馈和多模态信息利用等方法，可以尽可能召回与 query 相关的 Document。这些方法可以单独使用，也可以结合起来，以提高召回的准确性和覆盖率。
要让 LLM 基于 query 和 context 得到高质量的 response，可以采取以下方法：
总之，通过合适的数据准备、模型架构选择、微调和优化、上下文建模、评估和反馈、多模态信息利用以及引入外部知识和资源等方法，可以帮助 LLM 基于 query 和 context 得到高质量的 response。
LoRA（Low-Rank Adaptation）是一种参数高效微调方法，它通过在预训练模型权重旁路中添加低秩分解矩阵来适应下游任务，从而大幅减少可训练参数的数量。
LoRA 的核心思想是假设模型权重的更新矩阵具有较低的内蕴秩。因此，它冻结了预训练模型的权重，并在每一层旁边添加了两个低秩矩阵（A 和 B），通过这两个矩阵的乘积来近似权重的更新量。
QLoRA（Quantized LoRA）在 LoRA 的基础上引入了 4-bit 量化技术，进一步降低了显存占用，使得在消费级显卡上微调大模型成为可能。
AdaLoRA（Adaptive LoRA）通过动态调整低秩矩阵的形状和重要性，进一步优化了参数效率和性能，避免了固定秩带来的局限性。
是的，LoRA 权重可以合入原模型。由于 LoRA 本质上是权重的增量更新，训练完成后，可以通过矩阵加法将 LoRA 权重合并到原始模型权重中，从而得到一个完整的微调模型，便于部署和推理。
ChatGLM-6B 经过 LoRA 微调后，额外的权重文件通常非常小，一般在几十 MB 到几百 MB 之间，远小于原始模型的大小（约 10GB+）。具体大小取决于 LoRA 的秩（Rank）和适配器的数量。
由于可训练参数极少，梯度计算和优化的开销大大降低，从而加速了训练过程。同时，低秩矩阵的更新也减少了内存访问的带宽压力。
可以直接加载已有的 LoRA 权重作为初始状态，继续使用新的数据进行微调。需要注意的是，如果更换了任务或数据分布差异较大，可能需要调整学习率或重新初始化部分参数。
提示学习旨在通过设计合适的输入提示（Prompt），引导预训练模型完成特定任务，无需或仅需少量参数更新。这利用了预训练模型已有的知识，降低了微调的成本。
提示学习是一种范式，将下游任务转化为预训练模型的自然语言生成任务。通过构造包含任务描述和示例的 Prompt，让模型直接输出答案。
主要包括硬提示（Hard Prompt）、软提示（Soft Prompt/Prompt Tuning）、P-tuning 等。硬提示使用离散 token，软提示使用可学习的连续向量。P-tuning 则结合了两者，在输入层插入可学习的连续向量。
前缀微调旨在通过在前缀位置插入可学习的连续向量，引导模型生成特定输出，同时保持主干网络参数冻结。
在每一层的输入中，除了原始 token 的 embedding，还加入了一组可学习的 prefix embeddings，这些向量与原始输入拼接后进入模型。
指示微调进一步简化了提示学习，专注于通过可学习的连续向量来模拟提示词，无需离散 token。
将提示词替换为一组可学习的连续向量，这些向量在训练过程中优化，推理时与输入拼接。
Prefix-tuning 在每一层都插入前缀向量，而 Prompt-tuning 通常在输入层插入。Prefix-tuning 通常能更好地利用深层语义。
Fine-tuning 更新所有模型参数，而 Prompt-tuning 仅更新提示向量，冻结主干。
P-tuning 结合了 Prompt-tuning 和 Prefix-tuning 的优点，在输入层插入可学习的连续向量，以更好地引导模型。
在输入 Embedding 层之前插入一组可学习的连续向量，这些向量与原始输入拼接后进入模型。
P-tuning v2 改进了 P-tuning 的训练稳定性和性能，通过引入多层前缀和残差连接。
在每一层都插入前缀向量，并引入残差连接，使优化更容易。
适配器微调通过在 Transformer 层中插入小型的适配器模块，在不改变原有结构的前提下实现高效微调。
在每个 Transformer 层后插入一个由下采样、非线性激活和上采样组成的适配器模块，仅训练这些模块的参数。
AdapterFusion 通过组合多个任务的适配器参数，实现多任务学习，避免灾难性遗忘。
AdapterDrop 在训练过程中动态移除浅层的适配器，以加速推理并减少冗余。
MAM Adapter 通过引入门控机制，自适应地调整适配器对输出的贡献。
微调方法包括全参数微调、PEFT（如 LoRA、P-tuning 等）。全参数微调更新所有权重，PEFT 仅更新部分参数。微调流程通常包括数据准备、模型加载、训练配置、执行训练、评估和部署。
PEFT（Parameter-Efficient Fine-Tuning）旨在解决大模型微调成本高、显存需求大的问题，使得在有限资源下适配大模型成为可能。
PEFT 是一类技术的总称，包括 LoRA、Adapter、Prompt Tuning 等，核心思想是冻结预训练模型主体，仅训练少量新增参数。
不同微调方法对显存需求不同。全参数微调显存需求最高，LoRA 次之，Prompt Tuning 最低。批处理大小受显存限制，速度方面 PEFT 通常更快。
全量微调更新所有参数，PEFT 仅更新少量参数。全量微调性能上限可能更高，但 PEFT 性价比更高。
| 方法 | 参数量 | 显存需求 | 推理速度 | 适用场景 |
|---|---|---|---|---|
| Full Fine-tuning | 100% | 高 | 无损失 | 资源充足，追求极致性能 |
| LoRA | <1% | 中 | 无损失 | 通用，推荐首选 |
| P-tuning | <1% | 低 | 略慢 | 文本生成任务 |
| Adapter | ~1% | 中 | 略慢 | 多任务学习 |
主要包括 LoRA（低秩矩阵）、Adapter（插入模块）、Prompt Tuning（连续向量）、Prefix Tuning（多层前缀）等。选择依据是任务类型、资源限制和性能需求。
推理时显存占用主要来自模型权重、KV Cache（键值缓存）和中间激活值。KV Cache 随生成长度线性增长，且推理结束后若不释放会持续占用。此外，框架优化不足也会导致碎片化显存。
GPU 推理速度远快于 CPU，尤其是批量推理。CPU 推理通常较慢，适合小规模或边缘场景。量化后可在 CPU 上运行，但速度仍受限。
Int8 推理通常比 fp16 快，因为计算密度更高且显存占用更低。但精度可能略有下降，需权衡速度与准确性。
大模型本身具备推理能力，指其能根据输入生成逻辑连贯的输出。但这更多是概率预测，而非人类式的逻辑推理。可通过思维链（CoT）等提示工程增强推理表现。
常用参数包括 Temperature（温度）、Top-P（核采样）、Top-K（候选词数）、Max Tokens（最大长度）。Temperature 越高越随机，Top-P 控制累积概率阈值。
从 API 调用转向私有化部署，或从云端转向边缘端，需考虑延迟、成本和安全性。
评测包括自动化指标（BLEU、ROUGE、Perplexity）和人工评估（相关性、流畅度、有用性）。常用基准如 MMLU、GLUE、SuperGLUE。
Honesty 原则通过 RLHF 中的奖励模型训练，鼓励模型承认未知，拒绝编造事实。也可通过检索增强生成（RAG）确保信息来源可靠。
模型本身难以区分已知与未知。可通过训练拒答机制（Refusal Mechanism），或在 RAG 中结合检索置信度判断。训练时可引入'不知道'样本。
通常奖励模型（RM）与基础模型架构一致，但参数不同。RM 用于打分，基础模型用于生成。
通常为 JSONL，包含 instruction、input、output 字段。
包含 prompt、chosen（优选回答）、rejected（劣选回答）。
类似 SFT，但需包含 reward 信号。
视任务而定，简单任务几百条，复杂任务数千至数万条。
选择高质量、高相关性的领域文档、论文、报告等。
BPE 通过迭代合并高频字节对来构建词表，平衡了词表和压缩率。
WordPiece 类似 BPE，常用于 BERT，注重子词分割。
SentencePiece 基于 Unicode 字符，不依赖空格分词，支持无空格语言。
从字符开始，统计共现频率，合并最高频对，直至达到词表大小。
相同点：都是子词分词。不同点：WordPiece 基于概率最大化，BPE 基于频率。
将文本视为字符序列，使用 Unigram 或 BPE 算法训练，支持控制词表大小。
主要在于词表构建算法和对空格的 handling 方式。
Pre-LN 在残差连接前，训练更稳定；Post-LN 在残差连接后，推理稍快。
Layer Norm 对单个样本的特征维度进行归一化，消除特征间的尺度差异。
RMSNorm 去掉了均值中心化，仅除以均方根，计算更高效，常用于 LLaMA。
Deep Norm 通过缩放层归一化参数，支持更深网络训练。
$\text{LN}(x) = \frac{x - \mu}{\sigma} \cdot \gamma + \beta$
$\text{RMSNorm}(x) = \frac{x}{\sqrt{\text{mean}(x^2) + \epsilon}} \cdot \gamma$
RMSNorm 计算量更小，无需减去均值，适合大模型。
在每层归一化后乘以缩放因子，随层数增加调整幅度。
def deep_norm(x, scale):
return x * scale / torch.sqrt(torch.mean(x**2))
包括 Standard LN、RMSNorm、DeepNorm 等变体。
包括 Pre-LN 和 Post-LN 两种放置位置。
| 方法 | 计算量 | 稳定性 | 适用场景 |
|---|---|---|---|
| Layer Norm | 中 | 高 | 通用 |
| RMS Norm | 低 | 高 | 大模型 |
| Deep Norm | 中 | 极高 | 超深网络 |
位置编码用于赋予序列中 token 位置信息，因为 Transformer 的自注意力机制本身不具备顺序感知能力。
为每个位置添加固定的或可学习的向量，如 Sinusoidal Positional Encoding。
编码 token 之间的相对距离，如 Transformer-XL 中的相对位置编码。
RoPE 通过将位置信息融入向量旋转，使得相对位置关系在点积中体现，兼具绝对和相对优势。
$\text{RoPE}(x_m, m) = \begin{bmatrix} \cos(m\theta) & -\sin(m\theta) \ \sin(m\theta) & \cos(m\theta) \end{bmatrix} \begin{bmatrix} x_{m,0} \ x_{m,1} \end{bmatrix}$
LLaMA、Qwen、Baichuan 等主流开源模型均采用 RoPE。
指模型在训练长度之外进行推理时，性能急剧下降的现象。
在注意力分数中加上与距离成正比的线性偏置，无需学习位置编码。
偏置矩阵 $B_{ij} = -m \times |i-j|$，其中 $m$ 为斜率。作用是抑制远距离 token 的影响。
PaLM、GPT-J 等模型曾使用。
使用 Hugging Face Transformers 库，或通过 API 调用云服务（如 OpenAI、Azure、阿里云百炼）。
过多重复会导致过拟合和多样性下降，建议去重和清洗。
视任务复杂度，通常百万级 Token 起步，高质量数据更有效。
本文涵盖了大模型算法面试的核心知识点，从基础理论到工程实践，从微调技术到推理优化。建议读者结合实际项目经验深入理解，并持续关注最新研究进展。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online