LLM 大模型学习精要：基础概念与优化实践

2.4 Code 模型

Code 模型在模型的预训练和 SFT（Supervised Fine-Tuning）中加入了更多的代码数据占比，在代码的一系列任务，比如代码补齐、代码纠错，以及零样本完成编程任务指令。同时，根据不同的代码语言，也会有 python、java 等更多的专业语言代码模型。

3. 使用 LLM 及优化 LLM 输出效果

大语言模型是根据跨学科的海量的文本数据训练而成的，这也让大语言模型被大家认为最接近'AGI'的人工智能。然而，针对大语言模型，我们希望更好的使用 LLM，让 LLM 更好的遵循我们的指令，按照我们可控的方式和特定行业的知识输出答案。

3.1 模型推理

模型推理指利用训练好的模型进行运算，利用输入的新数据来一次性获得正确结论的过程。

流程如下：

1. 分词器将提示拆分为标记列表。根据模型的词汇表，某些单词可能会被拆分为多个标记。每个令牌都由一个唯一的数字表示。
2. 每个数字标记都会转换为 embedding 向量。embedding 向量是固定大小的向量，以 LLM 更有效处理的方式表示标记。所有 embedding 一起形成 embedding 矩阵。
3. 嵌入矩阵用作 Transformer 的输入。Transformer 是一个神经网络，是 LLM 的核心。Transformer 由多层 layer 组成。每层都采用输入矩阵并使用模型参数对其执行各种数学运算，最值得注意的是 self-attention 机制。该层的输出用作下一层的输入。
4. 最终的神经网络将 Transformer 的输出转换为 logits。每个可能的下一个标记都有一个相应的 logit，它表示该标记是句子'正确'延续的概率。
5. 使用多种采样技术之一从 logits 列表中选择下一个标记。
6. 所选 token 作为输出返回。要继续生成 token，请将所选令牌附加到步骤 (1) 中的令牌列表，然后重复该过程。这可以继续下去，直到生成所需数量的 token，或者 LLM 发出特殊的流结束 (EOS) 令牌。

3.2 Prompt（提示词）

prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，比如'使用李白的口吻，写一首描述杭州的冬天的诗'。开源大模型引入了 system 消息和人工 prompt 的概念，可以根据提示提供更多的控制。

3.3 Few-shot Prompt

通过在 prompt 中增加一些输入和首选的优质输出的示例，可以增强 LLM 的回答效果，更好的遵循我们的指令。但是更多的示例，会收到 LLM 的上下文窗口的限制，更多的 token 也会增加算力的消耗，也会影响 LLM 的响应速度。

3.4 LLM+RAG

大型语言模型 (LLM) 演示显着的能力，但面临诸如此类的挑战：幻觉、过时的知识以及不透明、无法追踪的推理过程。检索增强生成 (RAG) 通过整合来自外部数据库的知识成为一个有前途的解决方案，这增强了模型的准确性和可信度，特别是对于知识密集型任务，并且允许知识的不断更新和整合特定领域的信息。RAG 协同作用将 LLM 的内在知识与广泛的、外部数据库的动态存储库。

3.5 模型微调

微调是我们向开源的 LLM 的 CKPT 提供更多的数据，使他具备额外的知识，或者改变他的一些原来的生成结果。

微调会改变模型的权重，并可以更好的控制模型的生成结果。对比 few-shot prompting 的方式，也可以解决通过 few-shot prompting 方式带来的 token 消费高，模型响应速度慢，以及上下文窗口不够的问题。

微调也会产生一些意想不到的结果，并有可能导致模型的通用能力下降，所以需要客观的评估模型微调的结果。

常见的微调框架集成了各种高效的微调方法，如 LoRA、QLoRA 等，以及开箱即用的训练推理脚本，使开发者可以在单张商业级显卡上微调推理 LLM 模型。

3.6 模型量化

模型量化是使用低精度数据类型（例如 8 位整数 (int8)）而不是传统的 32 位浮点 (float32) 表示来表示模型中的权重、偏差和激活的过程。通过这样做，它可以明显减少推理过程中的内存占用和计算需求，从而能够在资源受限的设备上进行部署。模型量化在计算效率和模型精度之间取得微妙的平衡。目前主要使用的 LLM 开源量化工具主要有：bnb，GPTQ，AWQ。

3.7 模型评估

LLM 评估技术是研究和改进 LLM 的关键环节。LLM 的评估是一项复杂的任务，需要考虑多个方面的评估维度和任务类型，如文本对话、文本生成、多模态场景、安全问题、专业技能（coding/math）、知识推理等。

LLM 评估通常可以人工评估和自动评估两大类。其中，自动评估（Automatic evaluation）技术又可以分为 rule-based 和 model-based 的方式。其中，rule-based 主要面向客观题评价，评测题目通常包含标准答案；model-based 方法主要用于评价主观题，如复杂知识推理、多轮会话、文本生成等，通过专家模型（Expert model）来评价目标 LLM 的生成效果。

一套成熟的 LLM 评估框架专注于使用自动评估方法来评估 LLM 在各个任务上的表现。其特性包括轻量化、易于定制、预置丰富的评估指标、Model-based 模式提供多种评价模式以及可视化报告。

3.8 模型推理加速和部署

大语言模型支持将模型托管在服务器或者云上，并创建 API 接口或者 Web 应用提供给用户与模型交互。

针对不同开发者的模型部署方案包括：

1. 无代码部署：可以通过简单的选择 0 代码的方式，即可部署模型到云上并生成供应用程序使用的 API 接口，支持弹性扩缩容和按需调用。
2. SDK 部署：支持通过 Python SDK 在云上部署模型。
3. 推理加速：支持更快更高效的 LLM 推理服务，基于 vLLM，开发者可以通过一行代码实现针对大语言模型部署。
4. 多端异构部署：支持对 LLM 的 GGUF 和 GGML 各种部署，支持将模型部署到 CPU 甚至个人笔记本电脑上。
5. 分布式多模型部署：支持一行代码部署大语言模型，支持 Web UI 和 OpenAI 兼容的 RESTful API。

3.9 模型应用 - Agent

AgentFabric 是一个交互式智能体框架，用于方便地创建针对各种现实应用量身定制智能体。AgentFabric 围绕可插拔和可定制的 LLM 构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric 提供的交互界面包括：

• 智能体构建器：一个自动指令和工具提供者，通过与用户聊天来定制用户的智能体。
• 用户智能体：一个为用户的实际应用定制的智能体，提供构建智能体或用户输入的指令、额外知识和工具。
• 配置设置工具：支持用户定制用户智能体的配置，并实时预览用户智能体的性能。

4. 总结与展望

大模型技术正处于快速发展阶段，从基础模型的涌现到行业应用的落地，每一步都需要扎实的技术积累。掌握 LLM 的基础原理、优化技巧以及部署方案，是成为 AI 工程师或产品经理的关键。

未来，随着多模态能力的进一步增强、Agent 自主性的提高以及推理成本的降低，大模型将在更多垂直领域发挥核心价值。开发者应持续关注开源生态，积极参与社区建设，利用现有工具链快速验证想法，推动技术创新与产业进步。