大语言模型推理端的架构与实现，重点分析了 llama.cpp 的核心工作流程。内容涵盖从参数解析、模型加载、上下文创建到 Token 化、推理计算及结果输出的完整链路。深入探讨了 Transformer 架构中的 Attention 机制及其底层算子实现，包括 QKV 矩阵乘法、Softmax 及 Mask 操作。此外，文章还阐述了工程优化策略，如多硬件后端支持（CUDA/Metal/Vulkan）、LoRA 微调、KV Cache 管理及量化技术对显存占用的影响，并通过具体公式展示了显存估算方法，为开发者在资源受限环境下部署大模型提供了理论依据与实践参考。
Large Language Model（LLM），即大语言模型，典型代表包括 ChatGPT、Llama 系列等。推理端是指模型训练完成后，用于模型应用和部署的接口层。它负责在本地或服务器环境中加载模型权重，处理用户输入，并生成预测结果。
推理端实现了大语言模型的基本功能，包括文本生成、自动摘要、语言翻译、代码生成、问答系统等。与训练端不同，推理端更关注延迟、吞吐量以及资源占用效率，特别是在资源受限的边缘设备上运行。
目前主流的开源推理库包括 Llama.cpp 和 Gemma.cpp。
以 Llama.cpp 为例，LLM 推理端的工作流程大致相同，主要包含以下关键步骤。
|-- example
| |-- main
| |-- main.cpp # 推理 llama 2 的主函数入口
|-- ggml-alloc.c # 内存分配管理模块
|-- ggml-alloc.h
|-- llama.cpp # 整个 llama 的核心文件，包含所有重要 interface
|-- llama.h # 对外暴露的头文件
|-- ggml.c # 机器学习计算库，定义基础数据结构和函数
|-- ggml.h
|-- ggml-cuda.cu # CUDA 版本的 kernel 实现与调用
|-- ggml-cuda.h
|-- ggml-opencl.cpp # OpenCL 版本的 kernel 实现与调用
|-- ggml-metal.m # Apple Metal GPU 加速实现
|-- ... # 其他平台适配文件
参数控制推理过程的行为。例如，批量大小（batch size）影响吞吐量，温度（temperature）控制生成文本的随机性。
核心函数：gpt_params_parse()
常用用户参数：
--model: 指定模型文件路径。--color: 区分生成文本和输入文本的颜色。--interactive: 启用交互模式，允许连续对话。--prompt: 预设初始提示词。--file: 从文件读取提示词。加载模型是推理的第一步。模型文件通常经过量化处理（如 GGUF 格式），包含权重参数。
llama_model_params。llama_load_model_from_file() 加载模型文件到内存。llama_context 是整个推理过程的核心数据结构，存储了当前会话的状态。
llama_new_context_with_model(model, params)。n_ctx（上下文长度）和 n_batch（批处理大小）。将输入的文本数据转换为模型可理解的数值格式。
分词 (Tokenization)：
llama_tokenize() 对输入文本进行分词。token_id。嵌入 (Embedding)：
hidden_dim 的向量。(序列长度 * hidden_dim) 的张量。这是核心步骤，模型根据输入数据生成预测结果。
Prompt 阶段：
Generate 阶段：
关键函数：
llama_decode(): 执行前向传播计算。llama_build_graph(): 构建计算图（部分版本已集成）。llama_graph_compute(): 调度算子开始计算。计算结果是一组概率数组，表示预测下一个 token 的概率分布，存放在 llama_context 中。
对预测结果进行后处理，生成人类可读的文本。
采样 (Sampling)：
llama_sampling_sample()。反序列化：
llama_token_to_piece()。输出：
清理内存，防止泄漏。
llama_free(ctx) 释放上下文。llama_free_model(model) 释放模型权重。#include "llama.h"
#include <vector>
#include <string>
#include <iostream>
int main(int argc, char **argv) {
// 1. 解析参数
gpt_params params;
if (!gpt_params_parse(argc, argv, params)) {
return 1;
}
// 2. 加载模型
llama_model *model = nullptr;
model = llama_load_model_from_file(params.model.c_str(), params.params);
if (model == nullptr) {
fprintf(stderr, "%s: error: unable to load model\n", __func__);
return 1;
}
// 3. 创建上下文
llama_context *ctx = llama_new_context_with_model(model, params.params);
if (ctx == nullptr) {
fprintf(stderr, "%s: error: failed to create context\n", __func__);
llama_free_model(model);
return 1;
}
// 4. 处理输入 Prompt
const std::string input = "This is an example input.";
std::vector<llama_token> embd_input = llama_tokenize(ctx, input, true);
// 5. 推理
int n_past = 0;
for (size_t i = 0; i < embd_input.size(); ++i) {
llama_eval(ctx, &embd_input[i], 1, n_past, params.n_threads);
n_past += 1;
}
// 6. 采样生成
std::vector<llama_token> embd_gen;
while (true) {
llama_token id = llama_sampling_sample(llama_sampling_context, ctx);
if (id == llama_token_eos()) break;
string token_str = llama_token_to_piece(ctx, id);
printf("%s", token_str.c_str());
fflush(stdout);
embd_gen.push_back(id);
llama_eval(ctx, embd_gen.data(), embd_gen.size(), n_past, params.n_threads);
n_past += embd_gen.size();
embd_gen.clear();
}
// 7. 释放资源
llama_free(ctx);
llama_free_model(model);
return 0;
}
Llama 的基础模型架构是 Transformer。相比基础 Transformer，Llama 做了以下关键优化：
LLM 的核心是 Attention 计算。Attention 计算每个 token 相对其他 token 的重要程度，结果是一组权重向量。 公式：$Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$
在机器学习中，算子（Operator）通常指执行特定数学运算的函数。对象是张量（Tensor）。
Llama.cpp 通过 ggml_op 枚举定义了底层算子：
enum ggml_op {
GGML_OP_NONE = 0,
GGML_OP_DUP, // 复制
GGML_OP_ADD, // 加法
GGML_OP_MUL, // 乘法
GGML_OP_RMS_NORM, // RMS 归一化
GGML_OP_ROPE, // 旋转位置编码
GGML_OP_SOFT_MAX, // Softmax
GGML_OP_FLASH_ATTN, // Flash Attention 优化
GGML_OP_MUL_MAT, // 矩阵乘法
// ... 更多算子
};
CUDA 是 LLM 计算中最常采用的平台。Llama.cpp 的所有 CUDA 核函数实现在 ggml-cuda.cu 中。
算法流程拆分：
Q*K 矩阵乘法 (MatMul)
mul_mat_p021_f16_f32缩放 (Scale)
scale_f32Masking
diag_mask_inf_f32Softmax
soft_max_f32V*MatMul
mul_mat_vec_nc_f16_f32LLAMA.cpp 的目标是在资源受限的环境中高效运行 LLM。
通过宏定义切换不同的计算后端：
| 宏定义 | 说明 |
|---|---|
GGML_USE_CUBLAS | NVIDIA CUDA GPU 加速 |
GGML_USE_METAL | Apple Silicon GPU 加速 |
GGML_USE_VULKAN | 跨平台 Vulkan GPU 加速 |
GGML_USE_SYCL | Intel CPU/GPU 统一架构加速 |
LLAMA_AVX, AVX2 | CPU 指令集优化 |
在 llama_graph_compute() 中，系统会根据后端选择调用对应的算子实现，例如 CUDA 版本会跳过 CPU 计算直接调用 GPU Kernel。
LoRA (Low-Rank Adaptation)： 一种微调技术，冻结预训练模型权重，仅训练低秩分解矩阵。大幅减少计算资源和内存需求，适合垂直领域适配。
KV Cache 管理： 缓存 Attention 计算中产生的 Key 和 Value 张量。随着生成长度增加，KV Cache 占用显存线性增长。优化策略包括分页注意力（Paged Attention）或动态回收未使用的 Cache。
量化 (Quantization)： 将浮点数（如 FP32）转换为低精度表示（如 INT8, INT4）。
推理过程需要的显存主要由模型权重和 KV Cache 组成。
以 Llama 7B 模型为例：
KV Cache 显存计算： $$ \text{Memory} = \text{FP16} \times \text{hidden_dim} \times K,V \times \text{Layers} \times \text{context_length} $$ $$ = 2 \times 4096 \times 2 \times 32 \times 1024 \approx 512 \text{MB} $$
如果输入有 1024 个 token，仅 KV Cache 就需要约 512MB 显存。加上模型权重本身（7B * 2Bytes ≈ 14GB），总显存需求约为 14.5GB。若使用 INT4 量化，模型权重可降至约 4GB，极大降低了部署门槛。
LLM 推理端的实现涉及复杂的系统工程，从底层的算子优化到上层的业务逻辑封装。Llama.cpp 通过 C++ 实现和灵活的硬件后端支持，使得大模型能够在个人电脑甚至嵌入式设备上运行。理解其工作流程、数学原理及优化手段，对于开发者进行模型部署和性能调优至关重要。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online