本文解析了 LLAMA 大语言模型的推理入门知识。文章介绍了 LLM 的基本定义及 Decoder-only 架构特点，详细阐述了 Tokenization、Embedding、Self-Attention、RMSNorm 和残差连接等核心组件的工作原理。重点补充了 LLM 推理过程中的关键机制，包括自回归生成流程、KV Cache 优化技术以及 Greedy Search、Beam Search、Temperature、Top-K/P 等解码策略。内容旨在帮助开发者从部署角度理解大模型技术细节，不涉及训练过程。
本文借助 LLAMA 模型快速入门 LLM（Large Language Model，大语言模型）的推理过程。技术细节很多都是通用的，也适合其他的 LLM。本篇主要关注从部署和推理的角度考虑这个模型。
LLAMA 是 LLM 的一种结构，其核心任务是在阅读前 n 个单词后预测句子中下一个单词。输出取决于过去和现在的输入，与未来无关。这是一个自回归（Autoregressive）的过程。
每次输入模型会带上上一次输出的结果，这与 CV（计算机视觉）模型不同，CV 模型通常输入一次即可得到结果，而 LLM 需要迭代生成。
一般来说，LLM 模型主要由两个块组成：
LLAMA 属于 Decoder-only models，只有 decoder 层。
LLAMA 的 decoder 部分的结构取自 Transformer。对于 Llama 来说，重点关注以下几个概念：
分词器可将原始文本转换为由 token 组成的文本的初始数值表征。LLAMA 的分词器基于字节级的字节对编码（Byte-Pair Encoding, BPE）。
在代码实现中，调用 AutoTokenizer.from_pretrained 获取分词器。例如：
tokenizer = AutoTokenizer.from_pretrained(args.model, use_fast=False)
input_ids = tokenizer.encode(args.text, return_tensors="pt").to(dev)
具体流程分为两步：
['▁"', 'this', '▁is', ...]）。最终得到的 input_ids 形状通常为 [batch_size, sequence_length]。
随后调用 inputs_embeds = self.embed_tokens(input_ids) 将 ID 转换为向量，shape 为 [batch_size, sequence_length, hidden_size]。Embedding 矩阵本质上是一个查找表，每个单词定位到表中的某一行，即该单词在嵌入空间的语义向量。
Self-attention 是 Transformer 的核心，允许模型考虑到序列中的其他标记，以便更好地理解每个标记的上下文。每个标记的新表示形式是由它自己和其他标记的交互得到的。
由于 Transformer 的结构没有考虑到标记的顺序，我们需要加入位置编码来给模型提供词元在序列中的位置信息。这些编码会被添加到词嵌入向量中。
多头注意力是对自注意力机制的扩展。它将自注意力分解为多个'头'，每个头在不同的表示空间中学习和应用自注意力。这允许模型同时捕捉到各种不同类型的信息。在有掩码的多头注意力中，掩码被用于阻止模型查看某些不应该看到的信息，例如在生成新的标记时阻止查看未来的信息。
批标准化（Batch Norm）和层标准化（Layer Norm）是用于正规化激活的技术。LLAMA 使用的是 RMSNorm。RMSNorm 是一种新的归一化方法，是对 LayerNorm 的一个改进，没有做 re-center 操作（移除了其中的均值项），可以看作 LayerNorm 在均值为 0 时的一个特例。这种设计减少了计算开销。
通过在网络中添加跳跃连接（skip connection），使得模型更容易地学习到恒等映射，从而避免了训练深度网络时常见的梯度消失问题。在 Transformer 中，每个子层（如自注意力层和前馈神经网络层）都有一个对应的残差连接，并且每个子层的输出都会进行层标准化。
理解了基础组件后，关键在于推理过程。LLM 的推理是一个逐词生成的过程。
推理时，模型接收初始提示（Prompt），生成第一个 token，然后将该 token 追加到输入中，再次运行模型生成下一个 token，如此循环直到遇到结束符（EOS）或达到最大长度。
在推理过程中，重复计算之前已经生成的 token 的 Key 和 Value 矩阵是非常浪费的。为了加速推理，通常会使用 KV Cache。
如何决定下一个 token？有多种策略：
在实际部署中，除了算法层面的优化，还涉及工程优化：
LLAMA 作为 Decoder-only 的大语言模型，其核心在于 Transformer 架构的变体，特别是 Self-Attention 和 RMSNorm 的应用。推理过程依赖于自回归生成，并通过 KV Cache 和高效的解码策略来实现速度与质量的平衡。掌握这些基础知识，有助于深入理解大模型的运作原理及部署实践。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online