本文系统梳理了 LLM 算法工程师所需的核心技术栈。内容涵盖 Transformer 架构原理、Tokenization 与注意力机制、文本生成策略；训练数据准备包括合成数据生成、过滤及模板规范；预训练涉及数据 Pipeline、因果语言建模及缩放定律；有监督微调详解全参微调、LoRA、QLoRA 及 Axolotl 等工具；RLHF 部分解析 PPO 与 DPO 算法差异；模型评估介绍通用与任务特定基准；量化技术对比 GGUF、GPTQ 等格式；最后展望位置嵌入、模型合并及多模态发展趋势。文章旨在帮助开发者建立扎实的理论与工程实践基础。
随着大语言模型（LLM）技术的迅猛发展，算法工程师的技术栈需求也在不断演进。本文系统梳理了成为 LLM 算法工程师所需的核心技术体系，涵盖从基础架构到前沿趋势的完整知识图谱，旨在帮助开发者建立扎实的理论基础与工程实践能力。
现代大语言模型的基础是 Transformer 架构。早期模型多采用编码器 - 解码器结构，但当前的生成式大模型主要基于 Decoder-only 架构。这种架构通过自回归方式逐个预测下一个 token，实现了高效的文本生成能力。
Tokenization 是将原始文本转换为模型可理解格式的关键步骤。常见的分词方法包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece。了解如何构建词汇表、处理未知词以及子词切分策略，对于优化模型输入至关重要。
注意力机制是 Transformer 的核心。重点掌握自注意力（Self-Attention）和缩放点积注意力（Scaled Dot-Product Attention）。这些机制使模型能够动态关注输入序列中的不同部分，捕捉长距离依赖关系。此外，还需了解 Flash Attention 等优化技术以提升计算效率。
模型生成输出序列有多种策略：
高质量数据是模型性能的上限。Alpaca-like 数据集常使用 OpenAI API 生成合成数据，通过指定 seed 和系统提示词创建多样化指令对。高级技术如 Evol-Instruct 可用于改进现有数据集，生成类似 Orca 和 Phi-1 的高质量推理数据。
传统过滤技术包括正则表达式匹配、删除近似重复项、去除低质量回答等。重点关注具有大量有效 token 的答案，确保数据的信噪比。
不同的模型对指令格式有不同要求。需熟悉 ChatML、Alpaca、Llama 等主流聊天模板的格式规范，确保微调时输入输出的兼容性。
预训练是消耗巨大的过程，通常由大型机构完成。了解其原理有助于后续微调。数据 Pipeline 涉及大规模数据集（如 Llama 2 使用 2 万亿 token）的清洗、Tokenization 及词汇表合并。
需区分因果语言建模（Causal LM）与掩码语言建模（MLM）。LLM 通常使用因果 LM，即只利用当前时刻之前的信息预测下一时刻。损失函数通常为交叉熵损失。高效预训练框架如 Megatron-LM 和 gpt-neox 值得研究。
Scaling Laws 描述了模型性能与模型大小、数据集规模及计算量之间的关系。遵循缩放定律有助于合理分配资源，预测模型上限。
若需从头搭建 LLM，分布式训练、硬件选型及通信优化等 HPC 知识不可或缺。了解 GPU 集群配置、网络拓扑及显存管理是必备技能。
预训练模型擅长预测下一个词，但在指令遵循上表现不佳。SFT 通过人工标注的指令 - 回答对进行微调，使模型适应特定任务。
全参数更新所有权重，效果最好但成本高昂，需要大量显存和算力。
RLHF 用于对齐模型输出与人类偏好，减少幻觉和有害内容。
包含多个答案及其排序关系的数据集，构建难度高于普通指令数据。
经典 RLHF 算法，结合奖励模型和 KL 散度惩罚，优化 SFT 模型以最大化奖励分数。
将 RLHF 重构为分类问题，无需训练独立的奖励模型，仅需参考模型，超参数更少，稳定性更高。
评估是验证模型性能的关键环节，需避免古德哈特定律陷阱。
困惑度（Perplexity）和 BLEU 分数曾广泛使用，但在复杂任务中局限性明显，仍需了解。
Open LLM Leaderboard、BigBench、MT-Bench 等提供横向对比能力。
针对摘要、翻译、问答等任务，使用 PubMedQA（医疗）、GSM8K（数学）等专用评测集。
最终可靠性仍取决于用户接受率，小规模人工评测不可或缺。
量化通过降低精度压缩模型，降低成本并提升推理速度。
FP32、FP16、INT8、INT4 等不同精度对应不同精度与速度的权衡。
RoPE（旋转位置编码）已成为主流。YaRN 和 ALiBi 等技术用于扩展上下文窗口长度。
Mergekit 等工具支持 SLERP、DARE、TIES 等合并算法，无需微调即可融合多个模型优势。
Mixtral 等 MoE 架构通过稀疏激活实现高性能与低成本平衡，frankenMoE 等变体进一步探索开源可行性。
CLIP、Stable Diffusion、LLaVA 等模型统一处理文本、图像、音频，推动图文生成、视觉问答等应用落地。
大模型技术迭代迅速，掌握上述核心技术栈是成为合格算法工程师的前提。建议在实践中不断复盘，保持对新技术的敏感度，构建系统的知识体系。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
