对初学者提供大语言模型（LLM）入门指南，涵盖编程基础、原理理解与应用实践。内容首先强调 Python 及 Matplotlib 可视化在数据分析中的重要性，随后详解 PyTorch 常用张量操作。核心部分深入解析 Transformer 架构，包括自注意力机制、位置编码（RoPE）、前馈网络（SwiGLU）、归一化（RMS Norm）及推理优化技术。应用层面介绍了微调训练（LoRA/QLoRA）、RAG 检索增强生成及 Agent 开发框架。文章旨在帮助读者建立系统性的知识体系，从底层原理到上层应用全面掌握大模型技术。
关于如何入门 LLM，大多数回答都提到了调用 API、训练微调和应用。但是大模型更新迭代太快，这个月发布的大模型打榜成功，仅仅过了一个月就被其他模型超越。训练微调也已经不是难事，有大量开源的微调框架（llamafactory、firefly 等），你只要懂部署，配置几个参数就能启动训练。甚至现在有大量云上项目，你根本不需要部署，直接上传数据，就能启动。
对于初学者如何入门，我的建议是从一个开源大模型入手，全面了解它的运行原理以及如何应用。可以将大模型比作一辆车，我开车无需理解车是如何做的，但是车出问题了，了解原理能够帮我们快速找到其中的问题。
为了更好入门大模型，我建议按照以下顺序学习，分为编程基础准备、大模型原理理解和大模型应用三个部分。
我一般使用 numpy 用于数据处理，matplotlib 用于画图分析（比如分析位置编码、注意力矩阵）。numpy 很多函数与 pytorch 类似放后面讲，这里主要讲常用的 matplotlib 画图函数，学好 matplotlib 库有利于我们以可视化的角度去理解一些大模型原理。
plt.bar(x,y,width)举个例子，画直方图分析 llama3 8B 中参数分布情况，可以发现有 2 个峰值，分别是 embedding 层和最后输出 logits 层，两者参数量一致。
plt.plot(x,y,width)举个例子，画点图分析 llama3 8B 中的位置编码 RoPE。在同一位置 m 下，可以发现向量中的元素，在 i 比较小的时候变化较快，i 较大的时候变化较慢。
plt.colorbar(x,y)举个例子，画热力图分析 llama3 8B 中的 Attention 矩阵。我的 input 为"The boy didn't cross the street because he was too "，要预测下一个词。观察第 10 行（分析注意力矩阵都是以行为单位）可以发现"he"这个 token 与"boy"这个 token 关联度很高，而不是"street"这个 token。
所以说画图很重要，深度学习本质上都是矩阵运算，单看数字看不出什么结论，需要结合画图等可视化工具分析。
目前主流大模型基本上都是用 PyTorch 写的，PyTorch 语法太多了，下面介绍在LLM 中常用的 PyTorch 语法（排序不分先后）
(1). torch.nn.Embedding(num_embeddings, embedding_dim...)
其中 num_embeddings 代表词表的大小，embedding_dim 代表词向量的维度。embedding.weight的 size 为 [num_embeddings, embedding_dim]。举个例子，输入索引 i，输出 embedding.weight 的第 i 行。
(2). torch.matmul(x,y)、x*y、torch.dot(x,y) 与 torch.mul(x,y)之间的区别
其中 torch.matmul(x,y) 代表矩阵相乘，torch.mul(x,y) 与 x*y 均代表矩阵对应元素相乘，torch.dot(x,y) 代表向量之间的点积。
(3). torch.full(size, fill_value)
torch.full([2,3],2.0) #tensor([[2,2,2], [2,2,2]])
(4). torch.triu(x)
import torch a = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) b = torch.triu(a) print(b) # tensor([[1, 2, 3], [0, 5, 6], [0, 0, 9]])
用于注意力机制中的 mask 计算。
(5). torch.outer(x,y)
x = torch.arange(1,5) y = torch.arange(1,4) print(torch.outer(x,y)) # tensor([[ 1, 2, 3], [ 2, 4, 6], [ 3, 6, 9], [ 4, 8, 12]])
一般用于大模型位置编码计算中，比如正弦余弦位置编码、相对位置编码、旋转位置编码等。
(6). torch.view_as_complex(x)
x=torch.randn(4, 2) # tensor([[ 0.0024, 1.5686], [-1.2883, 1.0111], [ 0.8764, 0.1839], [ 0.8543, -0.0061]]) torch.view_as_complex(x) # tensor([0.0024+1.5686j, -1.2883+1.0111j, 0.8764+0.1839j, 0.8543-0.0061j])
大模型位置编码有两种计算方法，一种是在实数域计算、一种是复数域计算。该函数一般用于复数域计算。
(7). torch.view_as_real(x)
x= torch.tensor([ 0.0024+1.5686j, -1.2883+1.0111j, 0.8764+0.1839j, 0.8543-0.0061j]) torch.view_as_real(x) # tensor([[ 0.0024, 1.5686], [-1.2883, 1.0111], [ 0.8764, 0.1839], [ 0.8543, -0.0061]])
同上。
(8). 弄清楚 torch.reshape(input,shape) 和 torch.view(input,shape)
我建议从内存分配的角度来理解 reshape。无论一个张量 shape 怎么改变，它的分量在内存中的存储顺序也是不变的。
import numpy as np a = np.arange(6) # 其中 order="C"、"F"、"A"分别代表不同读取顺序， print(np.reshape(a, (2, 3), order='C')) #[[0 1 2] [3 4 5]] print(np.reshape(a, (2, 3), order='F')) #[[0 2 4] [1 3 5]] print(np.reshape(a, (2, 3), order='A')) #[[0 1 2] [3 4 5]]
(9). 弄清楚 torch.transpose(tensor,dim0,dim1) 和 torch.permute(dim0, dim1, dim2, dim3)
两者均代表矩阵的转置，在二维的时候很容易想明白转置之后的情况，但是高维度的时候就糊涂了。举个例子：
arr = torch.arange(16) arr = arr.reshape(2,2,4) # tensor([[[ 0, 1, 2, 3], [ 4, 5, 6, 7]], [[ 8, 9, 10, 11], [12, 13, 14, 15]]]) arr = arr.transpose(1,2) # tensor([[[ 0, 4], [ 1, 5], [ 2, 6], [ 3, 7]], [[ 8, 12], [ 9, 13], [10, 14], [11, 15]]])
上面这个三维数组例子，我定义为（batch，H，W），transpose(1,2)等效于长和宽转置。类似这样的例子我们已经练习过很多次了。
不过如何理解 arr.transpose(0,1)?，batch 和 H 维度转置没有物理含义。这需要借用矩阵 stride 概念来理解。
(10). torch.cat 和 torch.stack的区别
torch.cat 是沿着现有维度拼接，增加维度长度；torch.stack 是创建新维度并堆叠。例如两个形状为 (2,3) 的 tensor，cat 后变成 (2,6) 或 (4,3)，而 stack 后变成 (2,2,3)。
(11). 以及一些常用的数学计算公式 torch.rsqrt、tensor.pow、torch.mean 等等
简单来说通过基于 Transformer 架构预测下一个词出现的概率。我就不放论文里的图了。我这里放一张 llama3-8B 的网络架构图。这个网络架构里的每一个模块，你都能手写出来，就算是大模型原理这一块入门了。
建议学习网络架构的时候带着问题去学习，不要局限于矩阵中的元素怎么乘，pytorch 语法只是工具，真正需要做的是思考为什么这样做以及背后的数学含义。
了解单头注意力机制，什么是 K 矩阵、V 矩阵和 Q 矩阵，以及如下公式为什么要除 sqrt(d_k)。
attention is all you need 这篇文章中的多头注意力机制，分析为什么要多头？单头注意力机制为什么不行？多头允许模型在不同表示子空间同时关注不同位置的信息，增强了模型的表达能力。上面四点弄明白，对于注意力机制差不多算入门了。
大模型训练分为预训练、指令微调和人类反馈强化学习。大模型训练对于硬件要求高，平民玩家没卡，建议去了解 LoRA、QLoRA 等高效微调算法。
了解 llamafactory、Firefly 等大模型微调框架，自己做个数据集，在大模型的基础上微调子任务。
如果有卡，可以尝试多卡多机跑跑模型，因为我也没什么卡，所以没法给出建议。
思考为什么要 RAG？RAG 和 Long Context 之间是什么关系？RAG 通过检索外部知识库增强模型知识，适合动态知识场景。
RAG 分为知识库构建、知识检索和智能问答，从零实现一个最简单的 RAG。
在最简单 RAG 的基础上，学一学 Faiss、Milvus 等向量数据库，优化 RAG 中涉及的检索、知识存储。
学一学成熟的 RAG 框架 RagFlow。
从零手写一个 Agent 框架。
学一学成熟的 Agent 框架 LangChain、Dify 等。
入门大语言模型是一个系统工程，需要从代码基础到理论原理再到工程实践的全面掌握。Python 和 PyTorch 是重要的工具，理解 Transformer 内部机制如 Attention、Positional Encoding 和 Normalization 是核心。在实际应用中，根据资源选择合适的微调策略（如 LoRA）和架构（如 RAG、Agent）至关重要。建议学习者保持持续学习的态度，关注社区最新进展，并通过动手实践巩固理论知识。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online