本文介绍了大语言模型（LLM）的核心概念、发展历程及本地部署方案。内容涵盖 Token 机制、Transformer 架构、量化技术（如 GGML、GPTQ），并提供了基于 llama.cpp 和 whisper.cpp 的实操指南，同时梳理了主流开源模型与免费服务资源，旨在帮助开发者理解并上手运行大模型。文章还补充了提示词工程、RAG 检索增强及微调等进阶方向，确保内容的完整性与技术深度。
随着 ChatGPT 的爆发，大语言模型（Large Language Model，简称 LLM）已成为人工智能领域的核心 buzzword。虽然大多数用户直接使用云端产品即可满足需求，但对于开发者而言，理解其原理并在本地运行模型具有极高的研究价值。本文将系统介绍大模型的核心概念、技术架构、量化压缩方案以及基于 macOS 和 Linux 环境的本地部署实战。
通俗来讲，大模型是通过输入海量语料数据，让计算机获得类似人类的'思考'能力，使其能够理解自然语言，并执行文本生成、推理问答、对话交互、文档摘要等任务。
我们可以用'上学参加工作'的过程来类比大模型的训练与使用：
在 LLM 中，Token被视为模型处理和生成的基本文本单位。它们可以代表单个字符、单词、子单词甚至更大的语义单元，具体取决于分词方法（Tokenization）。Token 是原始文本与数字表示之间的桥梁。
例如，句子 "The cat sat on the mat" 会被分割为 "The", "cat", "sat", "on", "the", "mat"，并映射到词汇表中的 ID：
| Token | ID |
|---|---|
| The | 345 |
| cat | 1256 |
| sat | 1726 |
| on | 890 |
| the | 345 |
| mat | 4521 |
为了便于计算机处理，这些 ID 会被进一步转换为稠密矩阵向量，这个过程称之为 Embedding。常见的 Embedding 算法包括：
以 Transformer 为代表的大模型采用**自注意力机制（Self-attention）**来学习不同 Token 之间的依赖关系，生成高质量的 Embedding 表示。
这一切的起源是 2017 年发布的论文 Attention Is All You Need。此后，基于大量语料的预训练模型百花齐放：
Transformer 摒弃了传统的 RNN 结构，完全基于注意力机制。其核心组件包括：
由于大模型参数庞大，直接部署面临巨大的显存/内存压力。例如 GPT-2 有 1.5B 参数，若每个参数用 float32 表示，需占用约 6GB 内存；而 LLAMA 65B 参数则需 260GB 以上。因此，模型压缩是实际部署的关键。
CPU 与内存传输速度往往是瓶颈，减小内存使用是首要优化点。使用更小的数据类型可直接降低内存占用：
| Format | Significand | Exponent | 说明 |
|---|---|---|---|
| bfloat16 | 8 bits | 8 bits | 英伟达新硬件支持，适合训练 |
| float16 | 11 bits | 5 bits | 传统半精度，数值范围较小 |
| float32 | 24 bits | 8 bits | 标准精度，占用高 |
将 16 位降至 8 位或 4 位是可能的，但需配合小整数和矢量化指令集以实现硬件加速。量化技术将权值转换为较小的整数，可使用 AVX 等指令集加速。
常见的量化方法包括：
社区用户 TheBloke 将 HuggingFace 上的大多数 LLM 应用了这些量化方法，极大方便了用户。
以下实验基于 macOS 环境，利用 GGML 量化后的模型进行本地运行。官方开源模型多基于 Python，效率受限，推荐使用 C/C++ 实现的项目以获得更高性能。
项目地址：ggerganov/llama.cpp
为了利用 Metal 的 GPU 加速（macOS），可执行以下命令编译：
LLAMA_METAL=1 make
下载量化模型文件（如 llama-2-7b-chat.ggmlv3.q4_1.bin），大小通常在 3G 到 7G 不等。运行示例如下：
./main -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin \
-p "Building a website can be done in 10 simple steps:" \
-n 512 -ngl 10
输出示例：
Building a website can be done in 10 simple steps:
planning, domain name registration, hosting choice...
[end of text]
llama_print_timings: load time = 1267.46 ms
llama_print_timings: sample time = 204.14 ms / 313 runs
此外，llama.cpp 还提供了 WebUI 服务，启动 server 后访问浏览器即可对话：
./server -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin -ngl 512
默认监听 8080 端口。
Whisper 是 OpenAI 的语音识别模型，同样支持量化部署。
make
目前主要接受 wav 格式，可用 ffmpeg 转换音频：
ffmpeg -loglevel -0 -y -i "$INPUT" -ar 16000 -ac 1 -c:a pcm_s16le "${INPUT}.wav"
./main -m models/ggml-small.bin -f "$INPUT" -osrt -t 8 -p 4
输出 srt 字幕文件，包含时间轴和文本内容。
对于希望快速验证的用户，Python 的 transformers 库依然是首选：
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
device_map="auto",
torch_dtype=torch.float16
)
input_text = "What is artificial intelligence?"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
尽管部分商业模型收费且存在地域限制，但开源生态已非常成熟。
掌握有效的提示词技巧能显著提升模型表现：
为解决大模型幻觉问题，结合外部知识库是主流方案。流程包括：
若需特定行业能力，可进行 LoRA 微调：
大模型时代已经到来。从早期的 BERT 到如今的 LLaMA 3，开源社区推动了技术的普及。开发者无需依赖昂贵的云服务，通过量化技术和本地部署工具（如 llama.cpp），即可在消费级硬件上体验强大的 AI 能力。未来，结合 RAG 技术与垂直微调，大模型将在企业应用中发挥更大价值。
建议开发者关注 HuggingFace 模型库，持续跟踪 Mistral、Gemma 等新模型动态，并重视数据安全与伦理规范，负责任地使用 AI 技术。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online