本文介绍了大语言模型的基本概念、发展历程及本地部署方案。涵盖 Token 机制、Embedding 原理、Transformer 架构背景。详细讲解了模型量化技术（GPTQ、GGML/GGUF）以降低显存占用，并提供在 macOS 环境下使用 llama.cpp 编译运行 LLaMA 和 Whisper 模型的实战步骤。内容包括命令参数详解、WebUI 搭建、性能调优策略及常见问题排查。此外还列举了多种免费代码辅助工具，适合希望深入理解大模型底层原理及进行本地化应用的开发者参考。
随着 ChatGPT 的问世，大语言模型（Large Language Model，简称 LLM）已成为人工智能领域的核心 buzzword。虽然大多数用户直接使用云端产品即可满足需求，但对于希望深入理解底层机制的开发者而言，在本地环境运行大模型具有更高的研究价值。
本文旨在介绍大模型的基础知识、量化压缩技术以及在 macOS 环境下使用 llama.cpp 进行本地推理的完整流程。内容涵盖从 Token 化原理到模型部署优化的各个环节，适合有一定编程基础的技术人员阅读。
通俗来讲，大模型是通过输入海量语料数据，训练计算机获得类似人类的'思考'能力，使其能够理解自然语言并执行文本生成、推理问答、对话交互及文档摘要等任务。
可以将大模型的训练与使用过程类比为人类的教育体系：
在 LLM 中，Token 被视为模型处理和生成的基本文本单位。它们可以代表单个字符、单词或子单词，具体取决于分词方法（Tokenization）。Token 是原始文本与数字表示之间的桥梁。
例如句子 "The cat sat on the mat" 会被分割为多个 Token，并映射为词汇表中的 ID：
| Token | ID |
|---|---|
| The | 345 |
| cat | 1256 |
| sat | 1726 |
| ... | ... |
为了便于计算机处理，这些数字化的 Token 需要被转换为稠密矩阵向量，这一过程称为 Embedding。常见的算法包括：
以 Transformer 为代表的大模型采用自注意力（Self-attention）机制，能够高效学习不同 Token 之间的长距离依赖关系，生成高质量的语义向量。
大模型的'大'主要体现在参数量上，即模型中的权重（Weight）与偏置（Bias）。例如 GPT-3 拥有约 1750 亿参数，而词汇表大小通常在 5 万至 10 万左右。参数量直接决定了模型的表达能力和泛化性能。
现代大模型的起源可追溯至 2017 年发布的论文《Attention Is All You Need》。此后，基于大规模语料的预训练模型迅速发展：
由于大模型参数量巨大，实际部署面临严峻的内存挑战。以 GPT-2 为例，1.5B 参数若使用 float32 存储，需占用约 6GB 显存；而 LLAMA 65B 模型则需超过 260GB 显存。因此，模型压缩与精度优化是部署的关键。
CPU 与内存之间的传输速度往往是系统的瓶颈，减小内存占用是首要优化点。降低数据类型精度是一种直接有效的方式：
| Format | Significand | Exponent | 说明 |
|---|---|---|---|
| bfloat16 | 8 bits | 8 bits | 英伟达最新硬件支持，平衡精度与范围 |
| float16 | 11 bits | 5 bits | 传统半精度浮点 |
| float32 | 24 bits | 8 bits | 标准单精度浮点 |
将 16 位浮点数降至 8 位或 4 位整数是可能的，但这需要配合小整数运算指令集（如 AVX）以实现硬件加速。量化技术通过将权值转换为较小的整数，显著降低显存占用并提升推理速度。
简单方法是找出权重的最大值和最小值，将数值范围划分为整数桶。8 位对应 256 个桶，4 位对应 16 个桶。
目前主流的两类量化方案：
社区维护者 TheBloke 已将 HuggingFace 上的多数 LLM 模型转换为 GGML/GGUF 格式，极大降低了本地部署门槛。
笔者使用 macOS 系统，推荐采用 GGML/GGUF 量化后的模型配合 llama.cpp 进行推理。相比 Python 实现的库，C++ 版本效率更高且对 Metal GPU 支持良好。
为了利用 Apple Silicon 的 Metal GPU 加速，可使用以下命令编译：
LLAMA_METAL=1 make
下载量化模型文件（如 llama-2-7b-chat.ggmlv3.q4_1.bin），大小通常在 3GB 至 7GB 之间。执行推理命令：
./main -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin \
-p "Building a website can be done in 10 simple steps:" \
-n 512 -ngl 10
其中 -ngl 指定加载到 GPU 的层数。输出示例如下：
Building a website can be done in 10 simple steps:
planning, domain name registration, hosting choice... [end of text]
llama_print_timings: load time = 1267.46 ms
llama_print_timings: sample time = 204.14 ms / 313 runs
llama_print_timings: total time = 10132.02 ms
此外，llama.cpp 提供 WebUI 服务，启动 server 模式：
./server -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin -ngl 512
默认监听 8080 端口，浏览器访问即可进行对话。
Whisper 模型同样支持 C++ 编译与量化。转换音频为 wav 格式后运行：
ffmpeg -i "$INPUT" -ar 16000 -ac 1 -c:a pcm_s16le "${INPUT}.wav"
./main -m models/ggml-small.bin -f "${INPUT}.wav" -osrt -t 8 -p 4
输出 SRT 字幕文件包含时间轴与转录文本。针对不同语言，建议选择合适的模型尺寸：英文 Small 模型已足够，中文建议使用 Large 模型以保证准确率。
| Size | Parameters | VRAM 需求 | 相对速度 |
|---|---|---|---|
| tiny | 39 M | ~1 GB | ~32x |
| base | 74 M | ~1 GB | ~16x |
| small | 244 M | ~2 GB | ~6x |
| medium | 769 M | ~5 GB | ~2x |
| large | 1550 M | ~10 GB | 1x |
尽管部分商业大模型收费且存在地域限制，但市场上已有丰富的替代方案：
在本地部署时，OOM（Out Of Memory）是最常见的问题。建议措施：
--threads 参数匹配 CPU 核心数，避免过多线程导致上下文切换开销。LLAMA_METAL=1，否则无法调用 GPU 加速。ngl 参数或更换量化版本。大模型时代已经到来。OpenAI 虽未完全开源其核心模型，但 Meta 推出的 LLaMA 系列及其后续开源举措，极大地推动了技术的普及。开源生态允许开发者在本地构建、调试和优化模型，这对于理解算法原理及保护数据隐私至关重要。
掌握大模型部署技能，不仅能提升开发效率，还能帮助企业在私有化场景中更好地利用 AI 技术。未来，随着边缘计算能力的提升，本地运行大模型将成为常态。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online