本文介绍 Llama.cpp 模型量化与 Ollama Docker 部署流程涉及环境准备、模型转换、量化处理及容器化运行。主要步骤包括安装 C++ 编译工具、构建 llama.cpp 源码、将 HF 格式模型转换为 GGUF 并进行量化、编写 Modelfile 配置文件以及通过 Docker 启动 Ollama 服务。该方法能有效降低显存占用，实现在消费级硬件上的本地大模型推理，并提供常见问题的排查思路。
在本地运行微调后的大语言模型（LLM）时，原始模型文件通常体积庞大，对硬件资源要求极高。为了在消费级显卡甚至 CPU 环境下流畅运行，我们需要对模型进行量化处理。本文将详细介绍如何使用 llama.cpp 工具链对模型进行量化，并通过 Ollama 容器化部署实现本地推理。
llama.cpp 核心由 C++ 编写，因此需要构建本地编译环境。Windows 用户推荐使用 Visual Studio。
cmake --version 验证安装是否成功。建议单独建立文件夹存放项目源码。
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
执行编译命令，指定 Release 模式以优化性能：
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build . --config Release
编译过程中可能会出现大量警告信息，只要没有红色报错提示，通常不影响构建结果。编译耗时约 5 分钟，具体取决于硬件性能。
编译成功后，可在 build\bin\Release 目录下找到可执行文件，如 llama-cli.exe、llama-quantize.exe 等。
首先将微调后的 HuggingFace 格式模型转换为 GGUF 格式。启动 Conda 虚拟环境，进入 llama.cpp 源码目录下的 examples 或根目录（视版本而定），运行转换脚本：
python convert_hf_to_gguf.py <此前导出的模型文件路径>
该脚本会生成一个 16 位精度的 GGUF 文件。例如：model-16bit.gguf。
为了降低显存占用并提升推理速度，需对 GGUF 文件进行量化。常用量化方案包括 Q4_K_M、Q5_K_M 等，其中 Q4_K_M 在精度与体积间取得了较好平衡。
新建目标存储文件夹，运行量化命令：
llama-quantize.exe input_model.gguf output_model_q4.gguf Q4_K_M
参数说明：
input_model.gguf：上一步生成的 16 位 GGUF 文件路径。output_model_q4.gguf：量化后文件的保存路径及名称。Q4_K_M：量化类型，可根据需求调整为 Q5_K_M、Q8_0 等。Ollama 提供了便捷的模型管理服务，支持通过 Docker 快速部署。
在 Ollama 映射的本地文件夹内，新建 Modelfile.txt 文件。内容需包含模型引用路径及系统指令设置：
FROM ./model_q4.gguf
SYSTEM "你是一个专业的 AI 助手，请简洁准确地回答问题。"
PARAMETER temperature 0.7
PARAMETER top_p 0.9
注意：FROM 中的路径是相对于 Docker 容器内部挂载点的路径。
进入 Ollama 容器内部执行构建命令：
docker exec -it ollama_container /bin/bash
cd /ollama/models
ollama create my-model -f Modelfile.txt
若未进入容器，也可在宿主机直接调用：
ollama create my-model -f Modelfile.txt
模型构建完成后，即可启动推理服务：
ollama run my-model
此时终端将进入交互模式，可直接输入问题获取回答。
-v 挂载路径是否正确。-p 11434:11434 参数。通过 llama.cpp 量化与 Ollama 部署，开发者可以在本地低成本运行大模型。此流程适用于私有化部署、离线推理及边缘计算场景。后续可结合 AnythingLLM 等可视化工具进一步提升应用体验。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online