llama.cpp 大模型部署指南：CPU/GPU 兼容与 Docker 快速启动 | 极客日志

C++AI算法

llama.cpp 大模型部署指南：CPU/GPU 兼容与 Docker 快速启动

llama.cpp 是基于 C/C++ 的大语言模型推理工具，支持跨平台及 Docker 部署，兼容 CPU 和 GPU。通过 Docker Compose 快速启动 llama.cpp 服务的方法，包括 CPU 和 GPU 版本的配置差异及关键参数说明。此外，还演示了如何使用内置 Web UI 进行文本及多模态对话，以及如何调用 OpenAI 兼容 API 进行集成。该方案无需复杂依赖，适合本地私有化部署大模型应用。

深海蔚蓝发布于 2026/4/6更新于 2026/4/121 浏览

llama.cpp 大模型部署指南：CPU/GPU 兼容与 Docker 快速启动

一、简介

llama.cpp 是一个在 C/C++ 中实现大型语言模型（LLM）推理的工具
支持跨平台部署，也支持使用 Docker 快速启动
可以运行多种量化模型，对电脑要求不高，CPU/GPU 设备均可流畅运行
开源地址参考：https://github.com/ggml-org/llama.cpp

核心工作流程参考：文章配图

二、安装与下载模型（Docker 方式）

1. 搜索可用模型

这里以 qwen3-vl 模型为例，提供了多种量化版本，每种版本的大小不一样，根据自己的电脑性能做选择，如选择（模型 + 量化标签）：Qwen/Qwen3-VL-8B-Instruct-GGUF:Q8_0 文章配图

可以在 huggingface 官网中搜索可用的量化模型：https://huggingface.co/models?search=gguf 文章配图

2. 使用 docker-compose 安装启动 llama.cpp

提前安装好 Docker、docker-compose 软件环境
（可选）如果有 GPU，需要安装好 NVIDIA 驱动程序、NVIDIA Container Toolkit 英伟达驱动安装参考文档：https://developer.nvidia.com/cuda-toolkit-archive NVIDIA Container Toolkit 安装参考：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

# 运行下面命令，如果输出显卡信息即 Docker 内可以正常使用 GPU
docker run --rm --gpus all nvidia/cuda:12.5.0-runtime-ubuntu22.04 nvidia-smi

新建 docker-compose.yml 配置文件，参考下面内容： CPU 运行版本

services:
  llama-cpp-server:

极客日志微信公众号二维码

更多推荐文章

相关免费在线工具

加密/解密文本
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。在线工具，加密/解密文本在线工具，online
RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online
Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。在线工具，Base64 字符串编码/解码在线工具，online
Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。在线工具，Base64 文件转换器在线工具，online
Markdown 转 HTML
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。在线工具，Markdown 转 HTML在线工具，online

services:
  llama-cpp-server:
    image: ghcr.io/ggml-org/llama.cpp:server-cuda
    ports:
      - "8000:8000"
    volumes:
      - ./cache:/root/.cache
    command: >
      -hf Qwen/Qwen3-VL-8B-Instruct-GGUF:Q8_0 --jinja -c 65535 --port "8000" --host 0.0.0.0 --n-gpu-layers 99
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

-hf           # 从 HuggingFace 自动下载模型
--jinja       # 启用聊天格式模板（多轮对话必需）
-c 65535      # 上下文窗口大小（tokens 数量，越大占用越多显存）
--port "8000" # 容器内监听端口
--host 0.0.0.0 # 监听所有网络接口（Docker 容器必需）
--n-gpu-layers 99 # GPU 加载层数（99=全部层，0=纯 CPU）
更多参数用法参考：https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md

docker-compose up -d