基于 llama.cpp 部署 Qwen3-14B 高推理蒸馏 GGUF 模型

第一步：下载 llama.cpp

git clone https://github.com/ggerganov/llama.cpp

第二步：GPU 构建

cd ./llama.cpp
cmake -B build \
  -DGGML_CUDA=ON \
  -DLLAMA_BUILD_SERVER=ON \
  -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j 8
# 参数说明：
# -DLLAMA_BUILD_SERVER=ON 强制构建 llama-server
# -DGGML_CUDA=ON 启用 GPU
# Release 性能更好
# 验证安装成功
./build/bin/llama-server --help

第三步：部署模型

使用下载的 gguf 模型。

# 简化命令
./build/bin/llama-server \
  -m /home/admin/models/huggingface/Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Distill-GGUF/Qwen3-14B-Claude-4.5-Opus-Distill.q8_0.gguf \
  -ngl 999 \
  -c 40960 \
  --host 0.0.0.0 \
  --port 8908

后台运行部署

nohup ./build/bin/llama-server \
  -m /home/admin/models/huggingface/Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Distill-GGUF/Qwen3-14B-Claude-4.5-Opus-Distill.q8_0.gguf \
  -ngl 999 \
  --batch-size 1024 \
  --threads 16 \
  --parallel 4 \
  --jinja \
  --reasoning-format deepseek \
  --reasoning-budget -1 \
  -c 40960 \
  --host 0.0.0.0 \
  --port 8908 \
  >> /home/admin/models/logs/llama_Qwen3-14B_Distill.log 2>&1 &
# 查看日志
tail -f ~/models/logs/llama_Qwen3-14B_Distill.log

参数说明:

• --n-gpu-layers: 指定有多少 transformer 层放到 GPU 上执行 (0 全部 CPU, 999 尽可能全部 GPU)
• -c 40960: 即 --ctx-size，上下文长度（最大 token 数）
• --host 0.0.0.0: 是否可远程访问
• --port 8908: HTTP 监听端口
• --threads 16: CPU 线程数量
• --batch-size 1024: GPU 每一步最多算多少 token
• --parallel 4: 允许同时处理多少个请求（并发会话数）
• --reasoning-format deepseek: 思考模板
• --reasoning-budget N: 思考模式控制 (-1 不限制思考，0 禁用，>0 限制 token 数量)

重要提醒（关于 40K） Qwen3-14B q8_0：

• 模型权重 ≈ 15~16GB
• 40K KV cache 可能占 10GB+
• 总显存可能 > 28GB 如果 GPU 只有 24GB，会爆显存。

第四步：测试

对话端点：http://localhost:8908/v1/chat/completions 或 http://服务器 IP:8908/v1/chat/completions

默认开启思考模式

curl http://192.168.0.254:8908/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{ "model": "Qwen3-14B", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "介绍一下新加坡"} ], "temperature": 0.7, "max_tokens": 500 }'

关闭思考模式

curl http://192.168.0.254:8908/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{ "model": "Qwen3-14B", "messages": [ {"role": "system", "content": "你是一个只回答用户问题的助手"}, {"role": "user", "content": "你好"} ], "temperature": 0.7, "max_tokens": 200, "chat_template_kwargs": { "enable_thinking": false } }'

工具调用

curl http://192.168.0.254:8908/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{ "model": "Qwen3-14B", "messages": [ {"role": "system", "content": "你是一个只回答用户问题的助手"}, {"role": "user", "content": "新加坡现在几点？"} ], "temperature": 0.7, "max_tokens": 200, "tools": [ {"type": "function", "function": {"name": "get_current_time", "description": "获取指定城市的当前时间", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "城市名称"}}, "required": ["city"]}}}], "tool_choice": "auto", "chat_template_kwargs": { "enable_thinking": false } }'

停止 nohup 服务

假设你这样启动：nohup ./build/bin/llama-server ... > llama.log 2>&1 &

方法 1（推荐）

1. 查看进程：ps aux | grep llama-server (显示 PID)
2. 杀掉进程：kill -9 12345

方法 2（最快）

pkill llama-server (会杀掉所有 llama-server 进程)

方法 3（精确杀端口）

如果你知道端口是 8908：

lsof -i:8908
kill 进程号

推荐做法（生产环境）

使用 systemd 管理服务，而不是 nohup。