基于 llama.cpp 部署 Qwen3-14B-Claude-4.5-Opus-Distill-GGUF 模型

第一步：下载 llama

git clone https://github.com/ggerganov/llama.cpp 

第二步：GPU 构建

cd ./llama.cpp cmake -B build \
  -DGGML_CUDA=ON \
  -DLLAMA_BUILD_SERVER=ON \
  -DCMAKE_BUILD_TYPE=Release 
cmake --build build --config Release -j 8
# 结果将存于 ./build/bin/ 
# 参数说明：
# -DLLAMA_BUILD_SERVER=ON 强制构建 llama-server
# -DGGML_CUDA=ON 启用 GPU
# Release 性能更好
# 验证安装成功
./build/bin/llama-server --help 

第三步：部署模型 (使用下载好的 gguf 模型)

# 简化命令
./build/bin/llama-server \
  -m /home/admin/models/huggingface/Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Distill-GGUF/Qwen3-14B-Claude-4.5-Opus-Distill.q8_0.gguf \
  -ngl 999 \
  -c 40960 \
  --host 0.0.0.0 \
  --port 8908 

后台运行部署

nohup ./build/bin/llama-server \
  -m /home/admin/models/huggingface/Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Distill-GGUF/Qwen3-14B-Claude-4.5-Opus-Distill.q8_0.gguf \
  -ngl 999 \
  --batch-size 1024 \
  --threads 16 \
  --parallel 4 \
  --jinja \
  --reasoning-format deepseek \
  --reasoning-budget -1 \
  -c 40960 \
  --host 0.0.0.0 \
  --port 8908 \
  >> /home/admin/models/logs/llama_Qwen3-14B_Distill.log 2>&1 &
# 查看日志
tail -f ~/models/logs/llama_Qwen3-14B_Distill.log 

参数说明：

--n-gpu-layers：指定有多少 transformer 层放到 GPU 上执行
0 全部 CPU
20 前 20 层 GPU
999 尽可能全部 GPU
-c 40960: 即--ctx-size，上下文长度（最大 token 数）
--host 0.0.0.0：是否可远程访问：使用此参数，可以局域网可访问
-port 8908：HTTP 监听端口
--threads 16:CPU 线程数量
--batch-size 1024: GPU 每一步最多算多少 token
--parallel 4:允许同时处理多少个请求（并发会话数）
--reasoning-format deepseek：思考模板
--reasoning-budget N：思考模式控制
值 含义
-1 不限制思考（默认，开启）
0 禁用思考模式
>0 限制思考 token 数量（部分模型支持）

重要提醒（关于 40K）

Qwen3-14B q8_0：

• 模型权重 ≈ 15~16GB
• 40K KV cache 可能占 10GB+
• 总显存可能 > 28GB

如果你 GPU 只有 24GB，会爆显存。

第四步：测试

对话端点

http://localhost:8908/v1/chat/completions
http://服务器 IP:8908/v1/chat/completions

默认开启思考模式

# 请求 (默认开启思考模式)
curl http://192.168.0.254:8908/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "Qwen3-14B", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "介绍一下新加坡"} ], "temperature": 0.7, "max_tokens": 500 }'

关闭思考模式

# 关闭思考模式的请求
curl http://192.168.0.254:8908/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "Qwen3-14B", "messages": [ {"role": "system", "content": "你是一个只回答用户问题的助手"}, {"role": "user", "content": "你好"} ], "temperature": 0.7, "max_tokens": 200, "chat_template_kwargs": { "enable_thinking": false } }'

工具的调用

# 请求
curl http://192.168.0.254:8908/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "Qwen3-14B", "messages": [ {"role": "system", "content": "你是一个只回答用户问题的助手"}, {"role": "user", "content": "新加坡现在几点？"} ], "temperature": 0.7, "max_tokens": 200, "tools": [ {"type": "function", "function": {"name": "get_current_time", "description": "获取指定城市的当前时间", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "城市名称"}}, "required": ["city"]}}}], "tool_choice": "auto", "chat_template_kwargs": { "enable_thinking": false } }'

🔥 nohup 服务 停止

假设你这样启动：

nohup ./build/bin/llama-server ... > llama.log 2>&1 & 

✅ 方法 1（推荐）

1 查看进程 ps aux | grep llama-server
---显示---- admin 12345 ...
12345 就是 PID。
2 杀掉进程 kill -9 12345 

✅ 方法 2（最快）

pkill llama-server 

⚠️ 会杀掉所有 llama-server 进程。

✅ 方法 3（精确杀端口）

如果你知道端口是 8908：

lsof -i:8908 kill 进程号 

🏆 推荐做法（生产环境）使用：systemctl

管理服务，而不是 nohup