使用 llama.cpp 运行本地大模型遇到的常见问题及解决方案
简介
在使用 LMStudio 调用 AI 模型时发现显存占用率一直不超过 80%，遂换用 llama.cpp 进行本地推理。
下载与基础启动
下载地址：https://github.com/ggml-org/llama.cpp/releases
将以下代码保存为 .bat 文件，放在 llama-server.exe 同目录下运行。确保模型路径正确，GPU_LAYERS 和 THREADS 根据机器能力调整。
@echo off
setlocal
set "MODEL_PATH=F:\Models\Yakyu"
set "MODEL_FILE=Qwen3-235B-A22B-Instruct-2507-UD-Q8.gguf"
set CTX_SIZE=32768
set HOST=127.0.0.1
set PORT=1234
echo 正在启动 OpenAI 兼容 API 服务...
echo 模型：%MODEL_PATH%\%MODEL_FILE%
echo 端口：http://%HOST%:%PORT%
echo.
llama-server.exe ^
-m "%MODEL_PATH%\%MODEL_FILE%" ^
--ctx-size %CTX_SIZE% ^
--host %HOST% ^
--port %PORT%
echo.
echo 服务已停止。按任意键关闭窗口...
pause >nul
CMD 窗口出现'all slots are idle'说明模型加载完成。如果出现乱码，将 .bat 文件保存为 ANSI 编码格式即可。
默认开启了自动适应内存 (--fit)，不填 --gpu-layers 等参数效果往往更好。参考相关硬件优化文章，合理设置 --n-cpu-moe 的值可能提速。
可调参数版本示例：
@echo off
setlocal
set "MODEL_PATH=F:\Models\Yakyu"
set "MODEL_FILE=Qwen3-Next-80B-A3B-Instruct-abliterated-Q8_0.gguf"
set GPU_LAYERS=64
set THREADS=64
set CTX_SIZE=32768
set HOST=127.0.0.1
set PORT=1234
echo 正在启动 OpenAI 兼容 API 服务...
echo 模型：%MODEL_PATH%\%MODEL_FILE%
echo 端口：http://%HOST%:%PORT%
echo.
llama-server.exe ^
-m "%MODEL_PATH%\%MODEL_FILE%" ^
--gpu-layers %GPU_LAYERS% ^
--threads %THREADS% ^
--ctx-size %CTX_SIZE% ^
--n-cpu-moe 10 ^
--host %HOST% ^
--port %PORT%
echo.
echo 服务已停止。按任意键关闭窗口...
pause >nul
分片模型合并
多个分片（shard）组成的 GGUF 模型需先用 llama-gguf-split 合并。
D:\Yakyu\llama-b7640-bin-win-cuda-12.4-x64\llama-gguf-split.exe --merge F:/Models/Yakyu/Qwen3-235B-A22B-Instruct-2507/Qwen3-235B-A22B-Instruct-2507-UD-Q8_K_XL-00001-of-00006.gguf F:/Models/Yakyu/Qwen3-235B-A22B-Instruct-2507-UD-Q8.gguf
问题 1：SillyTavern 调用报错
错误信息：Chat Completion API Assistant response prefill is incompatible with enable_thinking
原因：加载 DeepSeek 类模型时，思考模式导致模板冲突。
解决办法：
- 换用文本补全模式。
- 在启动命令中增加
--reasoning-budget 0关闭思考。 - 指定正确的聊天模板文件（如 Unsloth 提供的修复模板），解决输出空白或重复内置欢迎语的问题。
启动命令示例：
