Win7 本地编译 llama.cpp 部署 Qwen3 模型指南

⚙️ 配置 CMake

直接复制下方命令生成配置文件。注意路径写法，确保 CMake 能找到 MinGW Makefiles。

"C:\Program Files\CMake\bin\cmake.exe" -G "MinGW Makefiles" \
-DLLAMA_CURL=OFF \
-DLLAMA_BUILD_TESTS=OFF \
-DCMAKE_C_COMPILER=gcc \
-DCMAKE_CXX_COMPILER=g++

• -DLLAMA_CURL=OFF：禁用 CURL 依赖，减少 Win7 下的网络库冲突风险。
• 成功标志：屏幕滚动显示 Generating done。

若之前有残留缓存，建议清理后再试：

rm -f CMakeCache.txt
rm -rf CMakeFiles

🚀 执行编译

使用多线程加速编译过程。如果你的电脑配置较低（如双核），可将 -j4 改为 -j2。

"C:\Program Files\CMake\bin\cmake.exe" --build . --config Release -j4

耐心等待进度条走到 [100%]。完成后，bin 目录下应出现 llama-server.exe。

✅ 验证结果

在终端输入以下命令检查版本信息，看到 commit 哈希即表示编译成功：

./bin/llama-server.exe --version

🤖 启动 Qwen3 模型

Win7 的 CMD 窗口对中文和长文本渲染效果不佳，强烈建议使用浏览器模式进行对话。

1. 准备模型文件

假设你的 .gguf 模型文件位于 C:\models\qwen3.gguf。

2. 启动服务

根据内存大小调整上下文长度参数 -c。如果内存大于 16GB，可设为 8192 或更高；否则保持 4096 以保证流畅度。

./bin/llama-server.exe -m "/c/models/qwen3.gguf" -c 4096 --host 0.0.0.0 --port 8080

提示：如果你之前使用 Ollama 下载过模型，可以直接利用其缓存文件（无需转换）。找到 C:\Users\你的用户名\.ollama\models\blobs 下最大的 blob 文件即可。

3. 开始对话

1. 当黑框显示 HTTP server listening 时，不要关闭终端。
2. 打开 Firefox 115 ESR 浏览器。
3. 访问地址：http://127.0.0.1:8080
4. 界面加载后即可开始流畅对话。

通过这种方式，即使是老旧的 Win7 设备，也能跑起现代化的本地大模型应用。