Windows 下安装并编译 llama.cpp 指南

一、下载 Visual Studio

下载 Visual Studio Tools 选择 C++ 桌面开发。

二、下载 CMake

Download CMake

三、下载 CUDA Toolkits（需要 GPU 加速可选）

CUDA Toolkit - Free Tools and Training | NVIDIA Developer

四、安装 Curl（需要联网下载模型可选）

git clone https://github.com/microsoft/vcpkg.git
cd vcpkg
.\bootstrap-vcpkg.bat
.\vcpkg install curl:x64-windows

需手动新建模型下载目录：C:\Users\Administrator\AppData\Local\llama.cpp

五、下载 llama.cpp 源代码并编译

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build build --config Release

• -B build：指定构建目录为 ./build。
• -DGGML_CUDA=ON：启用 CUDA 支持（需已安装 CUDA 工具包）。
• -DLLAMA_CURL=ON：启用 CURL 支持（需已安装 curl）。

六、开始使用

进入 build\bin\Release 目录即可运行 llama.cpp。