node-llama-cpp 安装与配置:Windows、Linux 和 Mac 全平台教程
node-llama-cpp 是一个基于 llama.cpp 的 Node.js 绑定库,让你能够在本地机器上运行 AI 模型,并在生成级别强制模型输出符合 JSON 模式。本文将为你提供 Windows、Linux 和 Mac 全平台的安装与配置教程,帮助你快速上手这款强大的 AI 工具。
一、准备工作
在开始安装 node-llama-cpp 之前,请确保你的系统满足以下要求:
node-llama-cpp 在 Windows、Linux 和 Mac 系统上的安装与配置方法。内容包括环境准备、npm 快速安装、各平台依赖安装及源码构建步骤,并提供了常见问题解决方案。适用于需要在本地运行 AI 模型的开发者。
node-llama-cpp 是一个基于 llama.cpp 的 Node.js 绑定库,让你能够在本地机器上运行 AI 模型,并在生成级别强制模型输出符合 JSON 模式。本文将为你提供 Windows、Linux 和 Mac 全平台的安装与配置教程,帮助你快速上手这款强大的 AI 工具。
在开始安装 node-llama-cpp 之前,请确保你的系统满足以下要求:
node-llama-cpp 提供了预构建的二进制文件,适用于 macOS、Linux 和 Windows 系统,因此安装过程非常简单。只需在终端中运行以下命令:
npm install node-llama-cpp
这条命令会自动下载并安装适合你当前系统的预构建二进制文件。如果你的系统没有可用的预构建二进制文件,node-llama-cpp 会自动下载 llama.cpp 的源代码并尝试从源码构建。
在 Windows 系统上,如果你需要从源码构建 node-llama-cpp,需要安装以下构建工具:
你可以通过 WinGet 安装所有依赖:
winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348"
WinGet 是 Windows 11 和现代 Windows 10 版本的内置工具。
或者,你也可以手动下载并安装 Visual C++ Build Tools,确保勾选以下组件:
如果你使用的是 Windows on Arm 系统,需要安装额外的构建工具:
winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.Tools.ARM64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATL.ARM64 Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.MFC.ARM64 Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348"
在 Linux 系统上,你需要安装以下依赖:
对于 Debian/Ubuntu 系统,可以使用以下命令安装:
sudo apt-get update
sudo apt-get install build-essential cmake git libstdc++6 libgomp1
如果需要从源码构建,可以使用以下命令:
npx node-llama-cpp source download
npx node-llama-cpp source build
在 Mac 上,你需要安装 Xcode 命令行工具:
xcode-select --install
使用 Homebrew 安装必要的依赖:
brew install cmake git
如果需要从源码构建,可以使用以下命令:
npx node-llama-cpp source download
npx node-llama-cpp source build
为了确保在运行 npm install 后自动下载模型,建议在 package.json 中设置 postinstall 脚本。详细方法可以参考官方文档中的 Using the CLI 部分。
如果构建失败,请确保你已安装所有必要的构建工具和依赖。对于特定平台的问题,可以参考 building-from-source 文档。
如果在 Windows 上遇到权限错误,确保不要使用管理员账户运行 npm install,然后用普通用户账户运行代码。
在 Windows 上构建 Electron 应用时,如果遇到 EPERM: operation not permitted 错误,需要启用开发者模式以允许创建符号链接。
通过本教程,你已经了解了如何在 Windows、Linux 和 Mac 系统上安装和配置 node-llama-cpp。现在你可以开始在本地运行 AI 模型,享受高效的 AI 推理体验了。如果需要更多帮助,可以查阅项目的官方文档或提交 issue 寻求支持。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online
JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online