概述
node-llama-cpp 提供了 llama.cpp 的 Node.js 绑定,允许你在本地机器上运行 AI 模型,并支持在生成级别强制输出符合 JSON 模式。下面将介绍如何在 Windows、Linux 和 macOS 上完成安装与配置。
环境准备
安装前请确保系统已满足以下基础要求:
- Node.js 环境(推荐使用最新 LTS 版本)
- npm 包管理器
- Git 版本控制工具
快速安装
该库提供预构建的二进制文件,适用于主流操作系统。在终端中执行以下命令即可自动下载适合当前系统的二进制文件:
npm install node-llama-cpp
如果当前系统没有可用的预构建文件,安装过程会自动下载 llama.cpp 源代码并进行本地编译。
Windows 系统配置
依赖安装
若需从源码构建,需要安装 Visual Studio Build Tools。可以通过 WinGet 一键安装所需组件:
winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348"
WinGet 是 Windows 11 及现代 Windows 10 版本的内置工具。若手动安装,请确保勾选以下组件:
- C++ CMake 工具
- C++ Clang 编译器
- Windows 10 SDK
- Windows Universal CRT SDK
Windows on ARM 额外要求
如果是 ARM 架构的 Windows 系统,构建时需要额外添加 ARM64 相关组件:
winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.Tools.ARM64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATL.ARM64 Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.MFC.ARM64 Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348"

