node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

node-llama-cpp是一个基于llama.cpp的Node.js绑定库,让你能够在本地机器上运行AI模型,并在生成级别强制模型输出符合JSON模式。本文将为你提供Windows、Linux和Mac全平台的安装与配置教程,帮助你快速上手这款强大的AI工具。

一、准备工作

在开始安装node-llama-cpp之前,请确保你的系统满足以下要求:

  • Node.js环境(建议使用最新的LTS版本)
  • npm包管理器
  • Git版本控制工具

二、快速安装:使用npm

node-llama-cpp提供了预构建的二进制文件,适用于macOS、Linux和Windows系统,因此安装过程非常简单。只需在终端中运行以下命令:

npm install node-llama-cpp 

这条命令会自动下载并安装适合你当前系统的预构建二进制文件。如果你的系统没有可用的预构建二进制文件,node-llama-cpp会自动下载llama.cpp的源代码并尝试从源码构建。

三、Windows系统详细安装指南

3.1 安装依赖

在Windows系统上,如果你需要从源码构建node-llama-cpp,需要安装以下构建工具:

你可以通过WinGet安装所有依赖:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 
WinGet是Windows 11和现代Windows 10版本的内置工具。

或者,你也可以手动下载并安装Visual C++ Build Tools,确保勾选以下组件:

  • C++ CMake工具
  • C++ Clang编译器
  • Windows 10 SDK
  • Windows Universal CRT SDK

3.2 Windows on Arm额外要求

如果你使用的是Windows on Arm系统,需要安装额外的构建工具:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.Tools.ARM64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATL.ARM64 Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.MFC.ARM64 Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 

四、Linux系统详细安装指南

4.1 安装依赖

在Linux系统上,你需要安装以下依赖:

  • build-essential
  • cmake
  • git
  • libstdc++6
  • libgomp1 (用于OpenMP支持)

对于Debian/Ubuntu系统,可以使用以下命令安装:

sudo apt-get update sudo apt-get install build-essential cmake git libstdc++6 libgomp1 

4.2 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

五、Mac系统详细安装指南

5.1 安装Xcode命令行工具

在Mac上,你需要安装Xcode命令行工具:

xcode-select --install 

5.2 安装依赖

使用Homebrew安装必要的依赖:

brew install cmake git 

5.3 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

六、配置模型自动下载

为了确保在运行npm install后自动下载模型,建议在package.json中设置postinstall脚本。详细方法可以参考官方文档中的Using the CLI部分。

七、常见问题解决

7.1 构建失败

如果构建失败,请确保你已安装所有必要的构建工具和依赖。对于特定平台的问题,可以参考building-from-source文档。

7.2 Windows上的权限问题

如果在Windows上遇到权限错误,确保不要使用管理员账户运行npm install,然后用普通用户账户运行代码。

7.3 Electron应用构建问题

在Windows上构建Electron应用时,如果遇到EPERM: operation not permitted错误,需要启用开发者模式以允许创建符号链接。

八、总结

通过本教程,你已经了解了如何在Windows、Linux和Mac系统上安装和配置node-llama-cpp。现在你可以开始在本地运行AI模型,享受高效的AI推理体验了。如果需要更多帮助,可以查阅项目的官方文档或提交issue寻求支持。

祝你使用愉快! 🚀

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

Read more

Trae、Cursor、Copilot、Windsurf对比

我最开始用Copilot(主要是结合IDE开发时进行代码补全,生成单元测试用例),但是后面又接触了Cursor,发现Cursor比Copilot更加实用,Cursor生成的单元测试用例更加全面。         多以网上查了查资料,这里记录分享一下。         这篇文章资料来自于网络,是对部分知识整理,这里只是记录一下,仅供参考 前言         随着AI技术的爆发式发展,AI编程工具正在重塑软件开发流程。GitHub Copilot作为先驱者长期占据市场主导地位,但新一代工具如Cursor、Windsurf和Trae正以颠覆性创新发起挑战。本文基于多维度实测数据,深度解析三款工具的核心竞争力,揭示AI编程工具的格局演变趋势。 工具定位与核心技术 1. Cursor:智能化的全能助手         基于VS Code生态深度改造,Cursor融合GPT-4和Claude 3.5模型,支持自然语言转代码生成、跨文件智能补全和自动文档生成。其核心优势在于: * 上下文感知能力:可同时分析10+个关联文件的语义逻辑 * Agent模

深度解析 GitHub Copilot Agent Skills:如何打造可跨项目的 AI 专属“工具箱”

前言 随着 GitHub Copilot 从单纯的“代码补全”工具向 Copilot Agent(AI 代理) 进化,开发者们迎来了更高的定制化需求。我们不仅希望 AI 能写代码,更希望它能理解团队的特殊规范、掌握内部工具的使用方法,甚至在不同的项目中复用这些经验。 Agent Skills(代理技能) 正是解决这一痛点的核心机制。本文将深入解析 Copilot Skills 的工作原理,并分享如何通过软链接(Symbolic Link)与自动化工作流,构建一套高效的个人及团队知识库。 一、 什么是 Agent Skills? 如果说 Copilot 是一个通用的“AI 程序员”,那么 Skill(技能) 就是你为它配备的专用工具箱。 它不仅仅是一段简单的提示词(Prompt),而是一个包含元数据、指令和执行资源的标准文件夹结构。当

AI绘画报错

提示输出验证失败:CheckpointLoaderSimple: - 值不在列表中:ckpt_name: 'v1-5-pruned-emaonly-fp16.safetensors' 不在 ['anything-v5-PrtRE.safetensors'] 中 模型文件夹里面没模型 这是官方链接:v1-5-pruned-emaonly.safetensors https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main 点击同一行的小下载箭头。然后把文件放在:models/checkpoints文件夹里 你还需要标准的VAE文件,也就是:vae-ft-mse-840000-ema-pruned.safetensors https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main 这个文件放在:models/vae文件夹里 现在你已经拥有运行所需的一切了。慢慢来。你最初生成的图片会很糟糕。但是继续尝试,很快你就能得到很棒的结果。

GPEN与Stable Diffusion结合:人像增强插件开发教程

GPEN与Stable Diffusion结合:人像增强插件开发教程 你是不是也遇到过这样的问题:用Stable Diffusion生成的人像图,细节不够锐利、皮肤质感偏塑料、五官轮廓略显模糊?或者修复老照片时,AI总在发际线、睫毛、耳垂这些精细部位“自由发挥”?别急——今天我们就来把GPEN这个专精人像修复的“细节控”模型,变成Stable Diffusion的得力助手。不是简单调用API,而是手把手带你开发一个真正可用、可集成、可复用的本地化人像增强插件。 这篇教程不讲空泛理论,不堆参数配置,只聚焦一件事:让你明天就能在WebUI里点一下,就把SD生成的图“唤醒”——让眼睛有神、皮肤有质、发丝有形、轮廓有骨。全程基于ZEEKLOG星图提供的GPEN人像修复增强模型镜像,开箱即用,零环境踩坑。 1. 为什么是GPEN?它和Stable Diffusion不是“同类选手” 先说清楚一个常见误解:GPEN不是另一个文生图模型,它不理解“赛博朋克风”或“水墨晕染”,也不生成新构图。它的核心能力非常纯粹—