node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

node-llama-cpp是一个基于llama.cpp的Node.js绑定库,让你能够在本地机器上运行AI模型,并在生成级别强制模型输出符合JSON模式。本文将为你提供Windows、Linux和Mac全平台的安装与配置教程,帮助你快速上手这款强大的AI工具。

一、准备工作

在开始安装node-llama-cpp之前,请确保你的系统满足以下要求:

  • Node.js环境(建议使用最新的LTS版本)
  • npm包管理器
  • Git版本控制工具

二、快速安装:使用npm

node-llama-cpp提供了预构建的二进制文件,适用于macOS、Linux和Windows系统,因此安装过程非常简单。只需在终端中运行以下命令:

npm install node-llama-cpp 

这条命令会自动下载并安装适合你当前系统的预构建二进制文件。如果你的系统没有可用的预构建二进制文件,node-llama-cpp会自动下载llama.cpp的源代码并尝试从源码构建。

三、Windows系统详细安装指南

3.1 安装依赖

在Windows系统上,如果你需要从源码构建node-llama-cpp,需要安装以下构建工具:

你可以通过WinGet安装所有依赖:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 
WinGet是Windows 11和现代Windows 10版本的内置工具。

或者,你也可以手动下载并安装Visual C++ Build Tools,确保勾选以下组件:

  • C++ CMake工具
  • C++ Clang编译器
  • Windows 10 SDK
  • Windows Universal CRT SDK

3.2 Windows on Arm额外要求

如果你使用的是Windows on Arm系统,需要安装额外的构建工具:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.Tools.ARM64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATL.ARM64 Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.MFC.ARM64 Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 

四、Linux系统详细安装指南

4.1 安装依赖

在Linux系统上,你需要安装以下依赖:

  • build-essential
  • cmake
  • git
  • libstdc++6
  • libgomp1 (用于OpenMP支持)

对于Debian/Ubuntu系统,可以使用以下命令安装:

sudo apt-get update sudo apt-get install build-essential cmake git libstdc++6 libgomp1 

4.2 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

五、Mac系统详细安装指南

5.1 安装Xcode命令行工具

在Mac上,你需要安装Xcode命令行工具:

xcode-select --install 

5.2 安装依赖

使用Homebrew安装必要的依赖:

brew install cmake git 

5.3 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

六、配置模型自动下载

为了确保在运行npm install后自动下载模型,建议在package.json中设置postinstall脚本。详细方法可以参考官方文档中的Using the CLI部分。

七、常见问题解决

7.1 构建失败

如果构建失败,请确保你已安装所有必要的构建工具和依赖。对于特定平台的问题,可以参考building-from-source文档。

7.2 Windows上的权限问题

如果在Windows上遇到权限错误,确保不要使用管理员账户运行npm install,然后用普通用户账户运行代码。

7.3 Electron应用构建问题

在Windows上构建Electron应用时,如果遇到EPERM: operation not permitted错误,需要启用开发者模式以允许创建符号链接。

八、总结

通过本教程,你已经了解了如何在Windows、Linux和Mac系统上安装和配置node-llama-cpp。现在你可以开始在本地运行AI模型,享受高效的AI推理体验了。如果需要更多帮助,可以查阅项目的官方文档或提交issue寻求支持。

祝你使用愉快! 🚀

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

Read more

旧电脑 Win7 复活计划:编译与运行 llama.cpp (Qwen3版)

旧电脑 Win7 复活计划:编译与运行 llama.cpp (Qwen3版)

🦕 旧电脑 Win7 复活计划:编译与运行 llama.cpp (Qwen3版) 这份指南专为不支持新版软件的 Windows 7 设计,通过本地编译实现大模型运行。 手动编译可以获得最好的性能,不想自己手动编译 可以直接使用下面编译好的bin文件,同时包含下面用到的相关软件和替换文件httplib.h 链接:https://pan.quark.cn/s/2c5f627c93d7 提取码:cSJh 📋 0. 软件版本清单 请务必确保使用以下特定版本,以保证在 Win7 下的兼容性: 软件名称文件名 (根据截图)作用备注编译环境w64devkit-x64-2.5.0.7z.exe提供 GCC 编译器核心工具构建工具cmake-3.31.10-windows-x86_64.msi生成编译配置必须安装到默认路径源码工具Git_for_Windows_(64bit)_v2.45.

AI绘画+电商:用图片和视频驱动未来电商

过去三年里,AI绘画从实验室走向大众,从简单模仿到艺术创作。如今,这项技术正悄然改变着一个万亿美元级的行业——电子商务。当AI绘画遇上电商,一场深刻的视觉革命正在拉开帷幕。 视觉冲击力:电商转化的第一道门槛 在电商平台上,消费者无法触摸实物,视觉呈现成为购买决策的关键因素。研究表明: * 高质量产品图能将转化率提升30-50% * 视频展示的商品比仅用图片的商品多获得157%的点击率 * 87%的线上消费者认为产品图片是购物决策的重要因素 然而,高质量视觉内容的制作传统上面临三大挑战:成本高、周期长、创意匮乏。专业摄影、模特拍摄、后期修图,每个环节都需要大量时间和资金投入,对小企业和新兴品牌尤为不友好。 AI绘画技术:视觉内容的民主化革命 AI绘画技术的突破性进展正在改变这一局面。以Midjourney、Stable Diffusion、DALL-E 3为代表的一批AI绘画工具,让高质量视觉内容的创作变得前所未有地简单和高效。 四大核心应用场景: 1. 产品视觉优化与扩展 * 一键生成专业级产品展示图 * 自动扩展产品使用场景(如咖啡机在不同厨房环境中的

用 C# 扩展 Dynamics 365 Copilot:自定义插件与场景

Dynamics 365 Copilot 作为基于 AI 的智能助手,为企业用户提供了自动化流程、智能分析和自然语言交互的能力,但通用功能往往无法满足特定行业或企业的定制化需求。本文将详细介绍如何通过 C# 编写自定义插件,扩展 Dynamics 365 Copilot 的能力,并结合实际业务场景实现定制化 AI 交互。 一、核心基础:Dynamics 365 Copilot 扩展架构 Dynamics 365 Copilot 的扩展主要依赖于 Power Platform 插件框架 和 Copilot Studio 的自定义连接器,核心技术栈包括: * C# (.NET Framework 4.8 或 .NET 6+):编写业务逻辑插件 * Dynamics 365 SDK:

智能创作与优化新时代:【ChatGPT-4o】在【数学建模】、【AI绘画】、【海报设计】与【论文优化】中的创新应用

智能创作与优化新时代:【ChatGPT-4o】在【数学建模】、【AI绘画】、【海报设计】与【论文优化】中的创新应用

目录 1. 引言 什么是ChatGPT4o? 背景与发展历史 2.chatgpt4o数学建模 常见的数学建模专业术语及其简要说明 一个具体的代码例子 问题描述 代码实现  代码说明 运行结果 3.chatgpt4o在论文 1.例如生成基于标签的推荐系统模型及算法研究  1. 摘要 2. 引言 3. 文献综述 4. 模型与算法 5. 实验与分析 6. 结论与展望 7. 参考文献 案例背景 2.具体应用场景 1. 摘要优化 原稿: ChatGPT优化后的版本: 优化点: 2. 引言部分的结构优化 原稿: ChatGPT优化后的版本: 优化点: 3. 方法部分的细化与完善 原稿: ChatGPT优化后的版本: 4. 结论的增强