Jan：本地离线大语言模型运行工具
简介
Jan 是一款开源的 ChatGPT 替代品，支持在您的计算机上 100% 离线运行大语言模型。它旨在帮助用户构建属于自己的私有化 AI 助手，确保数据隐私安全。Jan 支持从 PC 到多 GPU 集群的各种环境，包括 Nvidia GPU、Apple M 系列芯片以及 Linux/Windows 系统。
核心特性
- 跨平台支持：兼容 Windows x64、macOS（Intel & Apple Silicon）、Linux Debian 等主流操作系统。
- 本地优先：所有数据和模型文件均存储在本地，无云端上传风险，支持数据导出和迁移。
- 广泛模型兼容：支持 GGUF、TensorRT 等多种开源 LLM 格式，可加载 Mistral、Llama 等流行模型。
- API Server：内置 OpenAI API 兼容的本地服务接口，方便与其他应用集成。
- 扩展性：支持插件开发，允许用户自定义功能模块。
系统要求
为了流畅运行大模型，建议满足以下硬件配置：
- CPU：支持 AVX2 指令集的现代处理器。
- 内存 (RAM)：至少 8GB，推荐 16GB 或以上（取决于模型大小）。
- 显卡 (GPU)：
- NVIDIA：建议显存 4GB 以上，支持 CUDA 加速。
- Apple：M1/M2/M3 系列芯片性能优异，利用统一内存优势。
- 存储：根据模型数量预留足够空间，单个 7B 模型约需 4-6GB 空间。
安装方法
方式一：安装包安装（推荐）
对于大多数用户，直接下载预编译的二进制包是最便捷的方式。
- 访问 Jan 官方网站或 GitHub Release 页面。
- 根据您的操作系统选择对应的安装包（.dmg, .exe, .deb 等）。
- 下载完成后，双击运行安装程序，按照向导完成安装。
方式二：源码编译安装
如果您需要定制版本或参与开发，可以通过源码进行构建。
前置依赖
确保环境中已安装以下工具：
Node.js 版本：20.0.0 +
Yarn 版本：1.22.0 +
Git
构建步骤
-
克隆项目仓库：
git clone https://github.com/janhq/jan.git cd jan -
切换至稳定分支（示例）：
git checkout stable -
安装依赖并构建：
yarn install # 构建核心模块 yarn build:core # 打包基础插件 yarn build:plugins # 打包 UI 组件 yarn build:uikit -
启动开发模式：
yarn dev
