Jan：一款支持 100% 本地运行的开源 LLM 客户端

1. 克隆仓库

   git clone https://github.com/janhq/jan.git
   cd jan
   

2. 切换分支 根据需要切换到特定的稳定版本分支：

   git checkout DESIRED_BRANCH
   

3. 安装依赖 使用 Yarn 安装项目所需的依赖包：

   yarn install
   

4. 构建核心模块 编译项目的核心部分：

   yarn build:core
   

5. 打包插件与 UI 构建基础插件和用户界面：

   yarn build:plugins
   yarn build:uikit
   

6. 启动开发模式 运行开发服务器进行测试：

   yarn dev
   

使用教程

1. 模型管理

Jan 内置了模型 Hub，用户可以直接在应用内搜索并下载开源模型。

• 模型格式：主要支持 GGUF 格式，这是目前本地运行 LLM 的主流格式，兼容性极佳。
• 推荐模型：初学者可以从 Mistral 7B 或 Llama 3 等热门模型开始尝试。
• 下载流程：点击左侧边栏的"Models"图标，浏览可用模型列表，点击"Download"即可自动拉取至本地。

2. 会话管理

在 Jan 中，"Thread"相当于一次独立的对话会话。

• 新建会话：在右侧区域点击"New Thread"按钮，即可开始新的对话。
• 预设参数：每个会话都可以配置不同的系统提示词（System Prompt）、温度（Temperature）和最大生成长度。
• 模型切换：支持在同一个会话中动态切换正在使用的模型，方便对比不同模型的效果。

3. 高级编辑

Jan 提供了灵活的 JSON 编辑功能，适合高级用户调试。

• 点击会话旁边的三个点菜单。
• 选择"Edit as JSON"。
• 直接在 JSON 视图中修改对话内容、元数据或配置参数。

4. API 服务器集成

Jan 的 API 服务器功能是其区别于普通聊天软件的关键特性。

• 启用方式：在设置中找到"API Server"选项并开启。
• 默认端口：通常为 1337。
• 兼容性：完全兼容 OpenAI API 标准接口。

使用示例： 假设你启用了 API 服务，可以使用 curl 命令进行测试：

curl http://localhost:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral",
    "messages": [{"role": "user", "content": "你好"}]
  }'

这使得你可以将 Jan 作为后端服务集成到你的 Python 脚本、Web 应用或其他自动化流程中。

常见问题与排查

1. 模型加载失败

如果模型无法加载，请检查以下几点：

• 模型文件是否完整下载。
• 磁盘空间是否充足。
• 文件格式是否为支持的 GGUF 格式。

2. 运行速度慢

• 确认是否开启了 GPU 加速（在设置中查看）。
• 检查 CPU 是否支持 AVX2 指令集。
• 尝试减小模型的量化等级（如从 Q4_K_M 改为 Q8_0 可能会变慢但精度更高，反之亦然）。

3. 内存溢出

• 关闭不必要的后台程序释放内存。
• 选择参数量较小的模型（如 3B 或 7B 版本）。
• 增加物理内存或使用 Swap 分区。

总结

Jan 为希望在不依赖云服务的条件下使用大模型的用户提供了一个优秀的解决方案。通过其跨平台支持、本地数据安全和开放的 API 接口，Jan 不仅是一个聊天工具，更是构建私有化 AI 基础设施的理想起点。无论是个人开发者还是企业用户，都可以通过 Jan 探索本地大模型的无限可能。