此前文章介绍了 LM Studio,但它是闭源的。我们需要一个随时可以替代它的开源产品——Jan。

是什么?
Jan 是一个开源的、可作为 ChatGPT 替代品的客户端产品,在 Github 上已经斩获 18k 的 star,它支持:
- 部署本地大模型:直接在个人电脑上运行 Llama 或 Mistral 等 AI 模型以完成私有化部署。无需互联网连接 - 将所有数据和处理保存在本地。
- 调用远程 API:支持连接到远程 API,例如 OpenAI、Groq 或 Mistral API。无需高级硬件即可访问 AI 功能,所有处理均在云端处理。
- 100% 离线使用:哪怕没网,也能流畅使用,一切数据都只保留在个人电脑上。
- 跨平台:支持 Apple Intel、Linux Debian 和 Windows x64 以及 Apple M 系列。
- 扩展:属于高级玩法,可以自定义 Jan 来满足特定需求。
它的安装及使用十分简单,哪怕是一个 AI 小白,也可以轻松实现在自己电脑上部署本地大模型。接下来让我们一起来看看如何安装它并部署模型吧。
安装
- 进入官网选择适合自己电脑系统的安装包进行下载(以 Mac M 系列可用的安装包为例)

- 安装好之后打开 Jan 可以看到它的界面比 LM Studio 更清爽一些,在对话的窗口则都长得差不多

部署本地大模型或者调用远端模型
- 刚安装好是没有可用的本地大模型的,我们需要到 Hub 菜单中下载本地大模型或者选择 OpenAI GPT、Groq 这些远端模型来使用(需要设置 API Key)

- 以「Mistral Instruct 7B Q4」模型为例,我们点击 Download 进行下载。这个时候不出意外,下载失败,因为它的下载地址是 huggingface 的国内镜像限制















