Jan：开源本地大模型客户端，支持离线部署与 API 服务

• 无需担心，我们点击左下角的设置，然后选择「Advanced Settings」高级配置，打开「Jan Data Folder」的目录

• 在这个目录中，我们可以看到有一个 models 文件夹，这就是 Jan 用来存放本地大模型的地方，每个大模型下都有一个 model.json 文件，它里面包含了对应模型的一些描述和配置以及下载路径，我们可以修改里面的路径为镜像站的 url，在重启 Jan 之后我们就能顺利下载模型了

将下图红框中选中的 url 替换为 hf-mirror.com 即可：

• 还是以 「Mistral Instruct 7B Q4」为例，我们再修改 url 之后再 Download 一下，已经可以正常下载了：

• 之前下载好了「Qwen Chat 7B Q4」模型，下载好之后，右侧的 Download 按钮会变成 Use，点击 Use 开始对话

写代码什么的也没啥问题：

调用 OpenAI 的 ChatGPT

除此之外，我们也可以试试使用 OpenAI 的 ChatGPT，以 3.5 为例。因为之前部署过 FreeGPT35，所以也用不到 API Key，直接在「EXTENSIONS-OpenAI Inference Engine」里修改「Chat Completions Endpoint」即可：

注意红框后面那半截路径不要丢，不然就没法成功调用

设置好之后回到对话部分，在右侧的模型中选择「Remote-Open AI GPT 3.5 Turbo」开始对话：

成功调通。

启动本地服务

点击左下角的「Local API Server」可以启动一个本地服务，这样我们在其他客户端也能访问本地大模型了。

如上图，一旦启动服务器，我们就无法在 Jan 中进行聊天了，只能通过调用这个服务的方式。

服务启动后，我们可以点击「Stop Server」按钮下的 API Reference 来查看可用的 API 都有哪些，也可以看到左侧的 assistant 菜单已经被禁用（这就是对话菜单）。

API Reference 打开之后会列出可用的 API 接口，我们以 /chat/completion 为例进行调用：

可以看到还是很丝滑的，如果我们在此基础上，再内网穿透一下，就可以实现外网访问本地大模型了。

有点遗憾的是，Phi-3 模型在下载并导入到 Jan 里之后却无法运行起来，看了下 issue 也有人提出了一样的问题，希望后续能支持吧。

补充说明与常见问题

系统要求 为了流畅运行本地大模型，建议设备至少配备 8GB 内存，若运行 7B 以上参数量的模型，推荐 16GB 及以上内存及独立显卡支持。

API 调用示例 启动本地服务后，可以使用 curl 命令测试接口：

curl http://localhost:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local-model",
    "messages": [{"role": "user", "content": "你好"}]
  }'

安全提示 本地 API 默认监听 localhost，请勿随意暴露端口至公网，以免被恶意利用消耗算力。

模型格式 Jan 主要支持 GGUF 格式的模型文件，这是目前本地推理最通用的量化格式，兼容 llama.cpp 后端。