使用 GPT4ALL 本地部署 AI 大模型

什么是大模型本地部署？

大模型本地部署，就是将大模型权重文件下载到本地，然后在本地用自己的硬件算力执行推理计算，获得结果的过程。现在大模型本地部署不仅有 GPT4ALL、Ollama、LM Studio 以及 llama.cpp 等多个软件可以使用，也改变了必须使用 GPU 的'刻板印象'，可以直接使用 CPU 进行部署。值得一提的是，现在大模型的类型多样，参数量也极为丰富，用户可以根据自己的硬件资源和需求来自由选择不同大小的模型（如 1.5B，7B，70B 等）。

为什么要本地部署？

• 本地部署，可以体验到以前没有用过的模型，也可以实现一个软件内多种不同模型的切换。
• 还有本地部署，可以真正保障数据的安全，因为现在用的 AI 助手都是运行和存储在云端。
• 在线使用大模型依赖网络，网络不稳定时，体验不好，且延迟较高。

怎么本地部署？

软件的选择

虽然本地部署的软件各种各样，在了解和尝试了多次之后，我还是选择了 GPT4ALL，因为这款软件够'轻'，也够'稳'。 首先，它的安装包非常迷你，只有 32MB，安装下来也只有 1.77GB，对电脑的磁盘空间占用非常小。 其次，也是最核心的优势——它对 CPU 的优化做得极好，它能让大模型在纯 CPU 环境下，也能保持不错的推理速度（实测 0.5B 参数的大模型可以达到 50+Token/s）。 还有一点，就是这个软件对模型文件的配置非常方便，不像其他软件还需要通过一些命令来导入。这款 GPT4ALL 软件，是需要将下载好的模型文件复制到一个文件夹里，然后在软件设置里面选中那个路径就可以了，它会自动读取模型权重文件（因为连接不稳定，所以一般要手动下载文件，软件提供的模型下载很难下载成功）。

下载 GPT4ALL 软件

该软件在其官方网站即可下载。 下载之后直接按照和其他软件一样的步骤安装即可。 安装好后界面如下：

![软件界面截图]

下载模型文件

其实这里推荐去镜像站下载模型，因为在这个软件里下载或者到模型的官网去下载，基本上都是连接会中断或者速度特别慢。 Hugging Face 地址：https://huggingface.co/ 这里可以根据自己的硬件和需求下载合适的模型文件（注意：GPT4ALL 需要 GGUF 格式的文件，要下载 GGUF 格式的文件）。

导入模型文件

下载完成之后打开 GPT4ALL，在设置里面选择本地模型文件所在的目录。

![配置模型目录]

再次重启 GPT4ALL，在首页就可以看到刚刚下载的模型了，可以选择这个模型，GPT4ALL 自动载入之后就可以与其进行对话了。

![对话界面截图]

值得一提的是，GPT4ALL 可以开启本地 API 接口服务，使得我们可以在一个特定的端口像调用线上的大模型 API 接口一样调用我们本地的大模型，在使用 Python 代码调用的时候我们不仅可以使用 gpt4all 库进行简单快捷的调用，还可以使用 openai 库进行调用，完美符合主流大模型的调用方式。