本地知识库部署:FastGPT 与 Dify 对接 Ollama 指南
在本地环境中使用 Docker 部署 Dify 和 FastGPT 知识库平台的方法,并详细说明了如何将两者与 Ollama 本地大语言模型进行对接。内容涵盖环境准备、镜像拉取、配置文件修改、端口映射及常见网络问题排查,旨在帮助用户构建私有化、安全可控的 AI 知识库系统,实现离线或内网环境下的智能问答功能。

在本地环境中使用 Docker 部署 Dify 和 FastGPT 知识库平台的方法,并详细说明了如何将两者与 Ollama 本地大语言模型进行对接。内容涵盖环境准备、镜像拉取、配置文件修改、端口映射及常见网络问题排查,旨在帮助用户构建私有化、安全可控的 AI 知识库系统,实现离线或内网环境下的智能问答功能。

在数据隐私和安全性日益受到重视的今天,将大语言模型(LLM)及知识库应用部署在本地环境成为了许多开发者和企业的首选。本文详细介绍了如何在本地环境中使用 Docker 部署 Dify 和 FastGPT 两个主流的知识库平台,并将它们与 Ollama 本地大语言模型进行对接,实现私有化、离线或内网环境下的智能问答功能。
docker-compose)。注意:Mac M3 用户需注意散热问题,运行 3B 大小模型时温度可能接近极限,建议选择量化程度较高的较小模型以平衡性能与发热。
Dify 是一个开源的 LLM 应用开发平台,支持快速构建 RAG(检索增强生成)应用。
访问 Dify GitHub 仓库,下载最新稳定版的源代码或 ZIP 包。
进入解压后的 docker 文件夹,执行以下命令自动下载镜像并启动容器:
docker-compose up -d
该过程可能需要几分钟,取决于网络状况。若遇到镜像拉取失败,请配置国内镜像加速器。
服务启动后,在浏览器访问 http://localhost/install 完成管理员账号注册。
默认情况下,Dify 对上传文件大小有限制(如 15MB)。如需修改,编辑 docker 目录下的 .env 文件:
# Upload file size limit, default 15M.
UPLOAD_FILE_SIZE_LIMIT=150
NGINX_CLIENT_MAX_BODY_SIZE=150M
修改后重启容器生效:
docker-compose restart
FastGPT 是另一个开源的 AI 知识库工具,基于 Node.js 构建,适合需要高度定制的场景。
从 FastGPT 官方仓库下载源码,进入 files/docker 目录。
FastGPT 默认不包含 docker-compose.yml,需指定配置文件。推荐使用 docker-compose-pgvector.yml。
同时需要在 docker 目录下创建 config.json 文件,配置基础信息。示例如下:
{
"systemEnv": {
"OPENAI_API_KEY": "sk-xxxx"
},
"llmModels": [
{
"model": "llama3.2:3b",
"name": "llama3.2:3b",
"avatar": "/imgs/model/openai.svg",
"maxContext": 125000,
"maxResponse": 4000,
"quoteMaxToken": 120000,
"maxTemperature": 1.2,
"charsPointsPrice": 0,
"censor": false,
"vision": true,
"datasetProcess":
执行以下命令启动 FastGPT:
docker-compose -f docker-compose-pgvector.yml up -d
http://localhost:3000http://localhost:3001rootconfig.json 中查看或重置,初始通常为 1234。Ollama 是一个运行本地大模型的轻量级工具,支持多种模型格式。
前往 Ollama 官网下载对应系统的安装包并安装。
以 llama3.2 为例,在终端执行:
ollama run llama3.2:3b
运行期间可输入 /bye 退出会话。
确保 Ollama 服务正在运行,默认监听端口为 11434。
llama3.2:3b。http://host.docker.internal:11434。
注意:
host.docker.internal允许容器访问宿主机网络。若在 Linux 上,可能需要配置extra_hosts或使用宿主机 IP。
http://localhost:3001)。llama3.2:3b。http://host.docker.internal:11434。config.json 中的 llmModels 数组(参考上文),保存后重启服务:
docker-compose down
docker-compose -f docker-compose-pgvector.yml up -d
若容器内无法连接 Ollama,检查网络模式。Docker 容器默认隔离网络,需确保 Ollama 暴露端口且容器能解析 host.docker.internal。
docker-compose.yml 中添加 extra_hosts: ["host.docker.internal:host-gateway"]。host.docker.internal。q4_0, q8_0)。client_max_body_size。.env 文件中 UPLOAD_FILE_SIZE_LIMIT 已正确修改并重启。通过上述步骤,您已成功搭建了一套本地化的 AI 知识库系统。这种组合特别适合需要在本地高效管理和利用知识的场景,既保证了数据隐私,又提供了灵活的扩展能力。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online
将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML转Markdown在线工具,online