本地知识库快速部署指南:FastGPT + Dify + Ollama 集成方案
在本地环境中部署 Dify、FastGPT 知识库平台及 Ollama 大语言模型的完整流程。内容涵盖 Docker 环境准备、两个平台的安装配置、Ollama 模型下载与运行,以及将本地模型接入 Dify 和 FastGPT 的具体步骤。此外还包含文件上传限制修改、网络配置优化及常见问题的排查建议,帮助用户构建私有化、安全可控的 AI 知识库系统。

在本地环境中部署 Dify、FastGPT 知识库平台及 Ollama 大语言模型的完整流程。内容涵盖 Docker 环境准备、两个平台的安装配置、Ollama 模型下载与运行,以及将本地模型接入 Dify 和 FastGPT 的具体步骤。此外还包含文件上传限制修改、网络配置优化及常见问题的排查建议,帮助用户构建私有化、安全可控的 AI 知识库系统。

本文介绍如何在本地环境中部署 Dify、FastGPT 知识库平台及 Ollama 大语言模型,实现私有化 AI 知识库的搭建。通过 Docker 容器化技术,用户可以轻松运行这些工具,并结合本地模型进行数据检索与对话。
Dify 是一个开源的 LLM 应用开发平台,支持工作流编排和知识库管理。
访问 Dify GitHub 仓库,下载源码或直接下载 ZIP 文件包。
进入 docker 文件夹,执行以下命令自动拉取镜像并启动容器:
docker-compose up -d
等待服务启动完成后,在浏览器访问 http://localhost/install 进行初始化配置。
FastGPT 是另一个专注于知识库问答的开源项目,支持更灵活的 Agent 构建。
访问 FastGPT GitHub 仓库,下载源码。
FastGPT 默认没有 docker-compose.yml,需指定配置文件。通常使用 docker-compose-pgvector.yml。
同时需在 docker 目录下创建 config.json 文件,参考官方示例配置数据库连接及密钥信息。
执行以下命令启动服务:
docker-compose -f docker-compose-pgvector.yml up -d
启动后访问 http://localhost:3000 即可使用主界面。
http://localhost:3001rootconfig.json 中查看,通常为 123456 或自定义。Ollama 用于在本地运行大语言模型,作为 Dify 和 FastGPT 的后端推理引擎。
前往 Ollama 官网下载并安装对应系统的客户端。
以 llama3.2:3b 为例,执行以下命令下载并运行模型:
ollama run llama3.2:3b
运行期间可通过 Ctrl+D 或输入 /bye 退出会话。
将 Ollama 接入 Dify 和 FastGPT,使它们能够调用本地模型。
llama3.2:3b。http://host.docker.internal:11434。http://localhost:3001)。llama3.2:3b。http://host.docker.internal:11434。config.json 中的 llmModels 数组,添加如下配置:{
"model": "llama3.2:3b",
"name": "llama3.2:3b",
"avatar": "/imgs/model/openai.svg",
"maxContext": 125000,
"maxResponse": 4000,
"quoteMaxToken": 120000,
"maxTemperature": 1.2,
"charsPointsPrice": 0,
"censor": false,
"vision": true,
"datasetProcess": true,
"usedInClassify": true,
"usedInExtractFields": true,
"usedInToolCall": true,
"usedInQueryExtension": true,
"toolChoice": true,
"functionCall": false,
"customCQPrompt": "",
"customExtractPrompt": "",
"defaultSystemChatPrompt": "",
"defaultConfig": {},
"fieldMap": {}
}
docker-compose down
docker-compose -f docker-compose-pgvector.yml up -d
Dify 默认单文件上传限制为 15MB。如需调整,打开 docker 目录下的 .env 文件,修改以下参数:
# Upload file size limit, default 15M.
UPLOAD_FILE_SIZE_LIMIT=150
NGINX_CLIENT_MAX_BODY_SIZE=150M
host.docker.internal 解析是否正确。Windows 用户可能需要确认 Docker 网络模式。通过上述步骤,您可以成功在本地搭建一套包含 Dify 或 FastGPT 的知识库系统,并接入 Ollama 提供的本地大模型能力。这种部署方式不仅保障了数据隐私安全,还能根据需求灵活定制 AI 行为,适合个人开发者及中小企业进行私有化 AI 应用探索。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online