跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

本地知识库快速部署指南:FastGPT + Dify + Ollama 集成方案

在本地环境中部署 Dify、FastGPT 知识库平台及 Ollama 大语言模型的完整流程。内容涵盖 Docker 环境准备、两个平台的安装配置、Ollama 模型下载与运行,以及将本地模型接入 Dify 和 FastGPT 的具体步骤。此外还包含文件上传限制修改、网络配置优化及常见问题的排查建议,帮助用户构建私有化、安全可控的 AI 知识库系统。

墨染流年发布于 2025/2/7更新于 2026/5/2925 浏览
本地知识库快速部署指南:FastGPT + Dify + Ollama 集成方案

本地知识库快速部署指南:FastGPT + Dify + Ollama 集成方案

本文介绍如何在本地环境中部署 Dify、FastGPT 知识库平台及 Ollama 大语言模型,实现私有化 AI 知识库的搭建。通过 Docker 容器化技术,用户可以轻松运行这些工具,并结合本地模型进行数据检索与对话。

环境准备

  • 操作系统:支持 macOS (M1/M2/M3), Windows, Linux。
  • 硬件要求:建议内存至少 16GB。若使用 Ollama 运行 3B 参数量的模型,需确保 CPU/GPU 散热良好。
  • 软件依赖:安装 Docker Desktop 或 Docker Engine。
    • Mac 用户推荐使用官方 Docker Desktop。
    • Windows/Linux 用户可前往 Docker 官网下载安装包。
  • 网络环境:确保能访问 GitHub 获取代码镜像,国内用户建议使用 Docker 镜像加速器。

第一步:部署 Dify

Dify 是一个开源的 LLM 应用开发平台,支持工作流编排和知识库管理。

1. 获取代码

访问 Dify GitHub 仓库,下载源码或直接下载 ZIP 文件包。

2. 启动服务

进入 docker 文件夹,执行以下命令自动拉取镜像并启动容器:

docker-compose up -d

等待服务启动完成后,在浏览器访问 http://localhost/install 进行初始化配置。

3. 注意事项

  • 若国内网络下载镜像受阻,请配置 Docker 镜像加速器。
  • 详细文档请参考 Dify 官方 QuickStart 指引。

第二步:部署 FastGPT

FastGPT 是另一个专注于知识库问答的开源项目,支持更灵活的 Agent 构建。

1. 获取代码

访问 FastGPT GitHub 仓库,下载源码。

2. 配置文件

FastGPT 默认没有 docker-compose.yml,需指定配置文件。通常使用 docker-compose-pgvector.yml。 同时需在 docker 目录下创建 config.json 文件,参考官方示例配置数据库连接及密钥信息。

3. 启动服务

执行以下命令启动服务:

docker-compose -f docker-compose-pgvector.yml up -d

启动后访问 http://localhost:3000 即可使用主界面。

4. 管理员配置

  • 模型配置页面地址:http://localhost:3001
  • 默认账号:root
  • 默认密码:可在 config.json 中查看,通常为 123456 或自定义。

第三步:部署 Ollama

Ollama 用于在本地运行大语言模型,作为 Dify 和 FastGPT 的后端推理引擎。

1. 安装 Ollama

前往 Ollama 官网下载并安装对应系统的客户端。

2. 运行模型

以 llama3.2:3b 为例,执行以下命令下载并运行模型:

ollama run llama3.2:3b

运行期间可通过 Ctrl+D 或输入 /bye 退出会话。

第四步:对接本地模型

将 Ollama 接入 Dify 和 FastGPT,使它们能够调用本地模型。

1. Dify 对接

  1. 登录 Dify,进入「设置」->「模型供应商」。
  2. 选择 Ollama 提供商。
  3. 填写模型名称为 llama3.2:3b。
  4. 基础 URL 填写为 http://host.docker.internal:11434。
  5. 保存配置即可生效。

2. FastGPT 对接

  1. 登录 FastGPT 模型配置页面 (http://localhost:3001)。
  2. 选择'渠道' -> '添加新渠道'。
  3. 类型选择 Ollama,名称填写 llama3.2:3b。
  4. 代理地址填写 http://host.docker.internal:11434。
  5. 密钥项必填,可随意填写字符(FastGPT 不校验)。
  6. 修改 config.json 中的 llmModels 数组,添加如下配置:
{
  "model": "llama3.2:3b",
  "name": "llama3.2:3b",
  "avatar": "/imgs/model/openai.svg",
  "maxContext": 125000,
  "maxResponse": 4000,
  "quoteMaxToken": 120000,
  "maxTemperature": 1.2,
  "charsPointsPrice": 0,
  "censor": false,
  "vision": true,
  "datasetProcess": true,
  "usedInClassify": true,
  "usedInExtractFields": true,
  "usedInToolCall": true,
  "usedInQueryExtension": true,
  "toolChoice": true,
  "functionCall": false,
  "customCQPrompt": "",
  "customExtractPrompt": "",
  "defaultSystemChatPrompt": "",
  "defaultConfig": {},
  "fieldMap": {}
}
  1. 重启服务:
docker-compose down
docker-compose -f docker-compose-pgvector.yml up -d

第五步:配置优化

文件上传限制

Dify 默认单文件上传限制为 15MB。如需调整,打开 docker 目录下的 .env 文件,修改以下参数:

# Upload file size limit, default 15M.
UPLOAD_FILE_SIZE_LIMIT=150
NGINX_CLIENT_MAX_BODY_SIZE=150M

常见问题排查

  1. 无法连接 Ollama:检查 host.docker.internal 解析是否正确。Windows 用户可能需要确认 Docker 网络模式。
  2. 内存不足:Ollama 运行较大模型时占用内存较高,建议关闭其他高负载应用或使用较小参数量模型(如 3B 版本)。
  3. 端口冲突:确认 3000、3001、11434 等端口未被占用。

总结

通过上述步骤,您可以成功在本地搭建一套包含 Dify 或 FastGPT 的知识库系统,并接入 Ollama 提供的本地大模型能力。这种部署方式不仅保障了数据隐私安全,还能根据需求灵活定制 AI 行为,适合个人开发者及中小企业进行私有化 AI 应用探索。

目录

  1. 本地知识库快速部署指南:FastGPT + Dify + Ollama 集成方案
  2. 环境准备
  3. 第一步:部署 Dify
  4. 1. 获取代码
  5. 2. 启动服务
  6. 3. 注意事项
  7. 第二步:部署 FastGPT
  8. 1. 获取代码
  9. 2. 配置文件
  10. 3. 启动服务
  11. 4. 管理员配置
  12. 第三步:部署 Ollama
  13. 1. 安装 Ollama
  14. 2. 运行模型
  15. 第四步:对接本地模型
  16. 1. Dify 对接
  17. 2. FastGPT 对接
  18. 第五步:配置优化
  19. 文件上传限制
  20. Upload file size limit, default 15M.
  21. 常见问题排查
  22. 总结
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • Adoptium Temurin JDK 安装与配置指南
  • Python 数据清理与准备最佳实践:清洗、合并与存储
  • 飞算 JavaAI 插件安装与使用指南
  • Docker 部署 ROS 2 Humble 开发环境
  • SMOTE 算法详解:解决不平衡数据问题的有效工具
  • AI 自动生成 DLLESCORT 许可证密钥方案
  • Python 中国节假日日历库使用指南:识别法定节假日与工作日
  • FPGA 调试:PCIE XDMA 无 Link Up 状态使用 LTSSM 定位问题
  • Unity VR 全景视频高分辨率播放性能优化方案
  • 本地语音识别技术:Whisper 的隐私保护与多场景应用
  • 宜搭低代码开发师(高级)认证实操:待办列表管理
  • Minecraft 假面骑士 100 天整合包安装与环境配置指南
  • AI 大模型原理、应用与未来趋势
  • 全球情报监控平台 World Monitor 开源项目解析
  • 学生成绩管理系统实战:AI 辅助开发全流程解析
  • 医疗AI中的马尔科夫链深度应用与Python实现
  • Android 开发核心知识点笔记:从基础原理到算法面试实战
  • 量化金融领域主要职位解析:研究、开发与交易
  • 基于 Higress 将 REST API 转换为 MCP Server 工具
  • Stable Diffusion 大模型基础与选型指南

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online