本地部署大模型知识库：Ollama 与 Dify 集成指南

本地部署大模型知识库：Ollama 与 Dify 集成指南

前言

随着大语言模型（LLM）技术的快速发展，数据隐私和离线运行需求日益增长。将大模型部署在本地环境，不仅能保障数据安全，还能降低 API 调用成本。本文旨在指导开发者通过 Docker 容器化技术，在本地快速搭建基于 Ollama 和 Dify 的大模型知识库系统。

本方案采用 Ollama 作为本地推理引擎，Dify 作为应用编排平台，实现私有化的 RAG（检索增强生成）能力。无需依赖外部云服务，即可构建专属的智能助手。

环境准备

在开始部署之前，请确保您的服务器或本地开发机满足以下基础条件：

1. 操作系统：Linux (Ubuntu 20.04+), macOS, 或 Windows 10/11。
2. Docker：安装 Docker Engine 及 Docker Compose 插件。
3. 网络环境：能够访问 GitHub 下载资源，若在内网需提前配置镜像源。
4. 硬件要求：建议至少 8GB 内存，若运行较大参数量的模型（如 Llama-3-70B），建议配备独立显卡及 32GB+ 内存。

验证环境

运行以下命令检查 Docker 是否安装成功：

docker --version
docker compose version

第一步：获取并解压 Dify

Dify 是一个开源的 LLM 应用开发平台。我们需要从其官方仓库获取最新的稳定版本。

1. 访问 Dify 的 GitHub 发布页面，下载最新版本的压缩包。
2. 将压缩包解压至您希望存放项目的目录，例如 /opt/dify。

mkdir -p /opt/dify
cd /opt/dify
# 假设下载的文件名为 dify.zip
unzip dify.zip

解压后，目录结构中将包含 docker 文件夹，这是核心配置文件所在处。

第二步：配置环境变量

进入 docker 目录，复制默认的环境变量模板文件：

cd docker
cp .env.example .env

编辑 .env 文件，根据实际需求调整配置。关键配置项说明如下：

• APP_SECRET_KEY：用于加密敏感信息，建议生成随机字符串。
• DB_USERNAME / DB_PASSWORD：数据库账号密码，生产环境务必修改默认值。
• REDIS_PASSWORD：Redis 缓存密码。
• CONSOLE_API_URL：API 访问地址，默认为 http://localhost:5001。
• WEBAPP_API_URL：Web 端访问地址，默认为 http://localhost:3000。

注意：如果后续需要连接外部 Ollama 服务，请确保 .env 中未强制绑定 localhost，以便容器间通信。

第三步：启动服务

使用 Docker Compose 一键启动所有依赖服务（包括 PostgreSQL, Redis, Weaviate/Qdrant 等向量数据库）。

docker compose up -d

该命令会拉取所需镜像并在后台运行容器。首次启动可能需要几分钟时间，取决于网络和镜像大小。您可以通过以下命令查看容器状态：

docker compose ps

确认所有容器状态为 Up 且无报错日志后，继续下一步。

第四步：初始化 Dify 控制台

服务启动完成后，打开浏览器访问初始化地址：

http://localhost/install

1. 点击 Install 按钮，系统将自动执行数据库迁移和初始化脚本。
2. 注册管理员账户，设置用户名、密码及邮箱。
3. 登录成功后，您将进入 Dify 的工作台界面。

第五步：配置 Ollama 模型连接

为了让 Dify 调用本地的大模型，需要在 Dify 的设置中配置 Ollama 接口。

1. 在左侧菜单栏找到 设置 > 模型供应商。
2. 选择 Ollama 提供商。
3. 填写模型名称（需与您在 Ollama 中下载的模型名称一致，例如 llama3 或 qwen）。
4. 配置 Base URL：
   • 如果是本地部署，请填写 http://host.docker.internal:11434。
   • 此地址允许容器内部访问宿主机的 Ollama 服务端口。
5. 保存配置并进行测试连接。

提示：如果您尚未安装 Ollama，请先在宿主机上安装并运行 ollama serve 命令，然后拉取所需的模型，例如 ollama pull llama3。

第六步：创建知识库与应用

完成模型配置后，即可开始构建知识库应用。

1. 创建知识库

1. 进入 知识库 模块。
2. 点击 创建知识库，输入名称（如'公司文档库'）。
3. 上传本地文件（支持 PDF, TXT, Markdown, Word 等格式）。
4. 设置分段规则（Chunk Size, Chunk Overlap），通常默认设置适用于大多数场景。
5. 等待索引构建完成。

2. 创建工作流或聊天助手

1. 进入 应用 模块，选择 聊天助手 或 工作流。
2. 在编排界面添加 知识库检索 节点，关联刚才创建的索引。
3. 配置 提示词（Prompt）：
   • 设定角色：你是一个专业的问答助手。
   • 设定约束：仅依据提供的上下文回答，不知道的内容请如实告知。
4. 调试并预览效果。

常见问题排查

1. 容器无法启动

• 检查端口冲突：确保 5001, 3000, 80 等端口未被占用。
• 查看日志：docker compose logs -f 查看具体报错信息。

2. Ollama 连接失败

• 确认 Ollama 服务已在宿主机运行：curl http://localhost:11434/api/tags。
• 检查防火墙设置，确保 11434 端口可被 Docker 容器访问。
• 若使用 Linux，可能需要配置 Docker 网络权限或使用 --add-host 参数。

3. 向量检索速度慢

• 检查向量数据库（Weaviate/Qdrant）的资源分配。
• 尝试减少知识库文件的数量或优化分段策略。

结语

通过上述步骤，您已经成功在本地构建了基于 Ollama 和 Dify 的大模型知识库系统。这不仅实现了数据的完全私有化，还为您提供了灵活的应用开发能力。未来，您可以进一步探索 Agent 智能体、多模态处理等功能，深化本地 AI 应用的落地实践。