10 分钟部署本地大模型知识库：Ollama 与 Dify 环境搭建

安装完成后，打开 Docker Desktop 确保服务正常运行。在命令行输入 docker --version 确认 Docker 已正确安装并可调用。

四、部署 Dify 平台

Dify 提供了友好的 Web 界面来管理大模型应用、知识库和工作流。

1. 获取源代码

使用 Git 克隆 Dify 官方仓库：

git clone https://github.com/langgenius/dify.git
cd dify/docker

2. 初始化配置文件

进入 docker 目录后，复制环境变量示例文件：

cp .env.example .env

3. 启动服务

使用 Docker Compose 启动所有服务：

docker compose up -d

该命令会拉取所需的镜像并启动多个容器，包括 API 服务、Worker 服务、Web 前端以及 MySQL 和 Redis 数据库。首次启动可能需要几分钟时间，具体取决于网络速度和机器性能。

4. 访问后台

服务启动成功后，在浏览器中输入 http://localhost/signin 即可进入 Dify 登录页面。首次登录时，系统会自动创建管理员账户，用户名和密码均为 langgenius（请根据实际提示修改）。

五、连接 Ollama 与 Dify

为了让 Dify 能够调用本地的大模型，需要在 Dify 后台配置 Ollama 作为模型提供商。

1. 配置模型提供商

1. 登录 Dify 后台，进入"设置" -> "模型供应商"。
2. 找到"Ollama"选项并启用。
3. 在"API Base URL"处填入本地地址：http://host.docker.internal:11434/v1。
   • 注意：在 Docker 容器内访问宿主机，Windows 下通常使用 host.docker.internal。
4. 保存配置。

2. 添加模型

在模型列表中，点击"添加模型"，选择刚才下载的 llama3.1 或其他可用模型。确保状态显示为"可用"。

六、创建本地知识库

配置好模型后，即可开始构建你的专属知识库。

1. 创建知识库

1. 进入"知识库"模块，点击"创建知识库"。
2. 填写名称（如"个人技术文档"），选择分段模式（建议"自动"）。
3. 选择嵌入模型（Embedding Model）。Dify 支持多种嵌入模型，若本地显存充足，可配置本地 Embedding 模型；否则可使用 Dify 内置的免费嵌入服务。

2. 上传文档

1. 进入刚创建的知识库，点击"上传文件"。
2. 支持格式包括 PDF、Word、TXT、Markdown 等。
3. 上传后，系统会自动进行文本清洗、分段和向量化处理。

3. 测试问答

1. 进入"对话"模块，选择关联刚才创建的知识库。
2. 输入问题，系统将基于知识库内容结合大模型能力生成回答。
3. 你可以查看引用来源，验证答案的准确性。

七、常见问题与优化

1. 启动失败

如果 docker compose up 报错，检查端口是否被占用（默认 80 端口），或者检查 .env 文件中的数据库密码是否设置正确。

2. 模型响应慢

如果推理速度慢，检查 GPU 是否被正确识别。可以在 Ollama 命令行输入 ollama ps 查看模型加载状态。如果显存不足，尝试加载参数量更小的模型（如 llama3.1:8b 或 qwen:7b）。

3. 跨设备访问

目前部署默认为本地访问。如需局域网访问，需在 Docker 配置中映射端口，并确保防火墙允许相应端口通信。

结语

通过以上步骤，你已经成功搭建了一套完整的本地大模型知识库系统。这不仅保护了你的数据隐私，还让你拥有了低成本、高可控性的 AI 助手。后续可以根据实际需求，进一步探索工作流编排、Agent 智能体等功能，挖掘更多应用场景。

本教程涵盖了从环境搭建到核心功能使用的完整流程。如果你在使用过程中遇到特定问题，建议查阅 Dify 官方文档或社区论坛获取技术支持。