10 分钟部署大模型:本地知识库搭建指南(Ollama + Dify + Docker)
如何在本地环境中利用 Ollama、Docker 和 Dify 搭建大模型知识库。内容涵盖环境准备、Ollama 安装与路径配置、Dify 容器化部署、模型连接设置以及知识库创建流程。通过该方案,用户可实现数据的私有化存储与安全问答,避免数据泄露风险,同时降低对云端 API 的依赖。

如何在本地环境中利用 Ollama、Docker 和 Dify 搭建大模型知识库。内容涵盖环境准备、Ollama 安装与路径配置、Dify 容器化部署、模型连接设置以及知识库创建流程。通过该方案,用户可实现数据的私有化存储与安全问答,避免数据泄露风险,同时降低对云端 API 的依赖。

在数据隐私日益重要的今天,将大语言模型(LLM)部署在本地是一个极具价值的方案。通过构建本地知识库,你可以将私有文档、代码或数据投喂给模型,实现安全、高效的问答检索,且无需担心数据泄露。本文将详细介绍如何基于 Ollama、Docker 和 Dify 快速搭建一套完整的本地大模型知识库系统。
为了保证流畅的推理体验,建议配置如下硬件环境:
Ollama 是一个开源工具,允许用户在本地轻松运行和管理大语言模型。它简化了模型下载的复杂流程,提供了统一的 API 接口。
访问 Ollama 官网下载对应操作系统的安装包,按照常规步骤完成安装。

默认情况下,Ollama 会将模型文件存储在 C 盘。由于大模型体积较大(通常数 GB 至数十 GB),为避免占用系统盘空间,建议修改存储路径。
OLLAMA_MODELS。D:\Ollama\Models。
确保路径存在且当前用户对目录有读写权限。重启 Ollama 服务使配置生效。
打开命令行(CMD 或 PowerShell),使用以下命令拉取模型。这里以 llama3.1 为例:
ollama pull llama3.1
等待下载完成后,可以在命令行直接测试模型:
ollama run llama3.1

虽然命令行可用,但为了更友好的交互界面,我们需要引入 Dify。
Dify 是一个开源的 LLM 应用开发平台,依赖 Docker 容器化运行。

Dify 提供了可视化的工作流编排能力,是连接 Ollama 和本地知识库的最佳桥梁。
从 GitHub 官方仓库下载 Dify 的最新版本: https://github.com/langgenius/dify
进入解压后的 docker 目录,执行以下命令复制配置文件并启动服务:
cd docker
cp .env.example .env
docker compose up -d
此过程会拉取所有必要的镜像(如 MySQL, Redis, Worker 等),可能需要几分钟时间。

浏览器访问 http://localhost/signin,首次登录需要注册管理员账号。
这是最关键的一步,将本地运行的 Ollama 接入 Dify 作为模型提供商。
http://host.docker.internal:11434(如果是在 Docker 内部调用宿主机服务)或直接 http://localhost:11434。在模型列表中勾选已安装的模型(如 llama3.1),并设置其为默认模型或特定任务模型。
Dify 的核心优势在于 RAG(检索增强生成)能力。
通过以上步骤,你成功搭建了一个完全私有的大模型知识库系统。相比云端 API,本地部署具有以下显著优势:
这套方案不仅适用于个人知识管理,也适合中小型企业构建内部智能助手。后续可进一步探索 Agent 自动化、多模态处理等高级功能。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online