10 分钟部署本地大模型知识库:Ollama 与 Dify 环境搭建
本文详细介绍了在 Windows 环境下使用 Ollama、Docker 和 Dify 搭建本地大模型知识库的完整流程。内容包括硬件与软件环境准备、Ollama 安装及模型路径配置、Docker Desktop 部署、Dify 平台启动、Ollama 与 Dify 的连接配置、知识库创建及文档上传测试。方案重点解决了数据隐私安全问题,实现了本地化部署,避免了公有云数据泄露风险,适合对个人数据有安全需求的用户参考。

本文详细介绍了在 Windows 环境下使用 Ollama、Docker 和 Dify 搭建本地大模型知识库的完整流程。内容包括硬件与软件环境准备、Ollama 安装及模型路径配置、Docker Desktop 部署、Dify 平台启动、Ollama 与 Dify 的连接配置、知识库创建及文档上传测试。方案重点解决了数据隐私安全问题,实现了本地化部署,避免了公有云数据泄露风险,适合对个人数据有安全需求的用户参考。

在人工智能飞速发展的今天,大语言模型(LLM)的应用场景日益广泛。然而,将数据上传至公有云大模型服务往往伴随着隐私泄露的风险。对于企业或个人而言,构建一个完全私有化、本地化的大模型知识库是保障数据安全的关键方案。
本教程将详细介绍如何在 Windows 环境下,利用 Ollama、Docker 和 Dify 快速搭建一套本地大模型知识库系统。通过这套方案,你可以将本地的文档、笔记、代码库等数据导入知识库,实现基于私有数据的智能问答,且所有数据处理均在本地完成,无需担心数据外泄。
虽然不同模型对资源需求不同,但为了流畅运行主流开源大模型并构建知识库,建议配置如下:
Ollama 是一个开源工具,允许用户在本地轻松运行和管理大语言模型。它简化了模型下载、管理和运行的流程。
访问 Ollama 官网下载 Windows 版本安装包,按照常规步骤完成安装。
默认情况下,Ollama 会将模型文件存储在 C 盘根目录下。随着模型数量的增加,C 盘空间极易耗尽。因此,我们需要更改模型存储路径。
操作步骤:
OLLAMA_MODELSD:\Ollama_Models配置完成后,打开 PowerShell 或 CMD,使用以下命令下载模型。这里以 Llama3.1 为例:
ollama pull llama3.1
等待下载进度条完成。下载过程中会显示文件大小和速度。下载完成后,你可以在命令行直接测试模型:
ollama run llama3.1
输入简单的指令如"Hello",如果模型能正常回复,说明安装成功。
Dify 是一个开源的 LLM 应用开发平台,基于 Docker Compose 进行部署。因此需要先安装 Docker Desktop。
访问 Docker 官网下载 Docker Desktop for Windows 版本并完成安装。
安装完成后,打开 Docker Desktop 确保服务正常运行。在命令行输入 docker --version 确认 Docker 已正确安装并可调用。
Dify 提供了友好的 Web 界面来管理大模型应用、知识库和工作流。
使用 Git 克隆 Dify 官方仓库:
git clone https://github.com/langgenius/dify.git
cd dify/docker
进入 docker 目录后,复制环境变量示例文件:
cp .env.example .env
使用 Docker Compose 启动所有服务:
docker compose up -d
该命令会拉取所需的镜像并启动多个容器,包括 API 服务、Worker 服务、Web 前端以及 MySQL 和 Redis 数据库。首次启动可能需要几分钟时间,具体取决于网络速度和机器性能。
服务启动成功后,在浏览器中输入 http://localhost/signin 即可进入 Dify 登录页面。首次登录时,系统会自动创建管理员账户,用户名和密码均为 langgenius(请根据实际提示修改)。
为了让 Dify 能够调用本地的大模型,需要在 Dify 后台配置 Ollama 作为模型提供商。
http://host.docker.internal:11434/v1。
host.docker.internal。在模型列表中,点击"添加模型",选择刚才下载的 llama3.1 或其他可用模型。确保状态显示为"可用"。
配置好模型后,即可开始构建你的专属知识库。
如果 docker compose up 报错,检查端口是否被占用(默认 80 端口),或者检查 .env 文件中的数据库密码是否设置正确。
如果推理速度慢,检查 GPU 是否被正确识别。可以在 Ollama 命令行输入 ollama ps 查看模型加载状态。如果显存不足,尝试加载参数量更小的模型(如 llama3.1:8b 或 qwen:7b)。
目前部署默认为本地访问。如需局域网访问,需在 Docker 配置中映射端口,并确保防火墙允许相应端口通信。
通过以上步骤,你已经成功搭建了一套完整的本地大模型知识库系统。这不仅保护了你的数据隐私,还让你拥有了低成本、高可控性的 AI 助手。后续可以根据实际需求,进一步探索工作流编排、Agent 智能体等功能,挖掘更多应用场景。
本教程涵盖了从环境搭建到核心功能使用的完整流程。如果你在使用过程中遇到特定问题,建议查阅 Dify 官方文档或社区论坛获取技术支持。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online