基于 Ollama 与 AnythingLLM 的本地 RAG 知识库搭建
前言
检索增强生成（RAG）技术允许大语言模型结合私有数据回答问题，有效解决模型幻觉问题。本文将介绍如何在本地环境部署大模型，并通过工具构建完全本地化的私有知识库，确保数据隐私安全。
一、环境准备
- 硬件要求: 建议至少 16GB 内存，若使用 GPU 加速，显存建议在 8GB 以上。
- 软件依赖: Docker Desktop（用于容器化部署）、Ollama（本地模型运行服务）。
- 网络环境: 首次拉取模型和镜像需要稳定的网络连接。
二、安装 Docker Desktop
Docker 是运行 Open WebUI 和 AnythingLLM 的基础。
- 下载: 访问 Docker 官网下载对应操作系统的安装包。
- 安装: 双击运行安装包，按照向导完成安装。
- Windows 用户需开启 WSL2 后端支持。
- Mac 用户需确认 Rosetta 2 设置（如适用）。
- 配置:
- 启动 Docker Desktop。
- 接受许可协议并登录账号（可选，但推荐登录以同步资源）。
- 注意: 在模型下载或镜像构建期间，请勿强制关闭程序，以免中断进程。
三、部署 Ollama 本地模型
Ollama 提供了便捷的命令行接口来运行开源大模型。
- 安装 Ollama: 从官网下载安装包并运行。
- 拉取模型: 打开终端输入以下命令拉取模型（例如 llama3）：
ollama pull llama3
- 验证: 输入
ollama list查看已安装的模型列表。 - 运行测试: 输入
ollama run llama3开始对话，确认模型响应正常。
四、搭建 Open WebUI 聊天界面
Open WebUI 是一个功能丰富的开源 Web 界面，可连接本地 Ollama 服务。
- 启动容器: 在终端执行以下命令启动 Open WebUI：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-p 3000:8080: 将容器 8080 端口映射到主机 3000 端口。-v: 挂载数据卷，防止重启后数据丢失。
- 访问界面: 浏览器打开
http://localhost:3000。 - 注册与登录: 首次访问会提示创建管理员账号，输入昵称、邮箱和密码。
- 模型选择: 登录后进入设置页面，在 Model 选项中选择已连接的 Ollama 模型。
- 开始对话: 此时即可通过 Web 界面与大模型进行交互。
