本地部署大模型与搭建个人知识库指南
一、引言
随着人工智能技术的飞速发展，大语言模型（LLM）的应用场景日益广泛。然而，将数据上传至云端服务往往涉及隐私泄露风险和高昂的调用成本。本文旨在手把手教你如何部署本地大模型以及搭建完全本地化的个人知识库，确保数据不出内网。
1.1 核心工具栈
本教程将使用以下开源工具和软件：
- Ollama：用于在本地高效运行大语言模型。
- Open WebUI：现代化的 Web 交互界面，替代命令行操作。
- Docker：容器化部署环境，简化依赖管理。
- AnythingLLM：功能强大的本地知识库管理工具，支持 RAG（检索增强生成）。
1.2 学习目标
读完本文，你将能够：
- 熟练使用 Ollama 在本地运行和切换大模型。
- 通过 Open WebUI 构建类似 ChatGPT 的本地对话体验。
- 深入理解 RAG 技术原理及其在知识库中的应用。
- 利用 AnythingLLM 搭建私有数据库，实现基于文档的智能问答。
二、Ollama 安装与大模型运行
Ollama 是一个轻量级的框架，允许用户在本地机器上下载和运行开源大模型。
2.1 系统要求
在开始之前，请确保你的硬件满足以下基本要求：
- CPU：支持 AVX2 指令集。
- 内存 (RAM)：建议至少 8GB，推荐 16GB 或更高。
- 存储：根据模型大小预留 5GB-50GB 空间。
- 操作系统：macOS, Linux, Windows。
2.2 安装步骤
访问 Ollama 官网下载对应系统的安装包并执行安装。安装完成后，打开终端验证服务是否启动：
curl http://localhost:11434/
如果返回 JSON 信息，说明服务正常运行。
2.3 运行本地大模型
使用 ollama run 命令即可拉取并运行模型。例如，运行 Llama 2 7B 版本：
ollama run llama2
首次运行时会自动下载模型权重。你可以通过以下命令查看已安装的模型列表：
ollama list
对于配置较低的设备，建议选择参数量较小的模型（如 7B 以下），以保证推理速度。
三、通过 Open WebUI 交互
虽然命令行可以运行模型，但图形界面能提供更好的用户体验。Open WebUI 是一个开源项目，提供了类似 ChatGPT 的界面。
3.1 前置条件
确保 Docker 和 Docker Compose 已正确安装。如果是 Windows 或 macOS，请下载 Docker Desktop；Linux 用户可参考官方文档安装 Docker Engine。
3.2 部署 Open WebUI
由于我们已单独安装了 Ollama，只需部署 Open WebUI 容器即可。复制以下命令启动服务：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
该命令将端口 3000 映射到宿主机的 8080 端口，并持久化存储数据。
