本地 AI 个人知识库搭建指南
一、引言
随着大语言模型（LLM）技术的快速发展，构建本地化的 AI 知识库已成为保护数据隐私、降低 API 成本的重要方案。本文详细介绍如何部署本地大模型，并搭建完全私有化的个人专属知识库。主要涉及的技术栈包括 Ollama、Open WebUI、Docker 以及 AnythingLLM。
通过本文，你将掌握以下核心技能：
- 使用 Ollama 在本地运行开源大模型
- 利用 Open WebUI 构建现代化的对话界面
- 基于 RAG（检索增强生成）技术实现文档问答
- 使用 AnythingLLM 管理私有知识库
二、环境准备与 Ollama 部署
2.1 系统要求
在开始之前，请确保你的机器满足以下基本要求：
- 操作系统：Windows 10/11, macOS (Apple Silicon 或 Intel), Linux (Ubuntu/CentOS)
- 内存：建议至少 8GB RAM，运行 7B 参数模型推荐 16GB 以上
- 存储：预留 20GB 以上空间用于下载模型和向量数据库
- 网络：首次下载模型需要稳定网络连接
2.2 安装 Ollama
Ollama 是一个用于在本地运行大模型的轻量级工具。访问官方地址下载对应系统的安装包。
安装完成后，验证服务是否正常运行：
curl http://localhost:11434/api/tags
如果返回 JSON 列表，说明服务已启动。
2.3 运行本地大模型
使用命令行拉取并运行模型：
ollama run llama2
首次运行会自动下载模型文件。对于配置较低的设备，建议选择量化版本（如 llama2:7b-q4_0）。
三、Open WebUI 交互界面搭建
虽然终端可以直接与大模型交互，但图形化界面能提供更好的体验。Open WebUI 是 Ollama 的官方推荐前端。
3.1 Docker 安装
确保已安装 Docker Desktop 或 Docker Engine。Linux 用户可通过包管理器安装。
3.2 部署 Open WebUI
复制以下命令启动容器：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3.3 初始化配置
访问 http://localhost:3000/auth/ 进行注册。登录后即可开始对话。支持两种模式：
- 聊天对话：直接与大模型交流。
- RAG 能力：上传文档后让模型基于文档内容回答。
四、RAG 技术原理详解
RAG（Retrieval Augmented Generation）是连接大模型与私有数据的关键技术。其核心流程包含五个步骤：
4.1 文档加载（Document Loading）
从 PDF、TXT、Markdown 等多种格式中读取文本数据。LangChain 等框架提供了丰富的加载器。
4.2 文本分割（Splitting）
将长文本切分为语义完整的块（Chunk）。这有助于解决上下文长度限制问题，并提高检索精度。常见的策略包括按字符数、按句子或按重叠窗口分割。
