本地部署大模型与搭建个人 AI 知识库实战指南

访问 http://localhost:3000/auth/ 注册账号。登录后即可创建对话。Open WebUI 支持两种主要模式：

1. 聊天模式：直接与模型对话，适合通用问答。
2. RAG 模式：上传文档后，模型基于文档内容回答，这是构建知识库的基础。

四、RAG 技术原理解析

检索增强生成（Retrieval Augmented Generation, RAG）是解决大模型知识截止问题的关键技术。其核心流程包含五个步骤：

4.1 文档加载 (Document Loading)

从 PDF、TXT、Markdown 等格式中读取文本数据。LangChain 等框架支持多种加载器，可处理结构化与非结构化数据。

4.2 文本分割 (Text Splitting)

由于上下文窗口限制，长文档需被切分为小块（Chunks）。常见的分割策略包括：

• 固定字符数分割：按指定长度切分。
• 语义分割：按段落或句子边界切分，保留上下文完整性。
• 重叠分割：相邻块之间保留部分重叠，防止关键信息丢失。

4.3 文本嵌入 (Embedding)

将文本块转换为向量表示。常用的本地嵌入模型包括 all-MiniLM-L6-v2 或 nomic-embed-text。这些模型将语义相似的文本映射到向量空间中相近的位置。

示例向量对比：

• "国王" -> [1.2, 0.5, 3.1...]
• "皇帝" -> [1.3, 0.6, 2.9...]
• "苹果" -> [0.9, -1.2, 0.3...]

可见'国王'与'皇帝'的向量距离更近。

4.4 向量数据库 (Vector Stores)

存储嵌入向量的专用数据库，支持快速相似度搜索。常见选择包括 ChromaDB、Milvus、Pgvector 等。ChromaDB 因其轻量级特性适合本地部署。

4.5 检索与生成 (Retrieval & Generation)

当用户提问时，系统将问题转化为向量，在数据库中检索最相关的 Top-K 文档块，将其作为上下文输入给大模型，从而生成基于事实的回答。

五、进阶：构建 AnythingLLM 知识库

AnythingLLM 集成了上述所有功能，并提供更灵活的管理界面。

5.1 安装与初始化

下载 AnythingLLM 桌面版或通过 Docker 部署。首次启动需配置以下三项：

1. 大模型连接：指向本地 Ollama 服务地址（通常为 http://host.docker.internal:11434）。
2. 嵌入模型：选择本地运行的 Embedding 模型。
3. 向量数据库：默认使用内置的 SQLite 或 ChromaDB。

5.2 创建工作空间 (Workspace)

每个工作空间代表一个独立的知识库项目。操作步骤：

1. 点击 "Create Workspace"。
2. 命名并设置权限。
3. 上传文档（支持 PDF, DOCX, TXT 等）。

5.3 对话模式选择

AnythingLLM 提供两种查询模式：

• Chat 模式：结合模型训练知识与上传文档，回答更全面但可能产生幻觉。
• Query 模式：严格仅依据上传文档内容回答，准确性更高，适合专业问答。

5.4 安全与优化建议

• 网络隔离：建议将 Docker 容器绑定到内网 IP，避免暴露公网。
• 定期备份：导出工作空间数据以防丢失。
• 模型更新：定期拉取最新版本的模型以修复漏洞或提升性能。

六、常见问题排查

1. 显存不足 (OOM)：

   • 尝试使用更小参数的模型（如 3B 或 7B 量化版）。
   • 减少并发请求数量。
   • 关闭其他占用 GPU 的程序。

2. 连接超时：

   • 检查 Ollama 服务是否在后台运行 (ollama serve)。
   • 确认 Docker 容器能解析 host.docker.internal。

3. 检索结果不准确：

   • 调整文本分割的大小（Chunk Size）。
   • 更换嵌入模型，尝试不同维度的向量模型。

七、总结

本地部署大模型与知识库不仅降低了使用成本，更重要的是保障了数据隐私。通过 Ollama、Open WebUI 和 AnythingLLM 的组合，开发者可以快速搭建起私有的智能助手。尽管受限于本地硬件性能，但在特定场景下，这种可控性带来的价值远超云端 API 调用。未来，随着硬件算力的提升和模型压缩技术的进步，本地 AI 应用将更加普及。