如何在本地环境部署大语言模型并构建 RAG 知识库。主要流程包括安装 Docker Desktop 和 Ollama 服务，使用 Docker 部署 Open WebUI 提供聊天界面，以及利用 AnythingLLM 实现文档上传、向量化和检索增强。文章涵盖了环境准备、具体配置步骤、工作空间管理及常见问题排查，旨在帮助用户建立安全、私有的本地 AI 应用系统。
检索增强生成（RAG）技术允许大语言模型结合私有数据回答问题，有效解决模型幻觉问题。本文将介绍如何在本地环境部署大模型，并通过工具构建完全本地化的私有知识库，确保数据隐私安全。
Docker 是运行 Open WebUI 和 AnythingLLM 的基础。
Ollama 提供了便捷的命令行接口来运行开源大模型。
ollama pull llama3
ollama list 查看已安装的模型列表。ollama run llama3 开始对话，确认模型响应正常。Open WebUI 是一个功能丰富的开源 Web 界面，可连接本地 Ollama 服务。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-p 3000:8080: 将容器 8080 端口映射到主机 3000 端口。-v: 挂载数据卷，防止重启后数据丢失。http://localhost:3000。若需对知识库进行更灵活的管理，推荐使用 AnythingLLM。它集成了文档解析、向量化存储和检索功能。
nomic-embed-text 等轻量级模型，用于将文本转化为向量。通过上述步骤，您可以构建一个完全本地化、数据可控的智能问答系统。无论是个人知识管理还是企业内部应用，RAG 架构都能显著提升大模型在实际场景中的可用性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online