本地搭建带知识库的 AI 助手：Ollama + Open WebUI 实战指南

如果你主要写中文、需求偏通用对话和代码，推荐：

• Qwen2.5 系列：中文能力强，指令跟随稳定，社区使用非常广泛。
• DeepSeek-R1 系列：推理和代码能力突出，适合'程序员向'场景。

具体选多大规模，要看你的硬件配置（后面会详细讲）。

硬件与系统环境：你的电脑够不够格？

硬件建议（以消费级 PC 为例）

一些经验值：7B 参数 INT4 模型大致需要 4～6GB 显存，13B 需要 8～10GB，32B 需要 16GB+ 显存。

系统与软件环境

• 操作系统：Windows 10/11、macOS、主流 Linux 发行版都可以。
• Docker（推荐）：
  • Windows/macOS 安装 Docker Desktop。
  • Linux 安装 Docker Engine + Docker Compose。
• Ollama：从官网下载安装即可。
• （可选）NVIDIA 驱动 + CUDA：如果你有 N 卡，想用 GPU 加速，需要安装对应驱动和 CUDA 工具包（Ollama 会自动检测）。

部署路线图：我们会分几步走？

为了让你有个整体预期，我们整个项目的路线大概是这样的：

1. 环境准备：安装 Ollama、Docker，验证基础环境。
2. 本地模型跑通：通过 Ollama 拉取并运行一个对话模型（如 Qwen2.5:7b-instruct）。
3. WebUI 部署：用 Docker 一键启动 Open WebUI，连接 Ollama。
4. 基础对话体验：在浏览器里像用 ChatGPT 一样和本地模型聊天。
5. 知识库搭建（RAG）：上传文档，构建私有知识库，让模型'记住'你的资料。
6. （可选）Python 调用 & 自动化：用代码调用本地模型，接入自己的工具链。

第一步：安装 Ollama 并跑通本地模型

安装 Ollama

以 Windows 为例（macOS / Linux 同理）：

1. 打开官网：https://ollama.com/download。
2. 下载 Windows 安装包，双击安装，一路'下一步'即可。

安装完成后，打开命令行，执行：

ollama -v 

如果看到类似 ollama version is 0.5.4 的输出，就说明安装成功。

拉取并运行一个对话模型

以 Qwen2.5 为例：

# 拉取模型
ollama pull qwen2.5:7b-instruct

# 运行模型（进入交互式对话）
ollama run qwen2.5:7b-instruct 

第一次运行时，Ollama 会自动下载模型文件（约 4～5GB），等待下载完成即可。在交互界面里，你可以直接输入问题，测试模型是否正常工作。

第二步：用 Docker 部署 Open WebUI

安装 Docker

如果你已经安装 Docker Desktop，可以跳过这一步。

• Windows / macOS：到 Docker 官网下载 Docker Desktop 并安装。
• Linux：按官方文档安装 Docker Engine 和 Docker Compose。

验证安装：

docker -v
docker compose version 

启动 Open WebUI 容器

一个简单的启动命令示例（假设 Ollama 在本机 11434 端口）：

docker run -d \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main 

参数说明：

• -p 3000:8080：把容器内的 8080 端口映射到宿主机 3000。
• -e OLLAMA_BASE_URL：告诉 Open WebUI，Ollama 服务在哪里。
• -v open-webui:/app/backend/data：持久化聊天记录和配置。
• --restart always：容器异常退出时会自动重启。

启动后，打开浏览器访问：http://localhost:3000，就能看到 Open WebUI 的登录界面。

第三步：在 WebUI 里连接本地模型

1. 注册 / 登录 Open WebUI（账号只存在本地，不会上传到云端）。
2. 在界面中选择模型，你应该能看到类似 qwen2.5:7b-instruct 的选项。
3. 如果看不到模型，可以在 Open WebUI 的设置里，检查 Ollama 连接地址是否正确，并点击'验证连接'。

接下来，就可以像用 ChatGPT 一样，和本地模型对话了。

第四步：搭建本地知识库（RAG）

RAG 是什么，为什么需要它？

简单来说，RAG（Retrieval-Augmented Generation）= 检索 + 增强 + 生成：

1. 检索：根据用户问题，从知识库中找出最相关的文档片段。
2. 增强：把检索到的内容塞进提示词，一起丢给模型。
3. 生成：模型基于这些上下文生成回答。

RAG 的好处是：不需要重新训练模型，就能让模型'知道'你的私有资料；可以随时更新知识库，比微调灵活得多。

准备嵌入模型

为了做向量检索，我们需要一个嵌入模型，比如：

# 拉取一个常用的嵌入模型
ollama pull nomic-embed-text
# 或 ollama pull bge-m3 

Open WebUI 可以自动使用这些嵌入模型来构建知识库。

在 Open WebUI 里创建知识库

不同版本的界面略有差异，但大致流程类似：

1. 进入'知识库 / Documents'管理页面。
2. 新建一个知识库，比如叫'我的技术笔记'。
3. 上传本地文档：PDF、Word、Markdown、TXT 等。
4. 系统会自动调用嵌入模型，对文档进行分片和向量化。
5. 在对话时，把这个知识库挂载到当前会话，模型就会优先从这些文档里找答案。

第五步：用 Python 调用本地模型（可选）

如果你想把本地模型集成到自己的脚本或工具里，可以通过 Ollama 的 API 来调用。

简单示例：对话

import requests

OLLAMA_BASE = "http://localhost:11434"

def chat(prompt: str, model: str = "qwen2.5:7b-instruct"):
    r = requests.post(
        f"{OLLAMA_BASE}/api/chat", 
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "stream": False,
        },
    )
    r.raise_for_status()
    return r.json()["message"]["content"]

print(chat("用大白话解释一下什么是 RAG？"))

简单示例：文本嵌入

def embed(text: str, model: str = "nomic-embed-text"):
    r = requests.post(
        f"{OLLAMA_BASE}/api/embeddings", 
        json={"model": model, "prompt": text},
    )
    r.raise_for_status()
    return r.json()["embedding"]

vec = embed("这是一段需要向量化的文本")
print(len(vec), vec[:5])

有了这些，你就可以自己写脚本做批量文档处理、自动总结、智能检索等。

进阶方向：这个项目还能怎么玩？

当你把基础对话 + 知识库跑通之后，可以考虑这些进阶玩法：

• 多模型管理：同时跑一个'通用对话模型' + 一个'代码专用模型'（如 Qwen2.5-Coder），在 WebUI 里按需切换。
• 更专业的 RAG 工具：尝试 RagFlow、Dify 等更复杂的 RAG 平台，支持更精细的文档解析和多路召回。
• 接入 IDE / 浏览器插件：把本地模型做成一个'智能助手'，在编辑器里自动补全、在浏览器里总结网页。
• 团队共享部署：把整套部署在公司内网服务器上，给团队统一用，实现'企业 FAQ 助手'。

小结

这篇文章主要做了三件事：

1. 讲清楚了为什么要在本地搭一个 AI 助手，以及它能解决哪些痛点。
2. 给出了技术选型与整体架构，重点推荐了 Ollama + Open WebUI 这套组合。
3. 梳理了从环境准备、模型部署、WebUI 搭建到知识库构建的完整路线图。

后续可针对 Windows / macOS / Linux 不同系统的踩坑点、RAG 效果调优（分块策略、检索参数等）、Python 自动化脚本实战做更详细的拆解。