本地搭建带知识库的 AI 助手：Ollama + Open WebUI 部署指南

经验值：7B 参数 INT4 模型约需 4～6GB 显存，13B 需 8～10GB，32B 需 16GB+ 显存。

4.2 系统与软件环境

• 操作系统：Windows 10/11、macOS、主流 Linux 发行版。
• Docker（推荐）：Windows/macOS 安装 Docker Desktop；Linux 安装 Docker Engine + Docker Compose。
• Ollama：从官网下载安装。
• NVIDIA 驱动 + CUDA：如有 N 卡需安装对应驱动和 CUDA 工具包（Ollama 会自动检测）。

五、部署路线图

1. 环境准备：安装 Ollama、Docker，验证基础环境。
2. 本地模型跑通：通过 Ollama 拉取并运行对话模型（如 Qwen2.5:7b-instruct）。
3. WebUI 部署：用 Docker 一键启动 Open WebUI，连接 Ollama。
4. 基础对话体验：在浏览器里和本地模型聊天。
5. 知识库搭建（RAG）：上传文档，构建私有知识库。
6. Python 调用 & 自动化（可选）：用代码调用本地模型。

六、第一步：安装 Ollama 并跑通本地模型

6.1 安装 Ollama

以 Windows 为例：

1. 打开官网：https://ollama.com/download。
2. 下载 Windows 安装包，双击安装。

安装完成后，执行：

ollama -v 

若输出类似 ollama version is 0.5.4，则安装成功。

6.2 拉取并运行一个对话模型

以 Qwen2.5 为例：

ollama pull qwen2.5:7b-instruct
ollama run qwen2.5:7b-instruct

首次运行会自动下载模型文件（约 4～5GB），等待完成后可输入问题测试。

七、第二步：用 Docker 部署 Open WebUI

7.1 安装 Docker

• Windows / macOS：到 Docker 官网下载 Docker Desktop 并安装。
• Linux：按官方文档安装 Docker Engine 和 Docker Compose。

验证安装：

docker -v
docker compose version

7.2 启动 Open WebUI 容器

示例命令（假设 Ollama 在本机 11434 端口）：

docker run -d \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

参数说明：

• -p 3000:8080：映射容器 8080 端口到宿主机 3000。
• -e OLLAMA_BASE_URL：指定 Ollama 服务地址。
• -v open-webui:/app/backend/data：持久化聊天记录和配置。
• --restart always：异常退出时自动重启。

启动后访问：http://localhost:3000。

八、第三步：在 WebUI 里连接本地模型

1. 注册 / 登录 Open WebUI（账号仅本地存储）。
2. 在界面中选择模型，应能看到 qwen2.5:7b-instruct 选项。
3. 若看不到模型，检查设置中 Ollama 连接地址是否正确并点击'验证连接'。

九、第四步：搭建本地知识库（RAG）

9.1 RAG 是什么

RAG（Retrieval-Augmented Generation）= 检索 + 增强 + 生成：

1. 检索：根据问题从知识库找出相关文档片段。
2. 增强：将检索内容塞进提示词，一起丢给模型。
3. 生成：模型基于上下文生成回答。

好处：无需重新训练模型即可让模型'知道'私有资料，更新灵活。

9.2 准备嵌入模型

需要嵌入模型进行向量检索，例如：

ollama pull nomic-embed-text
# 或
ollama pull bge-m3

Open WebUI 可自动使用这些模型构建知识库。

9.3 在 Open WebUI 里创建知识库

1. 进入'知识库 / Documents'管理页面。
2. 新建知识库，如'我的技术笔记'。
3. 上传本地文档：PDF、Word、Markdown、TXT 等。
4. 系统自动调用嵌入模型，对文档分片和向量化。
5. 对话时挂载该知识库，模型优先从文档中找答案。

十、第五步：用 Python 调用本地模型（可选）

可通过 Ollama 的 API 集成到脚本中。

10.1 简单示例：对话

import requests

OLLAMA_BASE = "http://localhost:11434"

def chat(prompt: str, model: str = "qwen2.5:7b-instruct"):
    r = requests.post(
        f"{OLLAMA_BASE}/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "stream": False,
        },
    )
    r.raise_for_status()
    return r.json()["message"]["content"]

print(chat("用大白话解释一下什么是 RAG？"))

10.2 简单示例：文本嵌入

def embed(text: str, model: str = "nomic-embed-text"):
    r = requests.post(
        f"{OLLAMA_BASE}/api/embeddings",
        json={"model": model, "prompt": text},
    )
    r.raise_for_status()
    return r.json()["embedding"]

vec = embed("这是一段需要向量化的文本")
print(len(vec), vec[:5])

利用这些接口可进行批量文档处理、自动总结、智能检索等。