本地部署 AI 助手实战：Ollama + Open WebUI 构建私有知识库

参数说明：

• -p 3000:8080：将容器 8080 端口映射到宿主机 3000。
• -e OLLAMA_BASE_URL：指定 Ollama 服务地址。
• -v：持久化聊天记录和配置。
• --restart always：异常退出自动重启。

启动后访问 http://localhost:3000 即可看到登录界面。

3. 连接模型与创建知识库

登录后，在设置中确认 Ollama 连接状态。此时你应该能在模型列表里看到 qwen2.5:7b-instruct。

要启用知识库功能，首先需要拉取嵌入模型：

ollama pull nomic-embed-text
# 或者
ollama pull bge-m3

在 Open WebUI 的'知识库'页面新建库，上传 PDF、Word 或 Markdown 文档。系统会自动分片并向量化。在对话时挂载该知识库，模型就能基于你的私有资料回答问题了。

四、Python API 集成示例

除了网页端，你也可以通过 Python 脚本直接调用本地模型，方便接入自动化流程。

1. 对话调用

import requests

OLLAMA_BASE = "http://localhost:11434"

def chat(prompt: str, model: str = "qwen2.5:7b-instruct"):
    r = requests.post(
        f"{OLLAMA_BASE}/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "stream": False,
        },
    )
    r.raise_for_status()
    return r.json()["message"]["content"]

print(chat("用大白话解释一下什么是 RAG？"))

2. 文本嵌入

def embed(text: str, model: str = "nomic-embed-text"):
    r = requests.post(
        f"{OLLAMA_BASE}/api/embeddings",
        json={"model": model, "prompt": text},
    )
    r.raise_for_status()
    return r.json()["embedding"]

vec = embed("这是一段需要向量化的文本")
print(len(vec), vec[:5])

有了这些基础能力，你就可以编写脚本进行批量文档处理、自动总结或智能检索。

五、进阶方向

当基础流程跑通后，还可以尝试更多玩法：

• 多模型管理：同时运行通用模型和代码专用模型，按需切换。
• 专业 RAG 平台：探索 RagFlow、Dify 等支持更精细解析的工具。
• IDE 插件集成：将本地模型做成编辑器内的智能助手。
• 团队共享部署：在内网服务器部署，打造企业级 FAQ 助手。

这套方案兼顾了隐私安全与开发灵活性，是个人开发者构建私有 AI 能力的理想起点。