OpenAI gpt-oss 开源模型本地部署教程

3. 安装 Ollama

下载完成后，运行安装程序。安装过程非常简单，基本就是一路'下一步'。

安装完成后，Ollama 会在你的系统托盘中以后台服务的形式运行。

四、拉取并运行 gpt-oss 模型

Ollama 的命令行操作与 Docker 非常相似，主要使用 pull 和 run 命令。

1. 打开终端

打开你的 Windows PowerShell 或命令提示符 (CMD)。

2. 拉取 (Pull) 模型

gpt-oss 有多个版本，我们这里以对硬件要求稍低的 20b 版本为例。执行以下命令：

ollama pull gpt-oss:20b 

这个过程会下载模型文件，根据你的网络速度，可能需要一些时间。

3. 运行 (Run) 模型

下载完成后，运行模型进行交互：

ollama run gpt-oss:20b 

五、与 gpt-oss 模型交互

1. 基础对话

运行 ollama run 命令后，你就可以直接在终端中输入问题并与模型对话了。我们来问一个经典问题：'你是谁？'

注意：模型的回答中提到了 'ChatGPT'，这可能是因为 gpt-oss 的训练数据或基础架构与 ChatGPT 有很深的渊源。

2. 使用 Ollama 桌面应用 GUI

除了命令行，Ollama 也提供了一个简洁的桌面应用

• 安装 Ollama 后，它通常会自动启动。
• 你可以在主界面的下拉菜单中，选择你已经 pull 下来的模型 (如 gpt-oss:20b)，然后直接开始对话。

3. 创建你的 Ollama Hub 个人资料

登录 Ollama 官网后，你可以创建并编辑你的个人资料。这是分享你自定义的模型 (Modelfiles) 和参与社区的第一步。

4. 代码生成

gpt-oss 的代码能力还可以。我们可以让它尝试写一个 pygame 游戏。

5. 联网搜索功能

一个令人惊喜的功能是，gpt-oss 在 Ollama 中可以联网！但这需要你先在 Ollama Hub 上创建并登录你的账户。

登录后，当你提出一个需要实时信息的问题时，模型会自动触发搜索功能。

六、在 Ubuntu 上部署及使用 Web 客户端

对于 Linux 用户，特别是作为服务器使用时，命令行是基础，但搭建一个功能强大的 Web 界面能提供更好的体验。

1. 在 Ubuntu 上安装 Ollama

在 Ubuntu 上安装 Ollama 极其简单，官方提供了一键安装脚本。打开你的终端，执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动下载 Ollama 二进制文件，并将其设置为一个 systemd 后台服务。安装完成后，Ollama 服务会自动启动。你可以通过 systemctl status ollama 验证其运行状态。

2. 拉取并运行模型 (命令行)

与 Windows 完全相同，在 Ubuntu 终端中执行：

ollama pull gpt-oss:20b
ollama run gpt-oss:20b

3. 搭建 Web 客户端：Open WebUI

Open WebUI 是一个非常流行的、与 Ollama 完美兼容的开源 Web 客户端。

a. 安装 Docker
Open WebUI 最简单的部署方式是使用 Docker。如果你的系统尚未安装 Docker，请执行：

apt-get update && apt-get install -y docker.io
# 启动并设置开机自启
systemctl start docker
systemctl enable docker

b. 运行 Open WebUI 容器
执行以下命令来下载并运行 Open WebUI 容器：

docker run -d --network=host -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令解析：

• -d: 后台运行容器。
• --network=host: 让容器共享主机的网络，这样 WebUI 可以轻松访问在本机 11434 端口运行的 Ollama 服务。
• -v open-webui:/app/backend/data: 挂载一个数据卷，用于持久化 WebUI 的用户数据和配置。
• --name open-webui: 给容器命名。
• --restart always: 确保 Docker 服务重启时，该容器也会自动启动。

c. 访问并使用 Open WebUI

• 在你的浏览器中，访问 http://<你的 Ubuntu 服务器 IP>:8080 (Open WebUI 默认使用 8080 端口)。
• 首次访问时，你需要注册一个管理员账户。
• 登录后，你就可以在界面上选择已经拉取到本地的 gpt-oss:20b 模型，并开始对话了！

总结

通过本教程，我们成功地在一台普通的 Windows 电脑上，使用 Ollama 轻松部署了 OpenAI 的 gpt-oss 模型。同时，我们也学习了如何在 Ubuntu 环境下完成同样的部署，并额外搭建了一个功能强大的 Open WebUI 客户端。我们体验了它的基础对话、代码生成乃至联网搜索等强大功能。虽然在中端硬件上性能有限，但这无疑为广大 AI 爱好者和开发者打开了一扇探索前沿大模型的大门。

Q&A 问答环节

1. 问：为什么模型在我电脑上运行这么慢？
答： 模型运行速度主要取决于 GPU 性能和显存。gpt-oss-20b 是一个有 200 亿参数的模型，对资源要求较高。在 RTX 3050 这样的入门级/中端显卡上，推理速度自然会比较慢。Ollama 会自动利用你的 GPU，但如果显存不足，部分模型层会加载到 CPU 和内存中，进一步拖慢速度。

2. 问：除了 gpt-oss，我还能用 Ollama 运行哪些模型？
答： 非常多！Ollama 支持目前几乎所有主流的开源模型，例如 Google 的 Gemma，Meta 的 Llama 3，Mistral AI 的 Mistral 等。你可以在 Ollama 官网的 'Models' 页面查看完整的模型库。

3. 问：联网搜索功能是如何实现的？需要额外配置吗？
答： 这是 gpt-oss 模型本身在 Ollama 框架下集成的功能，可能利用了类似工具调用 (Tool Calling) 或函数调用 (Function Calling) 的机制。当你提出需要外部信息的问题时，模型会自动调用一个内置的搜索工具。除了登录 Ollama Hub 账户外，通常不需要你进行额外配置。

4. 问：如果我没有 NVIDIA 显卡，还能运行吗？
答： 可以。Ollama 支持纯 CPU 运行。它会自动检测你是否有兼容的 GPU，如果没有，它会完全使用你的 CPU 和系统内存来运行模型。当然，纯 CPU 运行的速度会比 GPU 慢得多。

5. 问：我可以微调或定制 gpt-oss 模型吗？
答： 可以。这正是开放权重模型的魅力所在。你可以使用自己的数据集对模型进行微调 (fine-tuning)。在 Ollama 中，你还可以通过编写 Modelfile 来定制模型的系统提示词 (System Prompt)、参数等，然后构建一个属于你自己的新模型版本。

6. 问：如何查看我的 Open WebUI 容器的日志 (Ubuntu)？
答： 如果 Open WebUI 无法启动或出现问题，你可以使用 Docker 命令查看其日志来排查错误。在终端中执行：

docker logs open-webui

如果你想实时跟踪日志，可以加上 -f 选项：docker logs -f open-webui。