OpenAI 开源模型 gpt-oss 本地部署详细教程

Ne0inhk

— 10 min read
OpenAI 开源模型 gpt-oss 本地部署详细教程

OpenAI 最近发布了其首个开源的开放权重模型gpt-oss，这在AI圈引起了巨大的轰动。对于广大开发者和AI爱好者来说，这意味着我们终于可以在自己的机器上，完全本地化地运行和探索这款强大的模型了。

本教程将一步一步指导你如何在Windows和Linux系统上，借助极其便捷的本地大模型运行框架Ollama，轻松部署和使用 gpt-oss 模型。

一、准备工作：系统配置与性能预期

在开始之前，了解运行环境非常重要。本次部署将在我的个人电脑上进行，下面是推荐配置：

  • CPU: 现代多核 CPU，如 Intel Core i7 或 AMD Ryzen 7 系列
  • 内存 (RAM): 32 GB 或更多
  • 显卡 (GPU): 强烈推荐 NVIDIA GeForce RTX 4090 (24 GB 显存)。这是确保大型模型流畅运行与高效微调的理想选择。
  • 操作系统: Linux 或 Windows 11
  • Python 版本: 推荐 3.12

性能预期：
在我自己电脑的配置下，运行 gpt-oss-20b 这样中等规模的模型，响应速度会比较慢，生成一段较长文本可能需要几十秒甚至更久。但这完全可用于功能测试、学习和轻度使用。如果你的显卡性能更强(如RTX 5090, 4090)，体验会流畅很多。当然我自己电脑的性能要差点

在这里插入图片描述

二、了解 gpt-oss 模型

gpt-oss 是 OpenAI 发布的开放权重语言模型，截止到2025年8月8日，提供了 gpt-oss-120b 和 gpt-oss-20b 两个版本。它旨在支持开发者在各种硬件上进行研究和创新。

官方 GitHub 仓库: https://github.com/openai/gpt-oss

在这里插入图片描述

三、安装 Ollama：本地部署的神器

Ollama 是一个开源框架，它极大地简化了在本地运行Llama, Mistral, Gemma 以及现在 gpt-oss等大模型的过程。

1. 访问 Ollama 官网并下载

打开浏览器，访问 Ollama 官网。你会看到一个简洁的界面，邀请你与开源模型一起对话和构建。

在这里插入图片描述

点击 “Download” 按钮后，页面会自动跳转到下载选择页面。

2. 选择操作系统

Ollama 支持 macOS, Linux 和 Windows。我们选择 Windows。

在这里插入图片描述

3. 安装 Ollama

下载完成后，运行安装程序。安装过程非常简单，基本就是一路“下一步”。

在这里插入图片描述


安装完成后，Ollama 会在你的系统托盘中以后台服务的形式运行。

四、拉取并运行 gpt-oss 模型

Ollama 的命令行操作与 Docker非常相似，主要使用 pull 和 run 命令。

1. 打开终端

打开你的Windows PowerShell或命令提示符 (CMD)。

2. 拉取 (Pull) 模型

gpt-oss 有多个版本，我们这里以对硬件要求稍低的 20b 版本为例。执行以下命令：

ollama pull gpt-oss:20b

这个过程会下载模型文件，根据你的网络速度，可能需要一些时间。

3. 运行 (Run) 模型

下载完成后，运行模型进行交互：

ollama run gpt-oss:20b
在这里插入图片描述

五、与 gpt-oss 模型交互

1. 基础对话

运行 ollama run 命令后，你就可以直接在终端中输入问题并与模型对话了。我们来问一个经典问题：“你是谁？”

在这里插入图片描述

注意：模型的回答中提到了 “ChatGPT”，这可能是因为 gpt-oss 的训练数据或基础架构与ChatGPT有很深的渊源。

2.使用 Ollama 桌面应用 GUI

除了命令行，Ollama 也提供了一个简洁的桌面应用

  • 安装Ollama后，它通常会自动启动。
  • 你可以在主界面的下拉菜单中，选择你已经 pull 下来的模型 (如 gpt-oss:20b)，然后直接开始对话。
在这里插入图片描述


在这里插入图片描述

3.创建你的 Ollama Hub 个人资料

登录 Ollama 官网后，你可以创建并编辑你的个人资料。这是分享你自定义的模型(Modelfiles) 和参与社区的第一步。

在这里插入图片描述

4. 代码生成
gpt-oss 的代码能力还可以。我们可以让它尝试写一个pygame游戏。

在这里插入图片描述


在这里插入图片描述

3.联网搜索功能
一个令人惊喜的功能是，gpt-oss 在 Ollama 中可以联网！但这需要你先在 Ollama Hub 上创建并登录你的账户。

登录后，当你提出一个需要实时信息的问题时，模型会自动触发搜索功能。

在这里插入图片描述

六、在 Ubuntu上部署及使用 Web 客户端

对于Linux用户，特别是作为服务器使用时，命令行是基础，但搭建一个功能强大的Web界面能提供更好的体验。

1. 在 Ubuntu 上安装 Ollama

在Ubuntu上安装Ollama极其简单，官方提供了一键安装脚本。打开你的终端，执行以下命令：

curl-fsSL https://ollama.com/install.sh |sh

脚本会自动下载Ollama二进制文件，并将其设置为一个 systemd后台服务。安装完成后，Ollama服务会自动启动。你可以通过 systemctl status ollama验证其运行状态。

2. 拉取并运行模型 (命令行)

与Windows完全相同，在Ubuntu终端中执行：

ollama pull gpt-oss:20b ollama run gpt-oss:20b

3. 搭建Web客户端：Open WebUI

Open WebUI 是一个非常流行的、与Ollama完美兼容的开源Web客户端。

a. 安装 Docker
Open WebUI最简单的部署方式是使用Docker。如果你的系统尚未安装Docker，请执行：

apt-get update apt-getinstall-y docker.io # 启动并设置开机自启 systemctl start docker systemctl enabledocker

b. 运行 Open WebUI 容器
执行以下命令来下载并运行Open WebUI 容器：

docker run -d--network=host -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令解析：

  • -d:后台运行容器。
  • --network=host:让容器共享主机的网络，这样WebUI可以轻松访问在本机 11434 端口运行的Ollama服务。
  • -v open-webui:/app/backend/data:挂载一个数据卷，用于持久化WebUI的用户数据和配置。
  • --name open-webui: 给容器命名。
  • --restart always: 确保Docker服务重启时，该容器也会自动启动。

c. 访问并使用 Open WebUI

  • 在你的浏览器中，访问 http://<你的Ubuntu服务器IP>:8080 (Open WebUI 默认使用8080端口)。
  • 首次访问时，你需要注册一个管理员账户。
  • 登录后，你就可以在界面上选择已经拉取到本地的 gpt-oss:20b 模型，并开始对话了！

总结

通过本教程，我们成功地在一台普通的Windows电脑上，使用Ollama轻松部署了OpenAI的gpt-oss模型。同时，我们也学习了如何在Ubuntu环境下完成同样的部署，并额外搭建了一个功能强大的 Open WebUI 客户端。我们体验了它的基础对话、代码生成乃至联网搜索等强大功能。虽然在中端硬件上性能有限，但这无疑为广大AI爱好者和开发者打开了一扇探索前沿大模型的大门。

Q&A 问答环节

1. 问：为什么模型在我电脑上运行这么慢？
答： 模型运行速度主要取决于GPU性能和显存。gpt-oss-20b 是一个有200亿参数的模型，对资源要求较高。在RTX 3050这样的入门级/中端显卡上，推理速度自然会比较慢。Ollama会自动利用你的GPU，但如果显存不足，部分模型层会加载到CPU和内存中，进一步拖慢速度。

2. 问：除了gpt-oss，我还能用Ollama运行哪些模型？
答：非常多！Ollama支持目前几乎所有主流的开源模型，例如 Google 的Gemma，Meta 的Llama 3，Mistral AI 的Mistral等。你可以在Ollama官网的 “Models” 页面查看完整的模型库。

3. 问：联网搜索功能是如何实现的？需要额外配置吗？
答： 这是 gpt-oss 模型本身在Ollama框架下集成的功能，可能利用了类似工具调用 (Tool Calling)或函数调用 (Function Calling)的机制。当你提出需要外部信息的问题时，模型会自动调用一个内置的搜索工具。除了登录Ollama Hub账户外，通常不需要你进行额外配置。

4. 问：如果我没有NVIDIA显卡，还能运行吗？
答：可以。Ollama支持纯CPU运行。它会自动检测你是否有兼容的GPU，如果没有，它会完全使用你的CPU和系统内存来运行模型。当然，纯CPU运行的速度会比GPU慢得多。

5. 问：我可以微调或定制 gpt-oss 模型吗？
答：可以。这正是开放权重模型的魅力所在。你可以使用自己的数据集对模型进行微调 (fine-tuning)。在Ollama中，你还可以通过编写 Modelfile来定制模型的系统提示词 (System Prompt)、参数等，然后构建一个属于你自己的新模型版本。

6. 问：如何查看我的 Open WebUI 容器的日志 (Ubuntu)？
答： 如果Open WebUI无法启动或出现问题，你可以使用Docker命令查看其日志来排查错误。在终端中执行：

docker logs open-webui

如果你想实时跟踪日志，可以加上 -f 选项：docker logs -f open-webui。

日期：2025年8月8日
专栏：开源模型

Read more

（第二篇）Spring AI 实战进阶：从 0 搭建 SaaS 模式多租户 AI 客服平台（核心难点 + 性能优化全解析）

（第二篇）Spring AI 实战进阶：从 0 搭建 SaaS 模式多租户 AI 客服平台（核心难点 + 性能优化全解析）

前言 随着 AI 大模型技术的普及，智能客服已成为企业降本增效的核心工具，但传统的单租户 AI 客服系统无法满足 SaaS 平台的规模化需求 —— 不同租户需要独立的模型配置、数据隔离、流量管控，同时还要保证高并发下的性能稳定性。 笔者近期主导了基于 Spring AI 的多租户 AI 客服 SaaS 平台开发，踩遍了多租户模型隔离、缓存隔离、流量控制、高并发优化等核心坑点。本文将从实战角度，完整拆解 SaaS 模式 AI 客服平台的开发全流程：从架构设计到核心难点突破，从功能实现到性能压测优化，所有代码均为生产环境可直接复用的实战代码，同时结合可视化图表清晰呈现核心逻辑，希望能给做 AI SaaS 开发的同学提供有价值的参考。 一、项目背景与架构设计 1.1 项目定位与核心需求 项目定位：SaaS 模式的智能客服解决方案，支持多企业租户接入，每个租户可自定义

By Ne0inhk

告别反复格式化！Ventoy终极教程：一个U盘装遍Windows/Linux/UEFI所有系统

文章目录 * 一、Ventoy凭什么成为装机神器？这些亮点绝了 * ✨ 核心亮点 * 二、Windows/Linux双系统安装教程 * 1. Windows系统安装（推荐新手） * 步骤1：下载并解压安装包 * 步骤2：运行安装程序并配置 * 步骤3：拷贝镜像文件 * 2. Linux系统安装（命令行+图形界面可选） * 方式1：命令行安装（推荐服务器/无GUI环境） * 方式2：图形界面安装（Linux桌面用户） * 3. 启动测试与镜像选择 * 三、新手必看避坑指南（少走99%的弯路） * 四、高级技巧：解锁Ventoy更多强大功能 * 1. Linux持久化分区（保存系统配置） * 2. 密码保护（防止他人滥用U盘） * 3. 自动安装系统（批量部署神器） * 4. 自定义启动菜单主题 * 五、总结：

By Ne0inhk
【Linux系统编程】（十七）揭秘 Linux 进程创建与终止：从 fork 到 exit 的底层逻辑全解析

【Linux系统编程】（十七）揭秘 Linux 进程创建与终止：从 fork 到 exit 的底层逻辑全解析

目录 编辑 前言 一、进程创建：fork 函数的 “分身术” 1.1 fork 函数初识：一次调用，两次返回的神奇操作 1.2 fork 函数返回值：父子进程的 “身份标识” 1.3 写时拷贝：高效的 “内存共享策略” 写时拷贝的工作流程： 1.4 fork 常规用法：父子进程的 “协作模式” 用法一：父进程复制自己，父子进程执行不同代码段 用法二：子进程调用 exec 函数，执行全新程序 1.5 fork 调用失败的原因：这些 “坑” 要避开 原因一：系统中进程数量过多，达到了内核的最大进程数限制

By Ne0inhk

OpenClaw + Ollama：在 macOS 上部署本地大模型的完整实践指南

**摘要**：本文详细记录了在 MacBook Pro（M1 Pro / 32GB）上，通过 Ollama 部署本地大模型并接入 OpenClaw AI 平台的全过程。涵盖环境准备、Ollama 安装与模型拉取、OpenClaw 配置修改、模型性能基准测试，以及本地模型与 OpenClaw 的通信架构原理。  一、背景与目标 1.1 为什么要本地部署？ | 维度                  | 云端 API                                       | 本地部署                      | |----------------------|---------------------------------------------|-------------------------------| | **隐私性**         | ⚠️ 数据上传到云端                       | ✅ 数据完全不出本机  | | **网络依赖**     | 需要稳定网络 + 可能需要代理      | 无需网络，

By Ne0inhk