大模型本地部署：在 Mac 上运行 AI 大模型

大模型本地部署：在 Mac 上运行 AI 大模型

引言

大型语言模型（LLMs）已成为人工智能领域的核心里程碑。它们具备文本生成、逻辑推理及代码编写等能力。随着开源生态的成熟，开发者不再依赖云端 API，而是可以在本地硬件上部署这些模型。本地部署不仅保障了数据隐私，还能降低长期使用成本。

本文将详细介绍如何在 macOS 系统上使用 Ollama 工具部署并运行 Mistral-7B 等大语言模型，并通过 Open WebUI 提供友好的图形化交互界面。

前置要求

1. 操作系统：macOS (建议 Monterey 或更高版本)。
2. 硬件环境：
   • Apple Silicon (M1/M2/M3) 芯片性能最佳。
   • Intel 芯片需确保支持 AVX2 指令集。
   • 内存建议 8GB 以上，推荐 16GB+。
3. 软件依赖：
   • 终端 (Terminal)。
   • Docker Desktop (用于部署前端界面)。

第一步：安装 Ollama

Ollama 是一个轻量级的本地 LLM 运行时，支持多种模型格式。

1. 访问 Ollama 官网下载 macOS 安装包。
2. 双击下载的 .dmg 文件，将应用拖入应用程序文件夹。
3. 打开终端，输入以下命令验证安装是否成功：

ollama --version

若显示版本号，则说明安装完成。

第二步：下载并运行模型

Ollama 通过命令行拉取和运行模型。以 mistral-7b 为例：

1. 在终端执行以下命令启动模型：

ollama run mistral

首次运行时，系统会自动下载模型权重文件。下载完成后，即可进入对话模式。

2. 测试交互： 输入自然语言问题，例如：

   Why is the sky blue?
   

   模型将返回解释性回答。

3. 模型管理命令：

   • 列出已下载模型：ollama list
   • 删除模型：ollama rm mistral
   • 复制模型：ollama cp mistral my-mistral

第三步：配置前端界面 (Open WebUI)

虽然命令行可用，但图形界面更便于多轮对话管理和上下文查看。我们使用 Open WebUI 作为前端。

1. 克隆项目

git clone https://github.com/open-webui/open-webui.git

2. 启动 Docker 容器

进入项目目录并运行 Docker 镜像：

cd open-webui
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main