背景
随着 AI 技术在行业内的落地，越来越多的开发者对 AI 技术产生兴趣。然而，动辄几十 G 甚至上百 G 的大模型对硬件资源要求较高，消费级电脑往往难以满足运行需求。本文介绍如何在 Mac Book Pro 上通过轻量级方案搭建大模型环境，帮助开发者在本地进行 AI 相关的学习与 Demo 开发。
方案选择
什么是模型量化
- 定义：模型量化是将浮点数值转化为定点数值的方法，旨在尽可能减少计算精度损失。
- 目的：减少资源消耗，提高运行速度，提升大规模推理服务的性能。
- 对象：可对模型参数（weight）、激活值（activation）或梯度（gradient）做量化。
- 精度：常见的量化精度包括 int4、int8 等整型数据格式。
部署方式对比
- 原始模型 + 自行量化：下载原始大模型后使用脚本量化。此方式费时费力，且需不断调整量化参数，对新手不友好。
- Ollama 管理工具：一键式部署量化后的 LLM 模型。本文主要介绍此种方式，直接通过 Ollama 拉取 llama3.1 模型，配合 Open WebUI 部署运行非常轻松。
Llama3.1
Llama3.1 是 Meta 公司发布的最新一代 LLM 模型，分为 8B、70B、405B 三个版本。对于本地部署，建议优先选择 8B 版本以适配消费级硬件。
Ollama 安装与配置
Ollama 是一个开源的大模型管理工具，支持模型的训练、部署和监控。它简化了本地大模型的管理流程。
1. 下载安装 Ollama
访问官网下载适用于 macOS 的安装包。安装完成后，在终端运行以下命令验证安装：
ollama -v
若正常显示版本号，则安装成功。
2. 拉取并运行模型
确认 Ollama 安装成功后，在终端执行以下命令拉取并运行 Llama3.1 模型：
ollama run llama3.1
首次运行会自动从远程下载模型文件。下载完成后，终端将启动大模型服务，用户可直接在命令行界面进行对话问答。
Docker 与 Open WebUI 部署
为了获得更好的交互体验，建议结合 Docker 部署 Open WebUI 实现本地 Web 界面管理。
1. 安装 Docker Desktop
Docker Desktop 适用于 macOS 平台，包含 Docker Engine、CLI 客户端及 Compose 等工具。访问官网下载并安装。
2. 配置镜像加速
由于 Docker Hub 下载速度可能受限，建议在 Docker 设置中配置镜像加速器。修改 ~/.docker/daemon.json 文件，添加如下配置：
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled"
