Shell / BashAI算法
Mac Book Pro 本地部署大模型入门教程
Mac Book Pro 本地部署大模型主要采用 Ollama 管理工具配合 Open WebUI 实现。流程包括模型量化原理说明、Ollama 命令行安装与运行、Docker 容器化部署 Open WebUI 界面及镜像源配置。最终实现在本地浏览器中通过 Web 界面与 Llama3.1 模型进行对话交互，为开发者提供低门槛的 AI 实验环境。
Mac Book Pro 本地部署大模型主要采用 Ollama 管理工具配合 Open WebUI 实现。流程包括模型量化原理说明、Ollama 命令行安装与运行、Docker 容器化部署 Open WebUI 界面及镜像源配置。最终实现在本地浏览器中通过 Web 界面与 Llama3.1 模型进行对话交互，为开发者提供低门槛的 AI 实验环境。
随着 AI 技术在行业内的落地，越来越多的开发者对 AI 技术产生兴趣。然而，动辄几十 G 甚至上百 G 的大模型对硬件资源要求较高，消费级电脑往往难以满足运行需求。本文介绍如何在 Mac Book Pro 上通过轻量级方案搭建大模型环境，帮助开发者在本地进行 AI 相关的学习与 Demo 开发。
什么是模型量化
部署方式对比
Llama3.1 是 Meta 公司发布的最新一代 LLM 模型，分为 8B、70B、405B 三个版本。对于本地部署，建议优先选择 8B 版本以适配消费级硬件。
Ollama 是一个开源的大模型管理工具，支持模型的训练、部署和监控。它简化了本地大模型的管理流程。
访问官网下载适用于 macOS 的安装包。安装完成后，在终端运行以下命令验证安装：
ollama -v
若正常显示版本号，则安装成功。
确认 Ollama 安装成功后，在终端执行以下命令拉取并运行 Llama3.1 模型：
ollama run llama3.1
首次运行会自动从远程下载模型文件。下载完成后，终端将启动大模型服务，用户可直接在命令行界面进行对话问答。
为了获得更好的交互体验，建议结合 Docker 部署 Open WebUI 实现本地 Web 界面管理。
Docker Desktop 适用于 macOS 平台，包含 Docker Engine、CLI 客户端及 Compose 等工具。访问官网下载并安装。
由于 Docker Hub 下载速度可能受限，建议在 Docker 设置中配置镜像加速器。修改 ~/.docker/daemon.json 文件，添加如下配置：
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"registry-mirrors": [
"https://hub-mirror.c.163.com",
"https://mirror.baidubce.com",
"https://docker.nju.edu.cn"
]
}
保存后重启 Docker 服务使配置生效。
使用 Docker 命令在线安装 Open WebUI：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待容器启动完成后，浏览器访问 http://localhost:3000。首次进入需注册账户，该逻辑为本地存储，无需验证码。注册账号默认为管理员。
登录后，在设置中选择之前下载的 Llama3.1 模型，即可开始测试对话。
-p 参数映射的宿主机端口。AI 作为基础技术设施，其使用门槛正在不断降低。通过 Ollama 和 Open WebUI 的组合，开发者可以在本地快速搭建大模型实验环境，深入了解 AI 背后的运作原理，从而发现更多应用机会。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online