Llama3.2 本地部署指南
Meta 公司正式发布了多模态大模型 Llama3.2。本文将详细介绍如何在本地电脑上使用 Ollama 工具部署 Llama3.2 大模型，让个人电脑也能轻松运行，打造属于自己的本地大模型助手。
一、环境准备与概念介绍
1. Llama 3.2 简介
Llama 3.2 是 Meta 发布的一系列先进的开源大语言模型。此次发布包含多个型号：
- 多模态版本：110 亿和 900 亿参数。
- 轻量级纯文本模型：10 亿参数和 30 亿参数。
2. Ollama 简介
Ollama 是一个开源的大模型管理工具，提供了模型的训练、部署、监控等功能。通过 Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。它支持多种机器学习框架，使得用户可以根据自己的需求选择合适的框架进行模型的训练。
3. 硬件要求
在开始之前，请确保您的电脑满足以下基本要求：
- 操作系统：Windows 10/11, macOS, Linux。
- 内存 (RAM)：建议至少 8GB，推荐 16GB 或以上以流畅运行 3B/7B 模型。
- 存储：根据模型大小预留足够空间（例如 3B 模型约需 2GB 空间）。
- GPU：虽然 CPU 可运行，但配备 NVIDIA GPU 可显著提升推理速度。
二、安装 Ollama
1. 下载安装程序
访问 Ollama 官网下载对应操作系统的安装包。
2. 执行安装
下载完成后，双击运行安装程序。以 Windows 为例，按照向导完成安装步骤。
3. 配置环境变量（可选）
默认情况下，Ollama 下载的模型保存在 C 盘。如果希望更改默认路径，可以通过设置环境变量 OLLAMA_MODELS 进行修改。
操作步骤：
- 右键点击'此电脑'，选择'属性'。
- 选择'高级系统设置'，然后点击'环境变量'。
- 在'系统变量'或'用户变量'中，点击'新建'。
- 输入变量名：
OLLAMA_MODELS - 输入变量值：您想要安装的目录（例如
D:\ollama\models）。 - 设置完成后，可以在 CMD 中检查：
echo %OLLAMA_MODELS%
三、部署 Llama3.2 模型
1. 运行模型命令
打开命令行终端（CMD 或 PowerShell），运行以下命令来拉取并运行模型。
ollama run llama3.2
该命令默认安装的是 3B 参数版本。如果您想安装其他版本，可以使用以下命令：
# 安装 1B 参数版本
ollama run llama3.2:1b
# 安装 7B 参数版本（如可用）
ollama run llama3.2:7b
2. 模型管理
除了运行模型，Ollama 还提供了丰富的管理命令：