本地部署 Llama3：使用 Ollama 与 AnythingLLM

在本地部署大语言模型（LLM）可以有效保护数据隐私，避免依赖云端 API 的延迟和费用。本文将详细介绍如何在本地环境中快速搭建基于 Ollama 的后端服务，并结合 AnythingLLM 构建一个功能完整的本地 AI 对话系统。

一、环境准备与 Ollama 安装

1. 系统要求

操作系统：Windows 10/11, macOS (Apple Silicon 或 Intel), Linux。
硬件建议：至少 8GB 内存（推荐 16GB+），SSD 存储空间充足（模型文件通常较大）。

2. 下载与安装 Ollama

访问 Ollama 官网下载对应系统的安装包。安装过程较为简单，跟随向导即可完成。

安装完成后，打开终端（Windows 下为 PowerShell 或 CMD）验证安装是否成功。输入以下命令：

ollama --version

如果输出版本号信息，说明安装成功。

3. 启动服务

Ollama 默认会在后台运行服务。可以通过以下命令手动启动：

ollama serve

默认监听地址为 http://localhost:11434。

二、下载并运行 Llama3 模型

1. 拉取模型

在终端中执行以下命令拉取 Llama3 模型。如果本地没有该模型，Ollama 会自动从仓库下载。

ollama pull llama3

注意：国内网络环境下下载可能较慢或出现 TLS handshake timeout。若遇到此问题，可尝试重启 Ollama 服务或检查网络连接。

2. 查看已下载模型

使用以下命令列出当前本地所有的模型：

ollama list

3. 运行模型进行对话

模型下载完成后，即可通过命令行与模型交互：

ollama run llama3

此时进入交互式对话模式，输入提示词即可获得响应。

三、安装与配置 AnythingLLM

AnythingLLM 是一个支持本地模型的桌面应用，提供友好的图形界面来管理文档和对话。

1. 下载安装

访问 AnythingLLM 官网下载对应操作系统的版本（Windows/Mac/Linux）。双击安装包完成安装。

2. 连接 Ollama 服务

在启动 AnythingLLM 之前，请确保 Ollama 服务正在运行（执行 ollama serve）。

首次打开 AnythingLLM 时，需要进行基础配置：

LLM Preference：
- LLM Provider：选择 Ollama。
- URL：填写默认地址 http://localhost:11434。
- Model：选择已下载的 llama3。
- Token Limit：设置为或根据显存情况调整。