本地部署 Llama3：使用 Ollama 与 AnythingLLM 快速搭建私有化 AI 助手
在数据隐私日益受到重视的今天，将大语言模型（LLM）部署在本地环境成为许多开发者和企业的首选方案。本文将详细介绍如何使用 Ollama 作为后端推理引擎，配合 AnythingLLM 构建一个功能完整的本地 AI 助手。该方案无需联网即可运行，支持 Llama3 等主流开源模型，并具备知识库问答（RAG）能力。
一、环境准备与 Ollama 安装
1.1 系统要求
- 操作系统：Windows 10/11, macOS (Intel/Apple Silicon), Linux (Ubuntu/CentOS 等)
- 硬件建议：
- CPU：支持 AVX2 指令集
- 内存：至少 8GB RAM（推荐 16GB+）
- 显卡：NVIDIA GPU（CUDA 支持）可显著提升推理速度，但 CPU 模式亦可运行
1.2 安装步骤
访问 Ollama 官网下载对应系统的安装包。以 Windows 为例：
- 下载安装程序并执行安装向导。
- 安装完成后，Ollama 服务将在后台自动启动。
- 验证安装是否成功，打开终端（PowerShell 或 CMD）输入：
若显示版本号则说明安装成功。ollama --version
二、模型管理与运行
2.1 拉取模型
Ollama 采用命令行方式管理模型。默认情况下，它会自动从官方仓库拉取模型文件。
# 拉取 Llama3 模型
ollama pull llama3
首次运行时，模型文件会被下载到本地缓存目录。国内用户若遇到网络超时问题，可尝试重启服务或检查网络连接。
2.2 查看与管理模型
# 列出已下载的模型
ollama list
# 删除不需要的模型
ollama rm llama3
2.3 启动对话
直接运行模型进入交互模式：
ollama run llama3
此时终端会进入多行输入状态，可直接输入自然语言问题进行对话。按 Ctrl+C 退出对话模式。
三、配置 AnythingLLM
AnythingLLM 是一个基于 Web 的界面，用于管理 LLM 对话及知识库。它支持多种向量数据库和嵌入模型。
3.1 下载与启动
- 访问 AnythingLLM 官网下载桌面版或 Docker 镜像。
- 确保 Ollama 服务正在运行（执行
ollama serve）。 - 启动 AnythingLLM 应用。
3.2 基础配置
首次启动时，需进行以下关键配置：
- LLM Provider：选择
Ollama。 - URL：填写
http://localhost:11434（Ollama 默认地址）。 - Model：选择已下载的
llama3。 - Token Limit：根据显存大小设置，通常默认为 4096 或 8192。
