大模型部署实战：使用 AnythingLLM 本地化运行 LLM

概述

随着大语言模型（LLM）技术的快速发展，如何在本地环境中高效、安全地部署和运行这些模型成为了开发者关注的焦点。直接使用命令行调用 Ollama 虽然灵活，但缺乏图形界面且操作繁琐。AnythingLLM 是一个开源的 RAG（检索增强生成）框架，能够轻松连接本地或远程的 LLM 服务，提供友好的 Web 界面进行文档管理、知识库构建和对话交互。

本文将详细介绍如何使用 Docker 在本地环境部署 AnythingLLM，并配置其与 Ollama 服务对接，实现私有化的大模型应用体验。

前置条件

在开始部署之前，请确保您的开发环境满足以下要求：

操作系统：支持 Windows 10/11, macOS, 或 Linux (Ubuntu/CentOS)。
Docker 环境：已安装 Docker Desktop 或 Docker Engine，并确保 Docker 服务正常运行。
Ollama 服务：本地已安装 Ollama 并拉取了对应的模型（如 llama3, mistral 等），且服务处于运行状态。
网络环境：能够访问 Docker Hub 拉取镜像，若在内网环境需提前下载镜像包。

部署步骤

1. 准备数据目录

为了持久化存储 AnythingLLM 的数据（包括向量数据库、配置文件等），建议先在本地创建一个专用目录。例如在 Windows 下创建 D:\anythingllm_data，Linux/Mac 下可创建 /opt/anythingllm_data。

2. 拉取镜像

从 Docker Hub 拉取 AnythingLLM 的最新官方镜像：

docker pull mintplexlabs/anythingllm

3. 启动容器

使用 Docker Run 命令启动容器。以下是针对 Windows PowerShell 环境的详细配置示例，包含环境变量设置和卷挂载。

Windows 环境配置

在 PowerShell 中执行以下脚本，自动创建必要的目录并启动容器：

$env:STORAGE_LOCATION="D:\anythingllm_data";
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory};
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File};

docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

参数说明：

-d: 后台运行容器。
-p 3001:3001: 将宿主机的 3001 端口映射到容器的 3001 端口。
--cap-add SYS_ADMIN: 赋予容器管理员权限，某些功能可能需要此权限。
-v: 卷挂载，将宿主机目录映射到容器内，确保数据不随容器销毁而丢失。
-e: 设置环境变量，指定存储路径。

Linux/Mac 环境配置

mkdir -p /opt/anythingllm_data
chmod 777 /opt/anythingllm_data

docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v /opt/anythingllm_data:/app/server/storage \
-e STORAGE_DIR= \
mintplexlabs/anythingllm

大模型部署实战：使用 AnythingLLM 本地化运行 LLM