利用 Docker 容器技术在本地部署 Ollama 和 AnythingLLM 以构建 LLM Agent 的完整流程。内容包括 Docker Desktop 安装与路径配置、Ollama 镜像拉取与容器运行、WSL2 内存参数调整、模型量化版本选择、AnythingLLM 客户端连接与知识库构建，以及网络代理、端口安全、显存管理等常见问题的排查方案。通过该方案可实现数据隐私保护的本地化大模型应用开发。
在当今快速发展的人工智能领域，本地部署大型语言模型（LLM）Agent 正逐渐成为企业和研究者关注的焦点。本地部署不仅能够提供更高的数据安全性和隐私保护，还能减少对外部服务的依赖，提高响应速度和系统稳定性。本文将详细介绍如何通过 Docker 容器技术，结合 Ollama 和 AnythingLLM 两款工具，完成本地 LLM Agent 的部署、配置及应用。
Ollama 是一个开源的大型语言模型服务工具，它为用户在本地环境中快速部署和运行大型模型提供了便利。通过简洁的安装指南和一键命令，用户能够迅速地启动如 Llama 2、Llama 3 等开源大型语言模型。Ollama 通过简化 LLM 部署和管理流程，使用户能够高效地在本地环境中操作大型语言模型。
本文以 Windows 系统下的 Docker 部署 Ollama 为例，通过镜像能够轻量化且更方便地管理虚拟环境。
首先需要在官网下载并安装 Docker Desktop。由于镜像文件非常大，Docker 的安装程序默认安装在 C 盘可能会占用过多空间。如果希望更换安装路径，可以在终端通过如下类似的命令进行指定安装：
"D:\Download\Docker Desktop Installer.exe" install --installation-dir="D:\Program\Docker"
安装完成后，确保 Docker Desktop 已启动并在 Images 栏确认基础镜像拉取是否成功。
随后打开终端，使用以下命令创建一个容器用来运行 Ollama 实例。该命令适用于仅支持 CPU 的系统，若需 GPU 支持或是 AMD 显卡支持，请参考 Ollama 项目文档中的相应配置。
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
其中 --name 参数可以自行调整为自己需要的名字，用以区分不同容器。-v 参数用于挂载卷，保存模型数据，避免容器删除后丢失。
在容器中运行想要的 LLM。例如运行 Llama 3 的量化版本：
docker exec -it ollama ollama run llama3:8b-instruct-q8_0
Ollama 官方 library 提供了丰富的模型库，不同公司的模型还有不同的微调版本任君选择。这里选择了 llama3:8b-instruct-q8_0 版本，其中 q8 代表压缩率，q 后的数字越小压缩率越高，模型文件的大小也就越小，同样的性能会有一定下降。Llama 3 默认是 q4 的压缩率。
第一次运行时，Ollama 会自动下载模型文件。如果遇到提示内存不足，实际上并不是物理内存不足，而是 Docker 或 WSL2 的默认内存设置限制。
根据提示可以发现我们需要修改 .wslconfig 文件。Win+R 后输入 %UserProfile% 以进入用户文件夹，新建 .wslconfig 文件输入以下内容：
[wsl2]
memory=20GB
swap=4GB
processors=4
修改完后需要运行 wsl --shutdown 来关闭 WSL 实例，随后重新打开使默认设置生效。再次运行时，应能正常加载模型并出现交互窗口。
AnythingLLM 是一款全能的人工智能应用程序，它允许用户与文档进行交互，使用人工智能助手，并且具有高度的可配置性。它支持多用户管理并且设置过程简单，无需繁琐的设置。这款应用程序能够将任何文档、资源或内容转换成上下文信息，供大型语言模型（LLM）在聊天过程中作为参考使用。用户可以根据自己的需要选择使用不同的 LLM 或向量数据库。
在官网下载并安装 AnythingLLM 桌面版应用程序。打开之后设置 LLM 首选项，在 Ollama 下面可以找到刚才下载的模型文件。注意此处还可以修改 Max Tokens 数。不同的模型有不同的适用参数，AnythingLLM 暂时还不能自动适配推荐，因此需要额外进行搜索。例如 llama3:8b-instruct-q8_0 模型的 Max Tokens 通常设置为 8192。
在首次尝试 Chat 功能时，如果出现 Could not respond to message 报错，考虑是网络代理问题，应该检查本地连接设置，确保指向 http://localhost:11434。
AnythingLLM 对于任何模型，无论是否提供文件服务的模型都可以通过上传文件使其具备相应的知识，从而构建自己的 LLM 知识库。此外除了文件服务，AnythingLLM 还提供网络搜索服务。
Google 提供了免费的搜索服务引擎，可以点击提供的链接进行登记。其他的 Agent 服务也可以自行探索。这增强了模型回答问题的时效性和准确性。
AnythingLLM 同时提供了方便快捷的 Fine-tuning 服务，仅需要几十条高质量对话和消费级 GPU 即可在本地部署一个经过微调的 LLM Agent。目前此项目部分功能可能涉及付费状态，感兴趣的小伙伴可以尝试一下。
将 Ollama 的 11434 端口映射到宿主机虽然方便调试，但在生产环境中存在安全风险。建议在防火墙中限制访问来源 IP，或者使用反向代理（如 Nginx）配合认证机制来保护 API 接口。
如果在使用 GPU 加速时遇到显存溢出错误，可以尝试切换更小的量化版本模型（如 q4_K_M 或 q3_K_S）。同时，监控 Docker 容器的资源使用情况，合理分配 CPU 和内存配额。
AnythingLLM 支持多种向量数据库后端。对于本地轻量级部署，推荐使用内置的 SQLite 或 ChromaDB，它们对硬件要求较低且易于维护。如果需要处理大规模文档，可以考虑集成 Milvus 或 Pinecone。
定期检查 Ollama 官方仓库是否有新版本的模型发布。及时更新模型可以获取更好的指令遵循能力和安全性修复。同时，清理不再使用的模型镜像以节省磁盘空间。
通过 Docker 部署 Ollama 并结合 AnythingLLM，用户可以低成本、高效率地搭建私有化的大语言模型应用环境。这种方式不仅保障了数据隐私，还赋予了开发者对模型行为的高度控制权。随着本地算力的提升和模型技术的进步，本地 LLM Agent 将在更多场景中得到广泛应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online