本文详细演示了如何在本地计算机上利用 Ollama 和 AnythingLLM 部署 Llama3 大语言模型。内容涵盖软件安装、模型拉取、服务配置、RAG 知识库构建及 API 调用示例。通过该方案，用户可实现数据隐私保护的离线 AI 对话体验，并支持自定义文档问答功能。
在数据隐私日益受到重视的今天，将大语言模型（LLM）部署在本地环境成为许多开发者和企业的首选方案。本文将详细介绍如何使用 Ollama 作为后端推理引擎，配合 AnythingLLM 构建一个功能完整的本地 AI 助手。该方案无需联网即可运行，支持 Llama3 等主流开源模型，并具备知识库问答（RAG）能力。
访问 Ollama 官网下载对应系统的安装包。以 Windows 为例：
ollama --version
Ollama 采用命令行方式管理模型。默认情况下，它会自动从官方仓库拉取模型文件。
# 拉取 Llama3 模型
ollama pull llama3
首次运行时，模型文件会被下载到本地缓存目录。国内用户若遇到网络超时问题，可尝试重启服务或检查网络连接。
# 列出已下载的模型
ollama list
# 删除不需要的模型
ollama rm llama3
直接运行模型进入交互模式：
ollama run llama3
此时终端会进入多行输入状态，可直接输入自然语言问题进行对话。按 Ctrl+C 退出对话模式。
AnythingLLM 是一个基于 Web 的界面，用于管理 LLM 对话及知识库。它支持多种向量数据库和嵌入模型。
ollama serve）。首次启动时，需进行以下关键配置：
Ollama。http://localhost:11434（Ollama 默认地址）。llama3。Ollama，推荐使用 nomic-embed-text 或其他轻量级嵌入模型。LanceDB，适合本地单机部署。AnythingLLM 的核心优势在于支持文档上传与检索增强生成。
在工作区设置中，找到"Documents"选项卡，支持上传 PDF、TXT、MD 等格式文件。
系统会自动将文档切分为片段并生成向量索引。用户可调整切片大小（Chunk Size）和重叠率（Overlap）以优化检索效果。
上传文档后，在对话框提问，系统会先检索相关文档片段，再结合上下文生成回答，实现基于私有数据的问答。
Ollama 提供 REST API，方便开发者集成到自有应用中。
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "你好，请介绍一下你自己。"
}'
import requests
response = requests.post(
'http://localhost:11434/api/generate',
json={
'model': 'llama3',
'prompt': '解释一下什么是人工智能？',
'stream': False
}
)
print(response.json()['response'])
llama3:8b-q4_0）。通过 Ollama 和 AnythingLLM 的组合，用户可以低成本、高效率地搭建本地大模型应用。该方案不仅保护了数据隐私，还支持灵活的扩展与二次开发。随着本地算力的提升，此类私有化部署将成为未来 AI 应用的重要形态之一。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online