介绍如何在本地环境部署 Meta 发布的开源大语言模型 Llama3 及其中文微调版本。通过 Ollama 工具实现模型的下载、运行与管理，支持 Windows、MacOS 及 Linux 系统。内容涵盖硬件要求、Ollama 安装配置、Modelfile 自定义模型加载、中文指令微调版使用指南，以及通过 LobeChat 界面进行交互的方法。同时提供了 API 调用示例和常见问题排查方案，旨在帮助用户在离线环境下安全、高效地体验高性能 AI 助手功能。
Llama3 是 Meta 公司发布的最新一代开源语言大模型。与闭源的商业模型类似，它可以完成对话、翻译、上下文理解、代码生成等一系列复杂任务。将其部署在本地电脑后，用户可以在无须联网的情况下使用这一 AI 助手，有效保障数据隐私并降低延迟。
Ollama 是一个支持在本地运行大语言模型的工具，兼容 Windows、MacOS 和 Linux 操作系统。它简化了模型的下载、管理和推理过程，用户仅需一行命令即可启动模型。在本教程中，我们将使用 Ollama 作为核心工具来部署和管理 Llama3 模型。
LobeChat 是一款开源的聊天界面，支持接入本地运行的 Ollama 服务。通过它，我们可以获得更友好的 UI 体验和插件扩展能力，方便日常交互。
Llama3 提供不同参数量版本，常见的有 8B（80 亿参数）和 70B（700 亿参数）。
最低配置建议：
127.0.0.1:11434。若需跨域访问（例如连接前端应用），需设置环境变量 OLLAMA_ORIGINS。配置跨域访问：
OLLAMA_ORIGINS，值设为 *。使用 Homebrew (MacOS) 或官方脚本 (Linux) 安装：
# MacOS
brew install ollama
# Linux
curl -fsSL https://ollama.com/install.sh | sh
打开终端（Windows 下为 CMD 或 PowerShell），输入以下命令：
ollama run llama3
该命令会检查本地是否存在 llama3 模型，若不存在则自动从 Hugging Face 拉取。下载完成后，模型将立即进入交互模式。
交互示例：
>>> 你好，请介绍一下你自己。
<<< 你好！我是 Llama3，一个由 Meta 开发的大型语言模型...
原版 Llama3 对英文支持较好，针对中文场景，社区开发了基于增量预训练的微调版本（如 Chinese-LLaMA-Alpaca-3）。这些版本在中文指令遵循和语境理解上表现更佳。
q8_0 版本，它在文件大小和模型性能之间取得了较好的平衡。
.gguf 文件保存到本地文件夹，例如 Models。Ollama 允许通过 Modelfile 自定义模型配置。在文本编辑器中创建名为 Modelfile 的文件，内容如下：
FROM ./llama-3-chinese-8b-instruct-q8_0.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
SYSTEM """
你是一个有用的中文助手。
"""
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop assistant
PARAMETER stop Assistant
注意：
FROM 路径需根据实际存放位置修改，确保指向正确的 .gguf 文件。TEMPLATE 定义了模型对话的格式，必须与微调模型训练时的格式一致，否则可能导致输出异常。在命令行中执行以下命令，将配置文件打包为新的模型实例：
ollama create llama3-zh-inst -f Modelfile
构建成功后，运行模型：
ollama run llama3-zh-inst
此时即可开始使用中文微调版进行对话。
为了获得更好的图形化交互体验，可以接入 LobeChat。
http://localhost:11434）。llama3 或 llama3-zh-inst。配置完成后，即可通过 Web 界面与本地模型进行流畅对话。
Ollama 提供了标准的 HTTP API，方便开发者集成到应用程序中。
请求示例（curl）：
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "请解释什么是人工智能？",
"stream": false
}'
Python 调用示例：
import requests
response = requests.post(
'http://localhost:11434/api/generate',
json={
'model': 'llama3',
'prompt': '请解释什么是人工智能？',
'stream': False
}
)
print(response.json()['response'])
如果运行时报错 out of memory，说明当前模型量化级别过高或显存不足。尝试下载更低量化的版本（如 q4_K_M），该版本通常只需 6GB 左右显存。
若前端页面无法连接本地 Ollama，请检查 OLLAMA_ORIGINS 环境变量是否设置为 *，并确保 Ollama 服务已重启。
确保终端编码设置为 UTF-8。在 Windows 上可在 CMD 中输入 chcp 65001 切换编码。
GGUF 模型加载速度受磁盘 I/O 影响较大。建议使用 SSD 存储模型文件，避免机械硬盘导致加载缓慢。
本文详细介绍了如何在本地环境中部署 Llama3 及其中文微调版本。通过 Ollama 工具，用户可以轻松实现模型的离线运行、自定义配置及 API 集成。结合 LobeChat 等界面工具，能够显著提升使用体验。对于关注数据隐私、希望低成本体验大模型能力的开发者而言，本地部署是理想的解决方案。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online