如何在本地通过 Ollama 工具部署和运行 Meta 发布的 Llama 3.1 大语言模型。内容涵盖系统环境要求、安装步骤、模型下载与交互、本地 API 服务开启以及常见问题的排查方法，帮助用户快速搭建私有化大模型环境并进行基础测试。
Meta 于美国当地时间 7 月 23 日发布了 Llama 3.1 系列大语言模型。该系列包含 8B、70B 和 405B 三种参数规模，最大上下文窗口提升至 128k tokens。在常识推理、数学计算、代码生成及多语言翻译等任务上，Llama 3.1 表现优异，部分能力可媲美 GPT-4o。
在开始部署前，请确保您的设备满足以下基本要求：
Ollama 是一个开源的大模型管理工具，支持模型的下载、运行和管理。它简化了本地部署流程，无需复杂的依赖配置。
访问官网 https://ollama.com/download 获取对应操作系统的安装包。
.dmg 或 .exe 文件，按照向导完成安装（Next -> Finish）。curl -fsSL https://ollama.com/install.sh | sh
安装完成后，Ollama 服务将自动在后台启动。
在终端中执行以下命令检查版本：
ollama --version
在命令行中输入以下命令下载 Llama 3.1 8B 模型：
ollama run llama3.1
首次运行时会自动从仓库拉取模型文件，并根据系统资源选择默认量化版本（通常为 Q4_K_M）。
模型加载成功后，即可进入对话模式。您可以尝试输入自然语言问题、编程任务或数学题。
示例交互：
> what's your name?
I am Llama 3.1, a large language model trained by Meta.
> 请用 Python 写一个快速排序算法
def quick_sort(arr):
if len(arr) <= 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
列出本地所有可用模型：
ollama list
如需释放空间，可删除不再使用的模型：
ollama rm llama3.1
Ollama 默认在 http://localhost:11434 提供 REST API 接口，方便集成到应用程序中。
通常安装后服务已自动运行。若未运行，可手动启动：
ollama serve
使用 curl 发送请求：
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1",
"prompt": "为什么天空是蓝色的？",
"stream": false
}'
或使用 Python 库 requests：
import requests
response = requests.post('http://localhost:11434/api/generate', json={
'model': 'llama3.1',
'prompt': '解释量子纠缠',
'stream': False
})
print(response.json()['response'])
为平衡速度与精度，Ollama 提供了多种量化级别：
可通过指定标签拉取特定版本，例如：
ollama pull llama3.1:70b-q4_0
若遇到 Out Of Memory (OOM) 错误，请尝试：
首次拉取模型需要下载数十 GB 数据，建议使用有线网络或稳定 Wi-Fi。下载过程中请勿中断服务。
通过 Ollama 部署 Llama 3.1 是实现本地私有化大模型的最便捷方式。它不仅降低了技术门槛，还保障了数据隐私。用户可根据硬件条件灵活选择模型规模，并通过 API 轻松集成至现有工作流中。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online