本文介绍了如何在本地环境中使用 Ollama 工具部署 LLaMA 大语言模型。内容涵盖环境准备、Ollama 安装、GGUF 模型下载与导入、命令行交互及 API 调用方法，并提供了基于 NextChat 的 Web 界面搭建方案。通过私有化部署，用户可实现数据隐私保护与离线使用，同时包含硬件配置建议与常见问题排查指南。
随着人工智能技术的发展，大语言模型（LLM）已成为开发者的重要工具。为了保障数据隐私、降低延迟以及实现离线使用，将开源大模型部署在本地环境变得尤为重要。本文详细介绍如何使用 这一轻量级工具，在本地稳定部署 系列大语言模型。
Ollama 是一个用于运行大型语言模型的开源框架，支持 macOS、Linux 和 Windows 系统。它简化了模型的管理和运行流程，使得开发者无需复杂的配置即可体验强大的 AI 能力。
在开始部署之前，请确保您的硬件环境满足以下基本要求：
| 组件 | 最低要求 | 推荐配置 |
|---|---|---|
| 内存 (RAM) | 8 GB | 16 GB 或更高 |
| 存储 (Disk) | 5 GB | 20 GB 以上 |
| GPU | 无 (CPU 推理) | NVIDIA GPU (CUDA 支持) |
| 操作系统 | Windows 10/11, macOS, Linux | 最新稳定版 |
注意：部分网络资源（如 HuggingFace）可能需要特殊的网络连接才能访问，请提前准备好相应的网络环境。
访问 Ollama 官方网站获取安装包。根据操作系统选择对应的版本进行下载和安装。
.msi 安装包并运行。.dmg 文件拖入应用程序目录。安装完成后，打开终端（Terminal）验证安装是否成功：
ollama -v
如果输出类似 ollama version is 0.3.13 的版本信息，则说明安装成功。
Ollama 主要支持 GGUF 格式的模型文件。GGUF 是由 llama.cpp 团队开发的一种高效模型存储格式，具有单文件、跨平台兼容性好的特点。
您可以在 HuggingFace 等模型仓库中搜索基于 LLaMA 架构的中文优化模型。例如，搜索 Llama3.1-8B-Chinese-Chat 等关键词，并在 Files 标签页下查找 .gguf 后缀的文件。
下载的 GGUF 文件不能直接通过简单的命令加载，需要创建一个名为 Modelfile 的配置文件来定义模型参数和模板。
在项目目录下新建一个文本文件（例如 Modelfile），内容如下：
FROM "E:\Models\llama3.1_8b_chinese_chat_f16.gguf"
TEMPLATE """{{- if .System }}<|im_start|>system {{ .System }}<|im_end|>{{- end }}<|im_start|>user{{ .Prompt }}<|im_end|><|im_start|>assistant"""
SYSTEM """"
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
配置说明：
FROM: 指定本地 GGUF 模型文件的绝对路径。TEMPLATE: 定义对话的输入输出模板，需匹配模型训练时的格式。PARAMETER: 设置停止符，防止模型生成异常字符。在命令行中使用 ollama create 命令将模型注册到 Ollama 服务中：
ollama create llama3-cn -f ./Modelfile
执行成功后，可以使用 list 命令查看已注册的模型：
ollama list
输出示例：
NAME ID SIZE MODIFIED
llama3-cn:latest f3fa01629cab 6.6 GB 2 minutes ago
直接使用 run 命令启动模型进行对话：
ollama run llama3-cn
进入交互模式后，输入问题即可得到回答。输入 /exit 退出当前会话。
Ollama 默认监听 localhost:11434 端口，提供 HTTP API 接口。您可以使用 curl 进行测试：
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama3-cn",
"prompt": "你好，请介绍一下你自己。"
}'
对于开发者，可以通过 Python 脚本调用 API 进行集成开发：
import requests
import json
url = "http://localhost:11434/api/generate"
data = {
"model": "llama3-cn",
"prompt": "请写一段 Python 代码打印 Hello World",
"stream": False
}
response = requests.post(url, json=data)
if response.status_code == 200:
result = response.json()
print(result["response"])
else:
print(f"Error: {response.status_code}")
虽然命令行可用，但为了获得更好的用户体验，可以搭建 Web UI。推荐使用 NextChat 客户端。
http://localhost:11434。llama3-cn。如果运行过程中出现 OOM (Out Of Memory) 错误，说明模型过大超过了硬件限制。建议尝试以下方案：
下载模型时若遇到连接超时，请检查网络代理设置。HuggingFace 等国内访问受限的网站建议使用镜像源或科学上网工具。
在 Linux 或 macOS 上，如果提示权限拒绝，请确保对模型文件所在目录有读取权限，或使用 sudo 运行相关命令。
通过上述步骤，您已成功在本地环境中部署并运行了 LLaMA 大语言模型。这种方式不仅保护了数据隐私，还避免了云端调用的费用。结合 Web 界面和 API 调用，您可以将其灵活应用于各种自动化任务或辅助编程场景中。未来，随着硬件性能的提升和模型优化技术的进步，本地部署的体验将更加流畅高效。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online