Ollama 是一个快速运行大语言模型的本地化工具，采用 Client-Server 架构，默认监听 11434 端口。其核心由 ollama-http-server 和 llama.cpp 推理引擎组成，通过 HTTP 协议通信。存储结构遵循 OCI 规范，包含 blobs 原始数据和 manifests 元数据。对话流程涵盖模型拉取、初始化会话及 API 交互，支持流式输出。本文详细解析了其架构原理、存储机制及 API 使用方法，并提供了性能调优建议。
Ollama 是一个快速运行大语言模型（LLM）的简便工具。通过 Ollama，用户无需复杂的环境配置，即可轻松在本地部署并运行大语言模型，实现与大模型的对话互动。本文将深入解析 Ollama 的整体架构，详细讲解用户在与 Ollama 进行对话时的具体处理流程，并提供相关的 API 使用示例。
Ollama 采用了经典的 C/S（Client-Server）架构设计，主要包含以下核心组件：
ollama 命令后，客户端负责发送请求并展示结果。11434。Ollama Server 内部主要由两个核心部分组成：
这两个部分之间也通过 HTTP 进行交互。llama.cpp 是一个独立的开源项目，具备优秀的跨平台能力和硬件友好性，可以在没有 GPU 的设备（如树莓派）甚至 CPU 上高效运行。
Ollama 在本地存储模型文件和元数据时，默认使用的文件夹路径为 $HOME/.ollama（Linux/macOS）或 %USERPROFILE%\.ollama（Windows）。其文件结构主要分为三类：
这是存储的核心部分，分为两类：
Manifests 文件采用 JSON 格式，内容借鉴了云原生和容器领域中的 OCI（Open Container Initiative）规范。例如，一个 llama3.2 模型的 manifest 路径可能为 models/manifests/registry.ollama.ai/library/llama3.2/latest。
文件中包含 digest 字段，该字段的哈希值与 blobs 目录下的文件名一一对应，确保模型文件的完整性和一致性。
用户与 Ollama 进行对话的流程可以分为准备阶段和交互式对话阶段。
当用户首次运行模型时，系统会检查本地是否存在所需模型。
ollama-http-server 发起 HTTP 请求，尝试读取本地的 manifests 元数据文件。blobs 和 manifests 目录。ollama-http-server 发起一个空消息的 /api/generate 请求，Server 会在内部进行通道（Go channel）处理以准备上下文。/api/chat 接口请求 Server。llama.cpp 引擎加载模型并执行推理。llama.cpp 发起 /health 请求，确认其健康状况。/completion 请求，获取对话响应。Ollama 提供了丰富的 RESTful API 供开发者集成。
curl http://localhost:11434/api/tags
curl http://localhost:11434/api/create \
-d '{"name": "my-model", "modelfile": "FROM llama3.2"}'
curl http://localhost:11434/api/chat \
-d '{
"model": "llama3.2",
"messages": [
{"role": "user", "content": "你好，请介绍一下你自己"}
]
}'
Ollama 支持流式响应，客户端可以逐块接收生成的文本，降低延迟感。
Ollama 通过集成 llama.cpp 推理引擎，并进一步封装复杂的底层技术，将大语言模型（LLM）的运行变得触手可及。它提供了一个高效且灵活的工具，极大地降低了本地部署大模型的门槛，助力开发者在各种应用场景下进行大语言模型的推理与交互。其清晰的架构设计和标准化的存储结构，也为二次开发和扩展提供了良好的基础。
如果本地 GPU 显存不足以加载整个模型，Ollama 会自动利用 CPU 内存进行卸载（Offloading），虽然速度会变慢，但能够保证模型正常运行。用户可以通过设置环境变量 OLLAMA_NUM_PARALLEL 来控制并发数，减少资源占用。
在 /api/chat 请求中，可以通过 system 角色定义系统提示词，从而控制模型的行为风格。例如：
{
"role": "system",
"content": "你是一个专业的编程助手。"
}
对于生产环境，建议开启 OLLAMA_KEEP_ALIVE 环境变量，保持模型在内存中驻留，避免频繁加载导致的冷启动延迟。同时，根据硬件情况调整 num_ctx 参数以平衡上下文长度和推理速度。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online