本文详细阐述了 Ollama 在本地部署和运行大语言模型的全流程。内容包括 MacOS、Windows、Linux 及 Docker 环境的安装方法，支持 NVIDIA 和 AMD GPU 的加速配置。文章介绍了如何运行内置模型、导入自定义 GGUF 或 PyTorch 模型，并通过 Modelfile 定制系统提示词和参数。此外，还涵盖了 CLI 命令详解、REST API 与 Python SDK 的集成方式、日志调试、并发优化策略以及 OpenAI 接口的兼容性配置。通过合理设置环境变量和硬件资源，可实现高效的数据隐私保护的本地 AI 服务。
本文详细介绍了 Ollama 在本地机器上部署和运行大型语言模型（LLM）的完整流程，涵盖安装、模型管理、自定义配置、API 集成及性能优化等核心内容。
随着大模型技术的发展，越来越多的企业和个人开始关注数据隐私与离线推理能力。虽然线上 API 提供了便利，但本地部署能确保数据不出域，且无需依赖网络状态。Ollama 作为一个开源项目，以其易用性和高性能成为本地运行 LLM 的首选工具之一。
Ollama 是一个专为在本地机器上便捷部署和运行大型语言模型而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种 LLM 模型。
苹果电脑安装非常简单，下载 Zip 包解压，运行即可。
https://ollama.com/download/Ollama-darwin.zip
安装运行 Ollama.app 之后，系统任务栏上会有一个应用程序图标，点击可以关闭 Ollama 服务。
Windows 版本目前处于预览版，官方也提供了安装包，安装过程与其他软件类似。
https://ollama.com/download/OllamaSetup.exe
Linux 系统直接通过 Shell 脚本执行安装命令：
curl -fsSL https://ollama.com/install.sh | sh
除了直接安装，还可以通过 Docker 运行。官方提供了镜像 ollama/ollama。
CPU 模式不需要额外配置驱动，直接运行即可：
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
若要在容器内使用 Nvidia GPU 进行推理，需要安装 NVIDIA Container Toolkit。
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
--gpus=all 参数：docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
如果使用 AMD GPUs，请使用 rocm 版本的镜像：
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
安装成功后，运行模型只需一条命令：
ollama run llama3.1
首次运行会自动从网络下载模型（约 5GB），下载完成后即可进入对话模式。
在容器内部运行模型与本机操作一致：
docker exec -it ollama ollama run llama3
使用 ollama run <模型名> 来运行模型。以下是常用模型列表：
| 模型 | 参数 | 大小 | 模型名 |
|---|---|---|---|
| Llama3.1 | 8B | 4.7G | llama3.1 |
| Llama3.1 | 405B | 231G | llama3.1:405b |
| GLM4 | 9B | 5.5G | glm4 |
| Qwen2 | 7B | 4.4G | qwen2 |
| Qwen2 | 72B | 41G | qwen2:72b |
| Llama3 | 8B | 4.7G | llama3 |
| Llama3 | 70B | 40G | llama3:70b |
| Phi3 | 3.8B | 2.3G | phi3 |
| Gemma2 | 9B | 5.5G | gemma2 |
| Mistral | 7B | 4.1G | mistral |
完整的模型库可在 Ollama Library 中搜索查看。不同型号模型对内存要求如下：
7B 型号模型至少需要 8 GB RAM。13B 型号模型至少需要 16 GB RAM。33B 型号模型至少需要 32 GB RAM。除了内置模型，Ollama 支持导入自定义模型，主要格式包括 GGUF、PyTorch 和 Safetensors。
GGUF 是一种二进制格式，旨在快速加载和保存模型。导入步骤如下：
Modelfile 的文件，包含 FROM 指令指向本地文件路径：FROM ./vicuna-33b.Q4_0.gguf
ollama create vicuna-33b-q4 -f Modelfile
ollama run vicuna-33b-q4
如果模型架构支持（如 LlamaForCausalLM, MistralForCausalLM），可直接导入：
FROM /path/to/safetensors/directory
如果不支持，需先使用 llama.cpp 转换为 GGUF 格式。常见转换脚本包括 convert_hf_to_gguf.py 等。
示例：转换 HuggingFace 模型
git clone https://github.com/ggerganov/llama.cpp.git
pip install -r llama.cpp/requirements.txt
python llama.cpp/convert_hf_to_gguf.py vicuna-hf --outfile vicuna-13b-v1.5.gguf --outtype q8_0
Ollama 允许为每个模型定制系统提示（System Prompt）。以智谱 GLM 为例：
ollama pull glm4
Modelfile：FROM glm4
PARAMETER temperature 1
SYSTEM """
你现在是一个修仙世界的修炼导师，来指导人们修炼。每次回答都以：「渺小的人类」作为开始。
"""
ollama create glm4xiuxian -f ./Modelfile
ollama run glm4xiuxian
PARAMETER temperature：控制生成随机性，越高越具创造性。PARAMETER top_p：核采样参数，限制词汇选择范围。PARAMETER repeat_penalty：重复惩罚，防止模型陷入循环。SYSTEM：定义模型的初始角色和指令。ollama create mymodel -f ./Modelfileollama pull llama3（若存在则更新）ollama rm llama3（节省磁盘空间）ollama cp llama3 my-model（占用双倍空间）''' 包裹多行文本。/Users/jmorgan/Desktop/smile.png。ollama run glm4xiuxian 今天我要做什么ollama show glm4（仅针对已下载模型）默认端口为 11434。如需同时运行多个实例，可通过环境变量指定端口：
OLLAMA_HOST=127.0.0.1:11435 ollama serve
关键环境变量说明：
OLLAMA_DEBUG：开启调试日志。OLLAMA_KEEP_ALIVE：模型在内存中保持加载的时间（默认 5 分钟）。OLLAMA_MAX_LOADED_MODELS：每个 GPU 最大加载模型数。OLLAMA_NUM_PARALLEL：并行请求的最大数量。OLLAMA_MODELS：模型存储目录路径。Ollama 启动后自动提供 HTTP API。
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"Why is the sky blue?"
}'
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
设置 stream: false 可获取非流式结果，默认通常为流式输出。
Ollama 提供了 Python 客户端库，便于集成到应用中。
pip install ollama
import ollama
response = ollama.chat(model='llama3', messages=[
{'role': 'user', 'content': 'Why is the sky blue?',}
])
print(response['message']['content'])
stream = ollama.chat(
model='llama3',
messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
stream=True,
)
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)
try:
ollama.chat(model)
except ollama.ResponseError as e:
print('Error:', e.error)
if e.status_code == 404:
ollama.pull(model)
from ollama import Client
client = Client(host='http://localhost:11434')
response = client.chat(model='llama3', messages=[
{'role': 'user', 'content': 'Say this is a test',}
])
日志文件通常位于 ~/.ollama/logs/server.log。可通过以下命令查看：
cat ~/.ollama/logs/server.log
如果是 Docker 运行，直接查看容器日志：
docker logs <container-name>
默认上下文窗口为 2048 tokens。可通过 /set parameter num_ctx 4096 或在 API 中指定 options.num_ctx 进行调整。
使用 ps 命令查看模型加载情况。Processor 列显示：
100% GPU：模型完全加载至显存。100% CPU：模型完全加载至系统内存。48%/52% CPU/GPU：模型部分加载至显存和内存。默认情况下，Ollama 仅监听本地回环地址。若要允许外部访问：
OLLAMA_HOST=0.0.0.0:11434 ollama serve
使用 launchctl 设置环境变量：
launchctl setenv OLLAMA_HOST "0.0.0.0"
随后重启 Ollama 应用。
服务器设置可用于调整并发处理能力：
OLLAMA_MAX_LOADED_MODELS：默认值为 3 * GPU 数量或 3（CPU 推理）。OLLAMA_NUM_PARALLEL：默认根据可用内存自动选择 4 或 1。OLLAMA_MAX_QUEUE：排队请求最大数量，默认 512。处理逻辑：
Ollama 提供实验性的 OpenAI API 兼容性，便于迁移现有应用。
from openai import OpenAI
client = OpenAI(
base_url='http://localhost:11434/v1/',
api_key='ollama',
)
chat_completion = client.chat.completions.create(
messages=[{'role': 'user', 'content': 'Say this is a test'}],
model='llama3',
)
import OpenAI from 'openai'
const openai = new OpenAI({
baseURL: 'http://localhost:11434/v1/',
apiKey: 'ollama',
})
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama3',
})
若程序强制依赖特定模型名（如 gpt-3.5-turbo），可复制模型进行重命名：
ollama cp llama3 gpt-3.5-turbo
这样原有程序无需修改即可调用本地模型。
不同操作系统的默认存储位置：
~/.ollama/models/usr/share/ollama/.ollama/modelsC:\Users\%username%\.ollama\models可通过 OLLAMA_MODELS 环境变量指定其他目录。
Ollama 极大地降低了本地运行大模型的门槛，支持多种硬件环境及开发语言。通过合理的参数配置和环境变量管理，可以实现高效、稳定的私有化部署方案。结合 OpenAI 兼容接口，开发者可以快速构建基于本地大模型的应用生态。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online