本文详细介绍了如何使用 Ollama 在本地及服务器环境部署和运行从 HuggingFace 下载的开源大模型。内容涵盖模型格式选择（GGUF/Safetensors）、量化级别决策、Modelfile 配置文件编写、命令行交互、API 接口调用以及生产环境的 Docker 与 Systemd 部署方案。通过自定义系统提示词和上下文参数，可优化中文响应质量并实现后台服务化运行，同时包含显存不足、响应慢等常见问题的排查方法。
在本地开发环境中，我们常使用 LM Studio 等工具快速验证大模型效果。然而，在生产环境或服务器场景中，需要更稳定、可长时间运行的服务。Ollama 作为轻量级的大模型推理框架，支持并行 GPU 计算，显著提升了可用性。本文将详细介绍如何在本地及服务器环境下，使用 Ollama 加载并运行从 HuggingFace 下载的开源模型。
建议在服务器上创建专用目录存放模型数据，例如：
mkdir -p /data/ollama/models
export OLLAMA_MODELS=/data/ollama/models
将环境变量指向高性能存储路径，避免系统盘空间不足。
访问 HuggingFace 官网搜索所需模型。由于网络限制，国内用户可使用镜像站或寻找社区共享资源。注意部分模型（如 Llama 3）需要申请访问权限。
Ollama 主要支持以下两种格式：
根据显存大小选择量化版本：
Modelfile 类似于 Dockerfile，用于定义模型的加载参数、模板和系统提示词。
创建一个名为 Modelfile 的文件：
FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
SYSTEM "你是一个专业的 AI 助手，请用简体中文回答。"
针对中文场景，修改 Template 和 System Prompt：
FROM llama3:8b-instruct-q6_k
PARAMETER temperature 0.8
PARAMETER num_ctx 8192
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"
SYSTEM "你是一名精通技术的中文助手。请保持回答简洁、准确，不要重复内容。如果问题不明确，请先询问澄清。"
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
执行以下命令将本地 GGUF 文件转换为 Ollama 内部格式：
ollama create my-model -f Modelfile
输出显示层传输进度，成功后可在列表中看到新模型。
启动模型进行对话：
ollama run my-model
>>> 你好，介绍一下你自己
支持类似 Git 的版本标签：
ollama create my-model:v1 -f Modelfile
ollama list
通过版本号区分不同配置的模型实例。
Ollama 默认监听 127.0.0.1:11434 端口。
使用 curl 发送请求：
curl --location --request POST 'http://127.0.0.1:11434/api/generate' \
--header 'Content-Type: application/json' \
--data '{
"model": "my-model",
"prompt": "解释一下什么是人工智能？",
"stream": false
}'
使用官方 Python 库简化调用：
import ollama
response = ollama.chat(model='my-model', messages=[{'role': 'user', 'content': '你好'}])
print(response['message']['content'])
确保 Ollama 服务常驻后台：
ollama serve &
或使用 systemd 管理：
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=ollama
Environment="OLLAMA_HOST=0.0.0.0:11434"
[Install]
WantedBy=multi-user.target
适用于多机协作或隔离环境：
version: '3'
services:
ollama:
image: ollama/ollama:latest
ports:
- "11434:11434"
volumes:
- ollama_data:/root/.ollama
environment:
- OLLAMA_HOST=0.0.0.0:11434
volumes:
ollama_data:
启动容器：
docker-compose up -d
CUDA out of memory。num_ctx 参数。OLLAMA_NUM_PARALLEL）。Ollama 提供了便捷的大模型私有化部署方案，结合 HuggingFace 丰富的开源生态，开发者可快速构建专属 AI 应用。通过合理的参数调优与生产环境配置，能够满足大部分业务场景的推理需求。随着技术迭代，Ollama 在性能与功能上将持续优化，成为本地 AI 基础设施的重要组件。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online