Ollama 部署与运行 HuggingFace 开源模型指南

针对中文场景，修改 Template 和 System Prompt：

FROM llama3:8b-instruct-q6_k
PARAMETER temperature 0.8
PARAMETER num_ctx 8192
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"
SYSTEM "你是一名精通技术的中文助手。请保持回答简洁、准确，不要重复内容。如果问题不明确，请先询问澄清。"
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

四、导入与运行模型

1. 创建模型

执行以下命令将本地 GGUF 文件转换为 Ollama 内部格式：

ollama create my-model -f Modelfile

输出显示层传输进度，成功后可在列表中看到新模型。

2. 命令行交互

启动模型进行对话：

ollama run my-model
>>> 你好，介绍一下你自己

3. 版本管理

支持类似 Git 的版本标签：

ollama create my-model:v1 -f Modelfile
ollama list

通过版本号区分不同配置的模型实例。

五、API 调用与集成

Ollama 默认监听 127.0.0.1:11434 端口。

1. HTTP API 测试

使用 curl 发送请求：

curl --location --request POST 'http://127.0.0.1:11434/api/generate' \
--header 'Content-Type: application/json' \
--data '{
"model": "my-model",
"prompt": "解释一下什么是人工智能？",
"stream": false
}'

2. Python SDK 集成

使用官方 Python 库简化调用：

import ollama
response = ollama.chat(model='my-model', messages=[{'role': 'user', 'content': '你好'}])
print(response['message']['content'])

六、生产环境部署方案

1. 后台服务化

确保 Ollama 服务常驻后台：

ollama serve &

或使用 systemd 管理：

[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=ollama
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=multi-user.target

2. Docker 容器部署

适用于多机协作或隔离环境：

version: '3'
services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
volumes:
  ollama_data:

启动容器：

docker-compose up -d

3. 网络与安全

• 若需外网访问，务必配置防火墙规则，限制 IP 白名单。
• 建议配合 Nginx 反向代理实现 HTTPS 加密。
• 定期更新 Ollama 版本以修复潜在漏洞。

七、常见问题排查

1. 显存不足

• 现象：启动时报错 CUDA out of memory。
• 解决：切换至更低量化版本（如 Q4 改为 Q3），或减少 num_ctx 参数。

2. 响应缓慢

• 检查 GPU 利用率是否饱和。
• 尝试关闭其他占用显存的进程。
• 增加 CPU 线程数（OLLAMA_NUM_PARALLEL）。

3. 中文乱码

• 确认模型支持中文（如 Llama 3, Qwen 等）。
• 检查 Modelfile 中的 SYSTEM 提示词是否强制指定语言。

结语

Ollama 提供了便捷的大模型私有化部署方案，结合 HuggingFace 丰富的开源生态，开发者可快速构建专属 AI 应用。通过合理的参数调优与生产环境配置，能够满足大部分业务场景的推理需求。随着技术迭代，Ollama 在性能与功能上将持续优化，成为本地 AI 基础设施的重要组件。