本地部署大模型：Ollama 部署与实战指南

指定 GPU 设备：

[Service]
Environment="CUDA_VISIBLE_DEVICES=0,1"

修改后重启服务使配置生效：

systemctl daemon-reload
systemctl restart ollama

3. Docker 容器部署

适合希望隔离环境或快速验证的用户。

3.1 基础部署

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

3.2 GPU 支持部署

若宿主机拥有 NVIDIA GPU，需添加 --gpus=all 参数：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

安全提示：生产环境中请勿随意暴露 11434 端口至公网，建议通过防火墙限制 IP 访问或使用反向代理。

三、模型管理与使用

1. 常用命令

ollama serve          # 启动服务
ollama list           # 列出已下载模型
ollama pull <model>   # 拉取模型
ollama run <model>    # 运行模型
ollama rm <model>     # 删除模型

2. 模型库选择

Ollama 官方 Library 托管了多种模型，从轻量级到大型模型均有覆盖。根据硬件资源选择合适的参数量：

• 8GB RAM: 推荐 7B 及以下量化模型
• 16GB RAM: 推荐 13B 模型
• 32GB+ RAM: 推荐 33B 及以上模型

示例：拉取并运行 Qwen2 模型

ollama run qwen2:0.5b

3. 自定义模型导入

若模型不在官方库中，可通过 Modelfile 导入 GGUF 格式模型。

步骤 1: 创建 Modelfile 文件

FROM /root/models/Llama3-FP16.gguf
SYSTEM "You are a helpful assistant."
PARAMETER temperature 0.7

步骤 2: 创建模型

ollama create llama3-custom -f Modelfile

步骤 3: 运行

ollama run llama3-custom

4. 模型量化

Ollama 支持对 FP16/FP32 模型进行量化以节省资源。创建时添加 -q 参数：

ollama create -q Q4_K_M mymodel -f Modelfile

支持的量化级别包括 Q4_0, Q4_K_S, Q4_K_M, Q5_K_M 等，数值越小体积越小但精度略降。

四、API 集成开发

Ollama 提供兼容 OpenAI 格式的 REST API，便于集成到现有应用中。

1. 启动 API 服务

ollama serve

2. Python 调用示例

使用 requests 库发送请求：

import requests
import json

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'qwen2',
        'prompt': '为什么天空是蓝色的？',
        'stream': False
    }
)

print(response.json()['response'])

3. 流式输出

设置 'stream': True 可实现类似 ChatGPT 的打字机效果，服务端会返回多个 JSON 片段。

五、可视化界面搭建

1. Open WebUI 部署

Open WebUI 提供类 ChatGPT 的交互界面，支持多轮对话、文件上传等功能。

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

2. 连接配置

访问 http://your_ip:3000 注册账号后，在设置中添加 Ollama 地址为 http://host.docker.internal:11434。

3. 功能特性

• 多模态支持: 结合 Stable Diffusion 实现文生图
• TTS 语音: 内置文本转语音服务
• 知识库: 支持 RAG 检索增强生成

六、常见问题排查

1. 端口冲突: 若 11434 被占用，修改环境变量 OLLAMA_HOST 指定其他端口。
2. 权限问题: Linux 下若无法启动服务，检查 systemctl 权限或尝试 sudo。
3. 模型加载慢: 首次加载需下载权重，后续运行速度取决于内存带宽。
4. GPU 未识别: 确认 Docker 已正确挂载 --gpus=all 且宿主机驱动正常。

七、总结

Ollama 极大地降低了本地运行大模型的门槛。通过上述步骤，开发者可快速构建私有化 AI 能力，应用于文档分析、代码辅助、智能客服等场景。结合 Open WebUI 和 OneAPI，可进一步扩展为完整的企业级 AI 平台。