Ollama 本地部署与运行开源大模型指南

删除模型

如需释放空间，可使用 rm 命令删除不需要的模型：

ollama rm llama2

HTTP API 接口

Ollama 默认监听在 localhost:11434 端口，提供 RESTful API 供程序调用。

文本补全

发送请求进行文本生成：

curl http://localhost:11434/api/generate -d '{
  "model": "orca-mini",
  "prompt": "Explain the word distinct"
}'

聊天补全

支持多轮对话的聊天接口：

curl http://localhost:11434/api/chat -d '{
  "model": "orca-mini",
  "messages": [
    { "role": "user", "content": "Explain the word distinct" }
  ]
}'

嵌入向量

获取文本的嵌入向量表示：

curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "Deep learning is a subset of machine learning"
}'

SDK 集成开发

Ollama 提供了 Python 和 JavaScript 库，方便开发者将其集成到现有应用中。

Python 集成

安装 Python 库：

pip install ollama

获取模型列表

import ollama

model_list = ollama.list()
print(model_list)

流式对话

处理流式响应是构建聊天应用的关键：

import ollama

response = ollama.chat(
    model='orca-mini',
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': 'Hello!'}
    ],
    stream=True
)

for chunk in response:
    if 'message' in chunk and 'content' in chunk['message']:
        print(chunk['message']['content'], end='', flush=True)

JavaScript 集成

安装 Node.js 库：

npm install ollama

基本调用示例

const ollama = require('ollama');

async function main() {
  const res = await ollama.chat({
    model: 'orca-mini',
    messages: [{ role: 'user', content: 'Hello!' }]
  });
  console.log(res.message.content);
}

main();

高级配置

自定义 Modelfile

您可以创建自定义的 Modelfile 来调整模型行为，例如设置系统提示词或温度参数：

FROM llama2
SYSTEM "You are a coding assistant."
PARAMETER temperature 0.7

保存为 Modelfile 后，运行以下命令创建新模型：

ollama create my-model -f Modelfile

环境变量配置

通过环境变量可以修改模型存储路径或启用调试模式：

export OLLAMA_MODELS=/path/to/custom/models
ollama serve

安全与性能优化

网络安全性

默认情况下，Ollama 仅监听本地回环地址。若需远程访问，请确保配置防火墙规则，避免暴露在公网。

性能调优

• 量化模型：使用量化版本（如 Q4_K_M）可在保持精度的同时减少内存占用。
• 并发控制：在生产环境中，建议限制并发请求数以保护 GPU 资源。
• 缓存机制：利用 Ollama 内置的 KV 缓存提升多轮对话效率。

常见问题排查

1. 模型加载失败：检查磁盘空间是否充足，确认模型名称拼写正确。
2. API 连接拒绝：确认 ollama serve 进程正在运行，且端口未被占用。
3. 显存不足：尝试加载更小参数量级的模型，或增加系统 Swap 分区。

结语

Ollama 极大地降低了本地运行大模型的门槛，使开发者能够专注于应用逻辑而非基础设施维护。通过本文的介绍，希望您能顺利搭建本地 AI 环境，开启高效的大模型开发之旅。

如有更多技术细节需求，请参考 Ollama 官方文档获取最新 API 说明与社区支持。