LLM 大模型部署实战：Ollama、OpenLLM、LocalAI 与 Dify 集成指南

离线安装

对于内网服务器，可先在联网机器下载对应 CPU 架构的安装包（如 ollama-linux-amd64），传输至目标服务器后重命名并赋予权限，后续步骤与手动安装一致。

1.2 存储路径与配置

默认模型存储路径因操作系统而异：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\.ollama\models

若需修改存储路径，可通过编辑 systemd 服务文件添加环境变量：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:7861"
Environment="OLLAMA_MODELS=/www/algorithm/LLM_model/models"

修改后需重新加载配置：

systemctl daemon-reload
systemctl restart ollama

1.3 常用操作与监控

• 拉取模型：

  ollama pull llama3.1
  ollama pull qwen2
  

• 运行模型：

  ollama run llama3.1
  

• 查看已加载模型：

  ollama list
  

• 查看显存占用：

  ollama ps
  nvidia-smi
  

• API 测试：

  curl http://10.80.2.195:7861/api/chat -d '{
    "model": "llama3.1",
    "messages": [{"role": "user", "content": "why is the sky blue?"}]
  }'
  

1.4 高级配置

• 网络监听：设置 OLLAMA_HOST=0.0.0.0:7861 允许外部访问。
• 并发处理：通过 OLLAMA_NUM_PARALLEL 调整并发请求数。
• GPU 指定：在多卡环境下，通过 CUDA_VISIBLE_DEVICES 指定 GPU 索引：

  [Service]
  Environment="CUDA_VISIBLE_DEVICES=0,1"
  

• 模型存活时间：OLLAMA_KEEP_ALIVE 控制模型在内存中的保留时长，设置为 -1 表示永久驻留。

1.5 卸载与清理

如需彻底移除 Ollama：

sudo systemctl stop ollama
sudo rm /etc/systemd/system/ollama.service
sudo rm $(which ollama)
sudo rm -r /usr/share/ollama
sudo userdel ollama

2. OpenLLM 部署方案

OpenLLM 是一个用于在生产环境中操作大型语言模型的开放平台，支持微调、服务、部署和监控。它允许开发者通过一行代码切换不同的模型供应商。

2.1 安装与初始化

pip install openllm
openllm hello

2.2 支持的模型

OpenLLM 支持多种主流模型，包括但不限于：

• Llama-3.1, Llama-3, Llama-2
• Mistral, Mixtral
• Gemma-2, Gemma
• Qwen-2
• Phi-3

2.3 客户端交互

OpenLLM 提供内置 Python 客户端：

import openllm
client = openllm.client.HTTPClient('http://localhost:3000')
response = client.query('Explain to me the difference between "further" and "farther"')
print(response)

或通过命令行查询：

export OPENLLM_ENDPOINT=http://localhost:3000
openllm query 'Explain to me the difference between "further" and "farther"'

3. LocalAI 部署方案

LocalAI 是一个本地推理框架，提供 RESTful API，兼容 OpenAI API 规范。它允许在消费级硬件上运行 LLM 和 Embedding 模型，无需 GPU 即可运行部分量化模型。

3.1 环境准备

1. 克隆仓库并进入目录：

   git clone https://github.com/go-skynet/LocalAI
   cd LocalAI/examples/langchain-chroma
   

2. 下载 Demo 模型（示例）：

   wget https://huggingface.co/skeskinen/ggml/resolve/main/all-MiniLM-L6-v2/ggml-model-q4_0.bin -O models/bert
   wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j
   

3. 配置环境变量：

   mv .env.example .env
   

   注意确保 THREADS 变量不超过 CPU 核心数。

3.2 启动服务

使用 Docker Compose 启动：

docker-compose up -d --build
docker logs -f langchain-chroma-api-1

服务启动后，默认监听 http://127.0.0.1:8080。

3.3 模型映射

LocalAI 允许将本地模型映射为 OpenAI 标准名称：

• LLM 模型：ggml-gpt4all-j -> 对外名称 gpt-3.5-turbo
• Embedding 模型：all-MiniLM-L6-v2 -> 对外名称 text-embedding-ada-002

4. Dify 应用集成

Dify 是一个 AI 应用开发平台，支持接入上述各类本地模型进行应用编排。

4.1 配置模型供应商

在 Dify 后台设置中，选择对应的模型供应商（Ollama/OpenLLM/LocalAI）并填写以下信息：

• 模型名称：如 llama3.1 或 gpt-3.5-turbo
• 基础 URL：根据部署方式填写，例如 http://<IP>:11434
• 模型类型：对话或文本嵌入
• 上下文长度：根据模型规格填写，默认通常为 4096
• Vision 支持：若模型支持多模态（如 llava），请勾选

4.2 Docker 网络配置

若 Dify 和模型服务均部署在 Docker 容器中，需注意网络连通性：

• 容器内无法直接访问 localhost，应使用宿主机 IP 或 Docker 桥接网络地址。
• 常见错误 Connection refused 通常是因为端口未暴露或防火墙拦截。
• 建议配置 host.docker.internal 或使用自定义 Docker Network。

4.3 多模型管理

Dify 支持添加多个模型实例，添加新模型后需刷新网页以加载配置。可通过资源监控面板观察不同模型的调用消耗情况。

5. 方案对比与选型建议

5.1 生产环境最佳实践

1. 安全加固：限制 API 访问 IP，启用认证机制。
2. 资源隔离：为不同模型分配独立的 GPU 显存配额。
3. 监控告警：集成 Prometheus 监控显存、CPU 及请求延迟。
4. 备份策略：定期备份模型权重文件及配置文件。

6. 常见问题排查

• 连接超时：检查防火墙规则，确保端口（如 11434, 8080）已开放。
• 显存不足：尝试加载量化版本模型（如 Q4_K_M），或减少并发数。
• 模型不识别：确认模型文件名与配置文件中的名称一致。
• Docker 网络不通：检查 docker network inspect 确认容器间 DNS 解析是否正常。

结语

本地化部署大模型是实现 AI 私有化落地的关键一步。Ollama 适合快速上手，OpenLLM 适合灵活管理，LocalAI 适合兼容现有生态，而 Dify 则提供了强大的应用编排能力。根据具体业务需求选择合适的组合，能够显著提升开发效率与系统安全性。