DB-GPT 基于阿里云 GPU 实例的本地化部署指南
简介
DB-GPT 是一个实验性的开源应用，它基于 FastChat，并使用 vicuna-13b 作为基础模型。模型与数据全部本地化部署，绝对保障数据的隐私安全。同时此 GPT 项目可以直接本地部署连接到私有数据库，进行私有数据处理，目前已支持 SQL 生成、SQL 诊断、数据库知识问答、数据处理等一系列的工作。
背景
DB-GPT 从发布第一个可运行版本以来，引起了广泛关注。由于 DB-GPT 使用 Vicuna-13B 的模型作为 Base Model，在消费级 GPU 上即可完成部署，但配置过程较为复杂。具体部署的硬件说明如下：
| GPU 型号 | 显存大小 | 性能 |
|---|---|---|
| RTX4090 | 24G | 可以流畅的进行对话推理，无卡顿 |
| RTX3090 | 24G | 可以流畅进行对话推理，有轻微卡顿感，优于 V100 |
| V100 | 16G | 可以进行对话推理，有明显卡顿 |
本文旨在提供一套完整的阿里云部署教程，帮助用户快速搭建测试环境。请注意，因项目主要处于实验性质，不建议直接用于生产环境。
环境准备
创建阿里云 GPU 实例
- 账号准备：确保拥有阿里云账号并完成实名认证。建议充值一定金额以购买按量付费资源。
- 实例选购：进入 ECS 控制台，选择 GPU 云服务器产品。建议选择按量付费模式，根据推理性能需求选择显卡型号（如 T4, V100, A10 等）。
- 配置选项：
- 系统盘：建议不小于 200G SSD，避免模型文件下载后空间不足。
- 释放策略：取消勾选'随实例释放'，以便后续仅释放实例而保留数据盘中的模型文件。若需长期使用，建议创建快照备份。
- 网络带宽：建议选择大一点带宽（如 25M），并选择按流量付费，同时购买流量包以防突发流量产生高额费用。
- 安全组：初始配置无需特殊设置，后续可在管理控制台开放特定端口。
- 自动释放：务必设置自动释放时间，防止忘记释放导致持续扣费。
登录实例安装环境依赖
登录实例后，首先确认 GPU 驱动已正确安装。随后安装必要的系统依赖包：
yum -y install git
yum install git-lfs
yum install g++
yum install docker
安装完成后，验证 Docker 是否正常运行：
docker --version
部署服务
部署流程主要分为三步：模型准备、依赖服务启动、DB-GPT 服务启动。
模型准备
我们需要下载两个基础模型： 以及 。由于 HuggingFace 访问可能受限，建议使用国内镜像源或代理。
