私有化大模型知识库部署指南：FastGPT 与 One-API 实践

示例配置片段：

version: '3.3'
services:
  pg:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0
    container_name: pg
    restart: always
    ports:
      - "5432:5432"
    environment:
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  
  mongo:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18
    container_name: mongo
    restart: always
    ports:
      - "27017:27017"
    environment:
      - MONGO_INITDB_ROOT_USERNAME=username
      - MONGO_INITDB_ROOT_PASSWORD=password
    volumes:
      - ./mongo/data:/data/db

  fastgpt:
    container_name: fastgpt
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest
    ports:
      - "3000:3000"
    depends_on:
      - mongo
      - pg
    environment:
      - DEFAULT_ROOT_PSW=1234
      - OPENAI_BASE_URL=http://ip:端口/v1
      - CHAT_API_KEY=sk-xxxx
      - MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin
      - PG_URL=postgresql://username:password@pg:5432/postgres

3. 访问服务

服务启动后，可通过 http://ip:3000 访问管理后台。

One-API 服务部署

One-API 作为大模型服务代理，支持国内外主流的大模型服务，对外提供 OpenAI 规范的 API。目前已支持 Azure、Anthropic Claude、Google Gemini、智谱 ChatGLM、百度文心一言、讯飞星火、阿里通义千问等。

1. 部署 One-API

mkdir /oneapi
cp docker-compose.yml /oneapi
cd /oneapi
docker-compose up -d

注意修改文件中指定端口避免冲突。

2. 配置渠道

登录 One-API 控制台，点击'渠道'，配置您的 GPT 账号信息。

3. 测试验证

在渠道配置完成后，点击测试按钮验证连通性。

4. 创建令牌

点击'令牌'，添加新的令牌，用于配置到 FastGPT。

5. 配置 FastGPT

复制 One-API 生成的令牌（格式通常为 sk-xxxx），配置到 FastGPT 安装目录下的 docker-compose.yml 文件中：

environment:
  - OPENAI_BASE_URL=http://your-ip:port/v1
  - CHAT_API_KEY=sk-xxxx

同时修改 config.json 配置文件，需要与渠道模型名称对应（如果渠道不支持此模型则请求会失败）。

{
  "SystemParams": {
    "pluginBaseUrl": "",
    "vectorMaxProcess": 15,
    "qaMaxProcess": 15,
    "pgHNSWEfSearch": 100
  },
  "ChatModels": [
    {
      "model": "gpt-3.5-turbo",
      "name": "GPT35-turbo",
      "price": 0,
      "maxContext": 16000,
      "maxResponse": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "censor": false,
      "vision": false,
      "defaultSystemChatPrompt": ""
    }
  ],
  "VectorModels": [
    {
      "model": "text-embedding-ada-002",
      "name": "Embedding-2",
      "price": 0.0,
      "defaultToken": 700,
      "maxToken": 3000
    }
  ]
}

重启 FastGPT 服务生效：

cd /fastgpt
docker-compose restart

私有化 M3E 向量模型

考虑到成本、安全和转换性能问题，可以使用 M3E 向量模型进行私有化部署。向量模型属于小模型，资源使用不高，CPU 也可以运行。

1. 部署向量模型服务

version: '1'
services:
  m3e:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
    restart: no
    ports:
      - "6008:6008"

2. 接入 One-API

登录 One-API 控制台，添加 M3E 渠道，指向本地部署的 M3E 服务地址。

3. 接入 FastGPT

修改 FastGPT config.json 配置文件，加入 M3E 模型配置：

"VectorModels": [
  {
    "model": "m3e",
    "name": "M3E（测试使用）",
    "price": 0.1,
    "defaultToken": 500,
    "maxToken": 1800
  }
]

4. 测试效果

使用 FastGPT 创建知识库，选择 M3E 模型导入数据并进行搜索测试。

常见问题排查

1. 端口冲突：部署前请检查 3000、5432、27017 等端口是否被占用。
2. 网络不通：确保 FastGPT 容器能访问 One-API 的地址，若在同一局域网内，建议使用宿主机 IP 而非 localhost。
3. 模型加载失败：检查 config.json 中的模型名称是否与 One-API 中配置的 Channel Name 完全一致。
4. 向量检索慢：调整 pgHNSWEfSearch 参数，数值越大检索越准但速度越慢，默认 100 可平衡性能。

结语

通过上述步骤，您可以成功搭建一个基于 FastGPT 和 One-API 的私有化大模型知识库。该方案支持多种模型切换，具备较好的扩展性和安全性，适合企业级内部知识管理场景。后续可根据实际需求进一步优化反向代理配置及监控告警体系。