用 OpenAI API 格式统一调用 20+ 主流大模型

支持创建多个用户账号，为每个用户分配独立额度、设置 IP 白名单、限制可访问模型列表。适合团队共享、教学实验、SaaS 服务分发等场景。

流式响应完美还原

无论是 ChatGLM 的逐字生成，还是文心一言的段落式输出，它都能准确拆解为标准的 OpenAI data: {...} chunk 格式，确保前端'打字机效果'流畅自然，无卡顿、无乱序。

3. 快速上手：从零开始部署与验证

3.1 最简部署方式（Docker 一键启动）

不需要安装 Python 环境，不依赖 Node.js，不编译源码。只要你的机器装有 Docker，即可启动服务：

# 拉取镜像（请替换为你自己的仓库地址）
docker pull llm-api-gateway:latest

# 启动服务（以通义千问为例，替换为你自己的 API Key）
docker run -d \
--name llm-gateway \
-p 3000:3000 \
-e QWEN_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
-e QWEN_ENDPOINT=https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-e QWEN_MODEL_ALIAS=gpt-3.5-turbo:qwen-plus,gpt-4:qwen-max \
llm-api-gateway:latest 

服务启动后，访问 http://localhost:3000/v1/models 即可看到当前启用的模型列表；访问 http://localhost:3000/v1/chat/completions 就是标准 OpenAI 接口。

小技巧：首次启动后，建议立即修改默认管理员密码。使用浏览器打开 http://localhost:3000，用默认账号登录，进入「系统设置」→「账户安全」修改密码。

3.2 快速验证：用 curl 发起第一个请求

无需任何 SDK，直接用系统自带的 curl 验证是否工作正常：

curl http://localhost:3000/v1/chat/completations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer any-token-you-like" \
-d '{ "model": "gpt-3.5-turbo", "messages": [ {"role": "system", "content": "你是一个专业的技术文档撰写助手"}, {"role": "user", "content": "请用中文简要说明 Transformer 架构的核心思想"} ], "temperature": 0.3, "stream": false }'

你会收到标准 OpenAI 格式的 JSON 响应，其中 model 字段显示为 qwen-plus（因为我们配置了别名映射），choices[0].message.content 里就是通义千问生成的回答。

3.3 进阶用法：同时对接多个模型

实际项目中，你往往需要灵活切换不同模型。这个镜像支持通过环境变量组合启用多个后端：

docker run -d \
--name multi-model-gateway \
-p 3000:3000 \
# 通义千问配置
-e QWEN_API_KEY=sk-qwen-xxx \
-e QWEN_ENDPOINT=https://dashscope.aliyuncs.com/api/v1/... \
# 文心一言配置
-e ERNIE_API_KEY=AK-ernie-xxx \
-e ERNIE_SECRET_KEY=SK-ernie-xxx \
-e ERNIE_MODEL_ALIAS=gpt-4:ernie-4.0 \
# ChatGLM 配置
-e GLM_API_KEY=ZC-xxx \
-e GLM_ENDPOINT=https://open.bigmodel.cn/api/paas/v4/chat/completions \
-e GLM_MODEL_ALIAS=gpt-3.5-turbo:glm-4 \
llm-api-gateway:latest 

此时，发送 model: gpt-3.5-turbo 的请求会走 ChatGLM，model: gpt-4 走文心一言，model: qwen-plus 则直连通义千问——一切由别名规则自动路由。

4. 真实场景落地：它如何改变你的工作流

4.1 场景一：快速迁移现有 OpenAI 项目到国产模型

假设你有一个基于 LangChain 开发的客服问答系统，原本调用的是 OpenAI GPT-3.5。现在因合规或成本原因，需要切换为文心一言。

传统做法：

• 修改所有 ChatOpenAI(model_name="gpt-3.5-turbo") 初始化代码
• 替换为 ErnieBotChat 类，重写消息格式转换逻辑
• 重新适配流式回调、错误码处理、token 统计等细节
• 全面回归测试

使用本方案的做法：

• 停掉原有 OpenAI 服务
• 启动本镜像，配置文心一言 Key 和别名 gpt-3.5-turbo:ernie-3.5
• 修改一行环境变量：OPENAI_API_BASE=http://your-server:3000/v1
• 重启应用，完成迁移

整个过程不超过 5 分钟，且业务代码零修改。

4.2 场景二：为非技术人员提供模型体验入口

产品经理、运营、设计师经常想试试不同模型的效果，但让他们配置 API Key、写 curl 命令显然不现实。

该工具自带 Web 管理界面，你可以：

• 创建多个测试账号，每人分配 100 次免费调用额度
• 设置允许访问的模型范围（例如只开放通义千问和 ChatGLM）
• 自定义首页文案和 Logo，做成内部 AI 体验平台
• 开启微信/飞书扫码登录，降低使用门槛

他们只需打开网页，粘贴一段需求描述，点击发送，就能直观对比不同模型的输出质量，无需任何技术背景。

4.3 场景三：构建企业级 AI 服务中台

对于有多个 AI 应用系统的中大型企业，该工具可作为统一 AI 网关：

• 所有下游应用（BI 报表、知识库、智能写作、代码辅助）统一调用 /v1/chat/completions
• 网关层实现： ✓ 模型灰度发布（新模型先对 10% 流量开放） ✓ 调用频控与熔断（单用户每分钟最多 20 次） ✓ 全链路日志审计（谁、何时、调用哪个模型、耗时多少） ✓ 成本分摊（按模型、按部门统计 token 消耗）
• 运维人员只需维护一套网关配置，无需协调各业务线升级 SDK

这比每个应用单独集成 N 个模型，节省至少 70% 的维护成本。

5. 高级技巧：让部署更稳定、更安全、更可控

5.1 生产环境必配：反向代理与 HTTPS

虽然镜像本身支持 HTTP，但在生产环境中，强烈建议配合 Nginx 做反向代理并启用 HTTPS：

server {
    listen 443 ssl;
    server_name ai.your-company.com;
    ssl_certificate /etc/nginx/ssl/fullchain.pem;
    ssl_certificate_key /etc/nginx/ssl/privkey.pem;
    location /v1/ {
        proxy_pass http://127.0.0.1:3000/v1/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

这样外部调用地址就变成了 https://ai.your-company.com/v1/chat/completions，符合企业安全规范。

5.2 安全加固：限制 IP 与设置白名单

在管理后台的「用户管理」→「编辑用户」中，可为每个账号设置：

• 允许访问的 IP 段（如仅限 192.168.10.0/24 内网调用）
• 可用模型列表（禁止普通用户调用 qwen-max 等高成本模型）
• 每日调用上限（防止误操作刷爆额度）
• Token 有效期（例如生成的临时 Token 24 小时后自动失效）

所有策略实时生效，无需重启服务。

5.3 故障应对：自动重试与备用通道

当某个模型 API 临时不可用时，镜像默认开启失败自动重试（最多 3 次）。你还可以配置备用通道：

# 主通道：通义千问
QWEN_API_KEY=sk-main-xxx
# 备用通道：当主通道失败时，自动切到 ChatGLM
GLM_API_KEY=sk-backup-xxx
GLM_MODEL_ALIAS=gpt-3.5-turbo:glm-4 

系统会在主通道连续失败后，自动将后续请求路由至备用模型，保障业务连续性。

6. 总结

该工具不会让你的模型变得更聪明，也不会提升单次推理速度。它的价值，在于消除接口碎片化带来的工程摩擦。

当你面对以下任一情况时，它就是最直接有效的解决方案：

• 你正在用 OpenAI SDK 开发，但需要快速切换到国产模型
• 你有多个 AI 应用，每个都对接不同模型，运维成本越来越高
• 你想做模型效果横向评测，却苦于每个 API 都要重写一遍调用逻辑
• 你需要为非技术人员提供简单易用的 AI 体验入口
• 你希望统一管理 API Key、控制访问权限、统计使用数据

它不是一个炫技的 AI 产品，而是一个务实的工程工具——就像当年的 jQuery 之于 JavaScript，它不创造新能力，但让已有能力真正可用、好用、规模化地用起来。

如果你已经受够了在不同模型文档间反复跳转、复制粘贴、调试报错，那么现在，就是尝试它的最好时机。