用 OpenAI API 格式统一调用 20+ 主流大模型

统一 OpenAI API 格式调用 20+ 主流大模型

1. 为什么需要统一的 API 入口

开发中常遇到以下痛点：

想在本地部署 AI 助手，却发现每个大模型都有自己的 API 格式——ChatGLM 要填 /chat 路径，文心一言要走特定长路径，通义千问又是另一套参数结构；
项目里已经写好了 OpenAI 调用逻辑，现在想换成国产模型，结果要重写所有请求封装、错误处理、流式响应解析；
同时测试多个模型效果，却要在代码里反复切换不同 SDK、不同认证方式、不同超时配置；
更头疼的是，有些模型需要代理、有些必须用 HTTPS、有些对请求头敏感——光是环境适配就耗掉半天。

这些问题，其实都指向同一个核心痛点：模型太多，接口太碎，开发太累。

该工具旨在解决此问题。它不训练模型，不做推理计算，只做一件事：把 20 多个主流大模型，全部'翻译'成你最熟悉的 OpenAI API 格式。

开箱即用，无需改一行业务代码，就能让原本只认 gpt-3.5-turbo 的应用，无缝对接文心一言、通义千问、讯飞星火、ChatGLM、腾讯混元……甚至包括 Google Gemini、Claude、Mistral 等国际模型。

它并非传统 API 网关或中间件服务，而是一个轻量、专注的工程化工具。

2. 核心能力清单

2.1 支持哪些模型？覆盖全场景主流选择

目前完整支持以下 20+ 主流大模型平台，全部通过标准 OpenAI /v1/chat/completions 接口对外提供服务：

国内主力：文心一言（百度）、通义千问（阿里）、讯飞星火（科大讯飞）、ChatGLM（智谱 AI）、腾讯混元、360 智脑、字节豆包（火山引擎）、DeepSeek、零一万物（Yi）、阶跃星辰（StepFun）、百川智能、硅基流动（SiliconCloud）
国际主流：OpenAI（GPT 系列）、Azure OpenAI、Anthropic Claude、Google Gemini / PaLM2、Mistral、Groq、Cohere、Moonshot AI、MINIMAX、together.ai、Cloudflare Workers AI、xAI、DeepL

关键提示：所有模型均支持完整的 OpenAI 兼容能力，包括 messages 数组、system/user/assistant 角色、temperature/top_p/max_tokens 等核心参数，以及最重要的——流式响应（stream: true）。这意味着你用 curl、Postman、LangChain、LlamaIndex 写的代码，几乎不用改就能跑通。

2.2 工程级增强能力

它远不止是一个简单的'协议转换器'。在统一 API 的基础上，内置了多项面向真实使用场景的增强功能：

负载均衡与多渠道调度

你可以同时配置多个文心一言 API Key、多个通义千问 Endpoint，系统会自动按权重或轮询方式分发请求，避免单点故障，提升整体可用性。

模型别名映射（Model Alias）

这是最实用的功能之一。比如你的前端应用只认 gpt-4 这个模型名，但你想让它实际调用通义千问的 qwen-max。只需一条配置：

QWEN_MODEL_ALIAS=gpt-4:qwen-max,gpt-3.5-turbo:qwen-plus

所有发往 gpt-4 的请求，将被自动重写为 qwen-max，且请求体其他字段保持原样透传。

API Key 安全隔离

你再也不用把密钥硬编码进前端或暴露给第三方应用。所有模型密钥统一在服务端配置，外部调用时只需任意 Bearer Token（甚至可以填 Bearer abc123），真正的密钥由服务端安全保管。

多租户与额度管理

支持创建多个用户账号，为每个用户分配独立额度、设置 IP 白名单、限制可访问模型列表。适合团队共享、教学实验、SaaS 服务分发等场景。

流式响应完美还原

无论是 ChatGLM 的逐字生成，还是文心一言的段落式输出，它都能准确拆解为标准的 OpenAI data: {...} chunk 格式，确保前端'打字机效果'流畅自然，无卡顿、无乱序。

3. 快速上手：从零开始部署与验证

3.1 最简部署方式（Docker 一键启动）

不需要安装 Python 环境，不依赖 Node.js，不编译源码。只要你的机器装有 Docker，即可启动服务：

# 拉取镜像（请替换为你自己的仓库地址）
docker pull llm-api-gateway:latest

# 启动服务（以通义千问为例，替换为你自己的 API Key）
docker run -d \
--name llm-gateway \
-p 3000:3000 \
-e QWEN_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
-e QWEN_ENDPOINT=https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-e QWEN_MODEL_ALIAS=gpt-3.5-turbo:qwen-plus,gpt-4:qwen-max \
llm-api-gateway:latest

服务启动后，访问 http://localhost:3000/v1/models 即可看到当前启用的模型列表；访问 http://localhost:3000/v1/chat/completions 就是标准 OpenAI 接口。

小技巧：首次启动后，建议立即修改默认管理员密码。使用浏览器打开 http://localhost:3000，用默认账号登录，进入「系统设置」→「账户安全」修改密码。

3.2 快速验证：用 curl 发起第一个请求

无需任何 SDK，直接用系统自带的 curl 验证是否工作正常：

curl http://localhost:3000/v1/chat/completations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer any-token-you-like" \
-d '{ "model": "gpt-3.5-turbo", "messages": [ {"role": "system", "content": "你是一个专业的技术文档撰写助手"}, {"role": "user", "content": "请用中文简要说明 Transformer 架构的核心思想"} ], "temperature": 0.3, "stream": false }'

你会收到标准 OpenAI 格式的 JSON 响应，其中 model 字段显示为 qwen-plus（因为我们配置了别名映射），choices[0].message.content 里就是通义千问生成的回答。

3.3 进阶用法：同时对接多个模型

实际项目中，你往往需要灵活切换不同模型。这个镜像支持通过环境变量组合启用多个后端：

docker run -d \
--name multi-model-gateway \
-p 3000:3000 \
# 通义千问配置
-e QWEN_API_KEY=sk-qwen-xxx \
-e QWEN_ENDPOINT=https://dashscope.aliyuncs.com/api/v1/... \
# 文心一言配置
-e ERNIE_API_KEY=AK-ernie-xxx \
-e ERNIE_SECRET_KEY=SK-ernie-xxx \
-e ERNIE_MODEL_ALIAS=gpt-4:ernie-4.0 \
# ChatGLM 配置
-e GLM_API_KEY=ZC-xxx \
-e GLM_ENDPOINT=https://open.bigmodel.cn/api/paas/v4/chat/completions \
-e GLM_MODEL_ALIAS=gpt-3.5-turbo:glm-4 \
llm-api-gateway:latest

此时，发送 model: gpt-3.5-turbo 的请求会走 ChatGLM，model: gpt-4 走文心一言，model: qwen-plus 则直连通义千问——一切由别名规则自动路由。

4. 真实场景落地：它如何改变你的工作流

4.1 场景一：快速迁移现有 OpenAI 项目到国产模型

假设你有一个基于 LangChain 开发的客服问答系统，原本调用的是 OpenAI GPT-3.5。现在因合规或成本原因，需要切换为文心一言。

传统做法：

修改所有 ChatOpenAI(model_name="gpt-3.5-turbo") 初始化代码
替换为 ErnieBotChat 类，重写消息格式转换逻辑
重新适配流式回调、错误码处理、token 统计等细节
全面回归测试

使用本方案的做法：

停掉原有 OpenAI 服务
启动本镜像，配置文心一言 Key 和别名 gpt-3.5-turbo:ernie-3.5
修改一行环境变量：OPENAI_API_BASE=http://your-server:3000/v1
重启应用，完成迁移

整个过程不超过 5 分钟，且业务代码零修改。

4.2 场景二：为非技术人员提供模型体验入口

产品经理、运营、设计师经常想试试不同模型的效果，但让他们配置 API Key、写 curl 命令显然不现实。

该工具自带 Web 管理界面，你可以：

创建多个测试账号，每人分配 100 次免费调用额度
设置允许访问的模型范围（例如只开放通义千问和 ChatGLM）
自定义首页文案和 Logo，做成内部 AI 体验平台
开启微信/飞书扫码登录，降低使用门槛

他们只需打开网页，粘贴一段需求描述，点击发送，就能直观对比不同模型的输出质量，无需任何技术背景。

4.3 场景三：构建企业级 AI 服务中台

对于有多个 AI 应用系统的中大型企业，该工具可作为统一 AI 网关：

所有下游应用（BI 报表、知识库、智能写作、代码辅助）统一调用 /v1/chat/completions
网关层实现： ✓ 模型灰度发布（新模型先对 10% 流量开放） ✓ 调用频控与熔断（单用户每分钟最多 20 次） ✓ 全链路日志审计（谁、何时、调用哪个模型、耗时多少） ✓ 成本分摊（按模型、按部门统计 token 消耗）
运维人员只需维护一套网关配置，无需协调各业务线升级 SDK

这比每个应用单独集成 N 个模型，节省至少 70% 的维护成本。

5. 高级技巧：让部署更稳定、更安全、更可控

5.1 生产环境必配：反向代理与 HTTPS

虽然镜像本身支持 HTTP，但在生产环境中，强烈建议配合 Nginx 做反向代理并启用 HTTPS：

server {
    listen 443 ssl;
    server_name ai.your-company.com;
    ssl_certificate /etc/nginx/ssl/fullchain.pem;
    ssl_certificate_key /etc/nginx/ssl/privkey.pem;
    location /v1/ {
        proxy_pass http://127.0.0.1:3000/v1/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

这样外部调用地址就变成了 https://ai.your-company.com/v1/chat/completions，符合企业安全规范。

5.2 安全加固：限制 IP 与设置白名单

在管理后台的「用户管理」→「编辑用户」中，可为每个账号设置：

允许访问的 IP 段（如仅限 192.168.10.0/24 内网调用）
可用模型列表（禁止普通用户调用 qwen-max 等高成本模型）
每日调用上限（防止误操作刷爆额度）
Token 有效期（例如生成的临时 Token 24 小时后自动失效）

所有策略实时生效，无需重启服务。

5.3 故障应对：自动重试与备用通道

当某个模型 API 临时不可用时，镜像默认开启失败自动重试（最多 3 次）。你还可以配置备用通道：

# 主通道：通义千问
QWEN_API_KEY=sk-main-xxx
# 备用通道：当主通道失败时，自动切到 ChatGLM
GLM_API_KEY=sk-backup-xxx
GLM_MODEL_ALIAS=gpt-3.5-turbo:glm-4

系统会在主通道连续失败后，自动将后续请求路由至备用模型，保障业务连续性。

6. 总结

该工具不会让你的模型变得更聪明，也不会提升单次推理速度。它的价值，在于消除接口碎片化带来的工程摩擦。

当你面对以下任一情况时，它就是最直接有效的解决方案：

你正在用 OpenAI SDK 开发，但需要快速切换到国产模型
你有多个 AI 应用，每个都对接不同模型，运维成本越来越高
你想做模型效果横向评测，却苦于每个 API 都要重写一遍调用逻辑
你需要为非技术人员提供简单易用的 AI 体验入口
你希望统一管理 API Key、控制访问权限、统计使用数据

它不是一个炫技的 AI 产品，而是一个务实的工程工具——就像当年的 jQuery 之于 JavaScript，它不创造新能力，但让已有能力真正可用、好用、规模化地用起来。

如果你已经受够了在不同模型文档间反复跳转、复制粘贴、调试报错，那么现在，就是尝试它的最好时机。

统一 OpenAI API 格式调用 20+ 主流大模型

1. 为什么需要统一的 API 入口

开发中常遇到以下痛点：

想在本地部署 AI 助手，却发现每个大模型都有自己的 API 格式——ChatGLM 要填 /chat 路径，文心一言要走特定长路径，通义千问又是另一套参数结构；
项目里已经写好了 OpenAI 调用逻辑，现在想换成国产模型，结果要重写所有请求封装、错误处理、流式响应解析；
同时测试多个模型效果，却要在代码里反复切换不同 SDK、不同认证方式、不同超时配置；
更头疼的是，有些模型需要代理、有些必须用 HTTPS、有些对请求头敏感——光是环境适配就耗掉半天。

这些问题，其实都指向同一个核心痛点：模型太多，接口太碎，开发太累。

该工具旨在解决此问题。它不训练模型，不做推理计算，只做一件事：把 20 多个主流大模型，全部'翻译'成你最熟悉的 OpenAI API 格式。

它并非传统 API 网关或中间件服务，而是一个轻量、专注的工程化工具。

2. 核心能力清单

2.1 支持哪些模型？覆盖全场景主流选择

目前完整支持以下 20+ 主流大模型平台，全部通过标准 OpenAI /v1/chat/completions 接口对外提供服务：

国内主力：文心一言（百度）、通义千问（阿里）、讯飞星火（科大讯飞）、ChatGLM（智谱 AI）、腾讯混元、360 智脑、字节豆包（火山引擎）、DeepSeek、零一万物（Yi）、阶跃星辰（StepFun）、百川智能、硅基流动（SiliconCloud）
国际主流：OpenAI（GPT 系列）、Azure OpenAI、Anthropic Claude、Google Gemini / PaLM2、Mistral、Groq、Cohere、Moonshot AI、MINIMAX、together.ai、Cloudflare Workers AI、xAI、DeepL

关键提示：所有模型均支持完整的 OpenAI 兼容能力，包括 messages 数组、system/user/assistant 角色、temperature/top_p/max_tokens 等核心参数，以及最重要的——流式响应（stream: true）。这意味着你用 curl、Postman、LangChain、LlamaIndex 写的代码，几乎不用改就能跑通。

2.2 工程级增强能力

它远不止是一个简单的'协议转换器'。在统一 API 的基础上，内置了多项面向真实使用场景的增强功能：

负载均衡与多渠道调度

你可以同时配置多个文心一言 API Key、多个通义千问 Endpoint，系统会自动按权重或轮询方式分发请求，避免单点故障，提升整体可用性。

模型别名映射（Model Alias）

这是最实用的功能之一。比如你的前端应用只认 gpt-4 这个模型名，但你想让它实际调用通义千问的 qwen-max。只需一条配置：

QWEN_MODEL_ALIAS=gpt-4:qwen-max,gpt-3.5-turbo:qwen-plus

所有发往 gpt-4 的请求，将被自动重写为 qwen-max，且请求体其他字段保持原样透传。

API Key 安全隔离

多租户与额度管理

支持创建多个用户账号，为每个用户分配独立额度、设置 IP 白名单、限制可访问模型列表。适合团队共享、教学实验、SaaS 服务分发等场景。

流式响应完美还原

3. 快速上手：从零开始部署与验证

3.1 最简部署方式（Docker 一键启动）

不需要安装 Python 环境，不依赖 Node.js，不编译源码。只要你的机器装有 Docker，即可启动服务：

# 拉取镜像（请替换为你自己的仓库地址）
docker pull llm-api-gateway:latest

# 启动服务（以通义千问为例，替换为你自己的 API Key）
docker run -d \
--name llm-gateway \
-p 3000:3000 \
-e QWEN_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
-e QWEN_ENDPOINT=https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-e QWEN_MODEL_ALIAS=gpt-3.5-turbo:qwen-plus,gpt-4:qwen-max \
llm-api-gateway:latest

服务启动后，访问 http://localhost:3000/v1/models 即可看到当前启用的模型列表；访问 http://localhost:3000/v1/chat/completions 就是标准 OpenAI 接口。

小技巧：首次启动后，建议立即修改默认管理员密码。使用浏览器打开 http://localhost:3000，用默认账号登录，进入「系统设置」→「账户安全」修改密码。

3.2 快速验证：用 curl 发起第一个请求

无需任何 SDK，直接用系统自带的 curl 验证是否工作正常：

curl http://localhost:3000/v1/chat/completations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer any-token-you-like" \
-d '{ "model": "gpt-3.5-turbo", "messages": [ {"role": "system", "content": "你是一个专业的技术文档撰写助手"}, {"role": "user", "content": "请用中文简要说明 Transformer 架构的核心思想"} ], "temperature": 0.3, "stream": false }'

3.3 进阶用法：同时对接多个模型

实际项目中，你往往需要灵活切换不同模型。这个镜像支持通过环境变量组合启用多个后端：

docker run -d \
--name multi-model-gateway \
-p 3000:3000 \
# 通义千问配置
-e QWEN_API_KEY=sk-qwen-xxx \
-e QWEN_ENDPOINT=https://dashscope.aliyuncs.com/api/v1/... \
# 文心一言配置
-e ERNIE_API_KEY=AK-ernie-xxx \
-e ERNIE_SECRET_KEY=SK-ernie-xxx \
-e ERNIE_MODEL_ALIAS=gpt-4:ernie-4.0 \
# ChatGLM 配置
-e GLM_API_KEY=ZC-xxx \
-e GLM_ENDPOINT=https://open.bigmodel.cn/api/paas/v4/chat/completions \
-e GLM_MODEL_ALIAS=gpt-3.5-turbo:glm-4 \
llm-api-gateway:latest

此时，发送 model: gpt-3.5-turbo 的请求会走 ChatGLM，model: gpt-4 走文心一言，model: qwen-plus 则直连通义千问——一切由别名规则自动路由。

4. 真实场景落地：它如何改变你的工作流

4.1 场景一：快速迁移现有 OpenAI 项目到国产模型

假设你有一个基于 LangChain 开发的客服问答系统，原本调用的是 OpenAI GPT-3.5。现在因合规或成本原因，需要切换为文心一言。

传统做法：

修改所有 ChatOpenAI(model_name="gpt-3.5-turbo") 初始化代码
替换为 ErnieBotChat 类，重写消息格式转换逻辑
重新适配流式回调、错误码处理、token 统计等细节
全面回归测试

使用本方案的做法：

停掉原有 OpenAI 服务
启动本镜像，配置文心一言 Key 和别名 gpt-3.5-turbo:ernie-3.5
修改一行环境变量：OPENAI_API_BASE=http://your-server:3000/v1
重启应用，完成迁移

整个过程不超过 5 分钟，且业务代码零修改。

4.2 场景二：为非技术人员提供模型体验入口

产品经理、运营、设计师经常想试试不同模型的效果，但让他们配置 API Key、写 curl 命令显然不现实。

该工具自带 Web 管理界面，你可以：

创建多个测试账号，每人分配 100 次免费调用额度
设置允许访问的模型范围（例如只开放通义千问和 ChatGLM）
自定义首页文案和 Logo，做成内部 AI 体验平台
开启微信/飞书扫码登录，降低使用门槛

他们只需打开网页，粘贴一段需求描述，点击发送，就能直观对比不同模型的输出质量，无需任何技术背景。

4.3 场景三：构建企业级 AI 服务中台

对于有多个 AI 应用系统的中大型企业，该工具可作为统一 AI 网关：

所有下游应用（BI 报表、知识库、智能写作、代码辅助）统一调用 /v1/chat/completions
网关层实现： ✓ 模型灰度发布（新模型先对 10% 流量开放） ✓ 调用频控与熔断（单用户每分钟最多 20 次） ✓ 全链路日志审计（谁、何时、调用哪个模型、耗时多少） ✓ 成本分摊（按模型、按部门统计 token 消耗）
运维人员只需维护一套网关配置，无需协调各业务线升级 SDK

这比每个应用单独集成 N 个模型，节省至少 70% 的维护成本。

5. 高级技巧：让部署更稳定、更安全、更可控

5.1 生产环境必配：反向代理与 HTTPS

虽然镜像本身支持 HTTP，但在生产环境中，强烈建议配合 Nginx 做反向代理并启用 HTTPS：

server {
    listen 443 ssl;
    server_name ai.your-company.com;
    ssl_certificate /etc/nginx/ssl/fullchain.pem;
    ssl_certificate_key /etc/nginx/ssl/privkey.pem;
    location /v1/ {
        proxy_pass http://127.0.0.1:3000/v1/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

这样外部调用地址就变成了 https://ai.your-company.com/v1/chat/completions，符合企业安全规范。

5.2 安全加固：限制 IP 与设置白名单

在管理后台的「用户管理」→「编辑用户」中，可为每个账号设置：

允许访问的 IP 段（如仅限 192.168.10.0/24 内网调用）
可用模型列表（禁止普通用户调用 qwen-max 等高成本模型）
每日调用上限（防止误操作刷爆额度）
Token 有效期（例如生成的临时 Token 24 小时后自动失效）

所有策略实时生效，无需重启服务。

5.3 故障应对：自动重试与备用通道

当某个模型 API 临时不可用时，镜像默认开启失败自动重试（最多 3 次）。你还可以配置备用通道：

# 主通道：通义千问
QWEN_API_KEY=sk-main-xxx
# 备用通道：当主通道失败时，自动切到 ChatGLM
GLM_API_KEY=sk-backup-xxx
GLM_MODEL_ALIAS=gpt-3.5-turbo:glm-4

系统会在主通道连续失败后，自动将后续请求路由至备用模型，保障业务连续性。

6. 总结

该工具不会让你的模型变得更聪明，也不会提升单次推理速度。它的价值，在于消除接口碎片化带来的工程摩擦。

当你面对以下任一情况时，它就是最直接有效的解决方案：

你正在用 OpenAI SDK 开发，但需要快速切换到国产模型
你有多个 AI 应用，每个都对接不同模型，运维成本越来越高
你想做模型效果横向评测，却苦于每个 API 都要重写一遍调用逻辑
你需要为非技术人员提供简单易用的 AI 体验入口
你希望统一管理 API Key、控制访问权限、统计使用数据

如果你已经受够了在不同模型文档间反复跳转、复制粘贴、调试报错，那么现在，就是尝试它的最好时机。

用 OpenAI API 格式统一调用 20+ 主流大模型

统一 OpenAI API 格式调用 20+ 主流大模型

1. 为什么需要统一的 API 入口

2. 核心能力清单

2.1 支持哪些模型？覆盖全场景主流选择

2.2 工程级增强能力

负载均衡与多渠道调度

模型别名映射（Model Alias）

API Key 安全隔离

多租户与额度管理

流式响应完美还原

3. 快速上手：从零开始部署与验证

3.1 最简部署方式（Docker 一键启动）

3.2 快速验证：用 curl 发起第一个请求

3.3 进阶用法：同时对接多个模型

4. 真实场景落地：它如何改变你的工作流

4.1 场景一：快速迁移现有 OpenAI 项目到国产模型

4.2 场景二：为非技术人员提供模型体验入口

4.3 场景三：构建企业级 AI 服务中台

5. 高级技巧：让部署更稳定、更安全、更可控

5.1 生产环境必配：反向代理与 HTTPS

5.2 安全加固：限制 IP 与设置白名单

5.3 故障应对：自动重试与备用通道

6. 总结

用 OpenAI API 格式统一调用 20+ 主流大模型

统一 OpenAI API 格式调用 20+ 主流大模型

1. 为什么需要统一的 API 入口

2. 核心能力清单

2.1 支持哪些模型？覆盖全场景主流选择

2.2 工程级增强能力

负载均衡与多渠道调度

模型别名映射（Model Alias）

API Key 安全隔离

多租户与额度管理

流式响应完美还原

3. 快速上手：从零开始部署与验证

3.1 最简部署方式（Docker 一键启动）

3.2 快速验证：用 curl 发起第一个请求

3.3 进阶用法：同时对接多个模型

4. 真实场景落地：它如何改变你的工作流

4.1 场景一：快速迁移现有 OpenAI 项目到国产模型

4.2 场景二：为非技术人员提供模型体验入口

4.3 场景三：构建企业级 AI 服务中台

5. 高级技巧：让部署更稳定、更安全、更可控

5.1 生产环境必配：反向代理与 HTTPS

5.2 安全加固：限制 IP 与设置白名单

5.3 故障应对：自动重试与备用通道

6. 总结

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具