One API 镜像部署与多模型接入实战

返回的是标准 OpenAI 风格 JSON，业务侧不用单独适配文心一言自己的返回结构。

文心一言和 ChatGLM 的切换

添加 ChatGLM 渠道

回到【渠道管理】→【+ 新建渠道】：

业务代码保持不变

如果你已经统一走网关，切模型其实只是在请求参数里换一下 model。业务代码不用知道后面连的是文心一言还是 ChatGLM。

# api_client.py —— 你的业务代码，永远不变
import requests

def generate_copy(model_name: str, prompt: str):
    url = "http://你的服务器 IP:3000/v1/chat/completions"
    headers = {
        "Content-Type": "application/json",
        "Authorization": "Bearer sk-xxx"
    }
    data = {
        "model": model_name,
        "messages": [{"role": "user", "content": prompt}],
        "max_tokens": 512,
        "temperature": 0.7
    }
    response = requests.post(url, headers=headers, json=data)
    return response.json()["choices"][0]["message"]["content"]

# 调用文心一言
wenxin_result = generate_copy("ernie-4.5-turbo", "为智能手表写一句吸引年轻人的广告语")
# 调用 ChatGLM-4
glm_result = generate_copy("glm-4-flash", "为智能手表写一句吸引年轻人的广告语")

两次调用的输出风格可能完全不同，但函数本身不用动，这才是网关层真正省事的地方。

用负载均衡做兜底

如果希望一个模型挂了以后自动切到另一个，可以直接配负载均衡：

1. 在【渠道管理】里把文心一言和 ChatGLM 都保持启用；
2. 进入【负载均衡】→【+ 新建策略】；
3. 设置策略名称为 文案生成兜底策略，分发方式选 失败重试，主渠道选 百度文心一言，备用渠道选 智谱 ChatGLM-4。

这样之后，发往 ernie-4.5-turbo 的请求如果遇到文心一言接口异常，网关会自动切到 ChatGLM-4。这个思路不花哨，但线上故障时很顶用。

密钥、额度和安全控制

密钥分级

• 令牌（Token）：给应用或开发者用，可设置过期时间、单日额度、IP 范围、可访问模型列表。
• 用户（User）：给人用，支持邮箱、飞书、微信登录，还能设置分组倍率和初始额度。
• 渠道（Channel）：给模型服务商用，单独管密钥和配额。

这三层分开后，权限和成本都比较好收口，不容易乱。

额度审计

进入【额度明细】，可以看到每次调用的时间、模型、token 数、耗时，还能按日、周、月统计总消耗并导出 CSV。对接多个模型时，这个页面比接口日志更直观，排问题也更快。

安全控制

• Cloudflare Turnstile 验证：减少机器人批量注册。
• 兑换码体系：发兑换码给客户，自动给 token 充值。
• Webhook 告警：某个渠道错误率超过 5% 时，自动推送到运维群。

生产环境里建议顺手做的几件事

修改系统基础信息

进入【系统设置】→【基本设置】，把系统名称、Logo、页脚版权改成自己的。

启用 HTTPS

优先用 Nginx 反向代理配 SSL 证书，Let's Encrypt 就够用了；如果想直接在面板里处理，也可以到【系统设置】→【HTTPS 设置】上传证书文件。

配默认模型和流式开关

到【系统设置】→【API 设置】里把默认模型、流式模式、流式超时时间配置好。这个地方别完全照默认值用，尤其是流式超时，实际体验差别挺明显。

配邮件服务

到【系统设置】→【邮件设置】填 SMTP 服务器、端口、发件邮箱和授权码，主要用于密码重置。

多机部署准备

如果单机 QPS 上来了，可以在第二台服务器再部署一份相同镜像，共享同一个存储，比如把 /app/data 挂到 NFS 上，再让前面用 Nginx 做负载均衡。这个方案不算优雅，但扩容快。

小结

这套镜像的价值不在'能跑'，而在于把多模型接入、密钥管理、额度审计和兜底切换统一到一层。业务代码只需要面对标准 OpenAI 接口，后面接文心一言、ChatGLM 还是别的模型，切换成本都低得多。