多模型协同：构建 LLM 代理与网关整合 AI 大模型

2）填写 供应商配置：每个供应商有不同的配置信息，系统会自动根据你选择的供应商来生成所需的配置信息。

配置信息一般可以在供应商的 Open API 管理后台获得，你可以在弹窗左下角找到快速跳转到供应商官网的按钮。

创建并发布 AI 服务

1）进入 工作空间 模块，在侧边栏中选择 服务，然后 创建服务，填写 AI 服务的基本信息、配置管理权限和订阅审核形式。

2）创建服务之后，网关会自动在服务里创建一个默认的 聚合 API（Unified API），你可以直接通过这个聚合 API 来调用 AI 服务。

以往企业调用 AI 过程中，涉及到 Prompt 提示词都是采用硬编码的形式写在系统中。在网关上你可以对每个 LLM API 的 Prompt 独立管理，你可以将 Prompt 提示词和 AI 模型组合成自定义的 AI API。

3）将配置了 Prompt 的 AI API 发布到 API 门户上供大家订阅; 你可以给 API 配置审核流程，团队内外的开发者需要等待审核通过之后才能调用，你还可以在列表中看到所有订阅该服务的 消费者。

监控 AI 应用程序

除了统一 AI 访问接口以外，让代码变得更加通用化 适应 AI 引擎的变化也是至关重要的。很多情况下，你可以将 AI 应用程序的代码作为围绕 AI 模型的一组包装函数，而且这些函数是可以替换的。

基本上，相同的 LangChain 代码可以用来构建一个聊天机器人（比如本文中的示例），然后你只需通过配置更换模型，就能让你的聊天 AI 机器人变得更智能更高效。这种切换就像按一下切换开关一样简单。

要知道应该选择哪些模型，你需要进行优化，而实现这一目标的关键在于高效的监控。

LLM 代理在这一方面发挥了重要作用，它提供了记录和监控与模型交互的工具。这包括跟踪延迟、Token 使用量和响应时间等数据，帮助组织根据性能指标优化其应用程序。

此外，建议实施以下最佳实践：

• 速率限制（Rate Limiting）：防止单个用户或应用耗尽配额，保护后端服务稳定性。
• 缓存机制：对于重复的请求，利用缓存减少 Token 消耗和响应延迟。
• 错误处理：定义明确的重试策略和降级方案，当某个模型不可用时自动切换备用模型。

LLM 代理的实际应用

代理是 LLM 代理的核心组成部分，充当客户端与 LLM 供应商之间的中介。它们使组织能够将请求路由到不同的模型，并无缝处理故障转移场景。LLM 网关通过提供统一的接口与多个 LLM 进行交互，从而简化了 LLM API 调用。这种方法减少了代码更改的需求，并支持模型之间的动态切换。

LLM 代理服务器的示意架构

开源解决方案和自定义集成

企业组织如何利用 LLM 代理在 AI 和 LLM API 之上提供生产级功能。LLM 网关提供了一个用户界面，用于集成和测试不同的 LLM，支持自定义扩展，并启用全面的日志记录和监控。这种灵活性使组织能够评估各种模型和提示，针对其特定用例进行优化。

下图是 LLM 网关如何在 Google Cloud Kubernetes 引擎上部署 LLM 代理，然后从应用程序向其发出 LLM 调用。

智能路由：选择代理还是 MoE？

正如前面提到的，LLM 网关的一大优势在于其能够智能管理对 LLM API 的访问。例如，当用户请求将英语翻译成西班牙语时，一个简单的 LLM 路由器可以识别出，这个请求更适合由专门为翻译任务微调的模型处理，而无需调用像 GPT-4 这样昂贵的基础模型。

Hugging Face 在其'Hugging GPT'中提出了这一概念，称之为'模型路由器'（Model Router）。

这种路由方式可以在组织层面实现一次性部署，而无需为每个单独的应用程序重复配置。然而，与这种路由方式相比，还有另一种竞争性技术——专家混合（Mixture of Experts，MoE） 可能更加高效，因为 MoE 将路由层集成为 LLM 的一部分，在性能和资源分配上更具优势。

来源 HuggingGPT：使用 ChatGPT 及其在 Hugging Face 的伙伴解决 AI 任务

可扩展的 LLM 代理部署

到目前为止，本文介绍了将 LLM API 集中化的优势，但这种方法也可能带来一些潜在问题。为应对日益增长的流量并避免瓶颈，LLM 代理必须具备良好的可扩展性。

通过容器化的代理，可以在 Kubernetes 集群中部署代理服务，从而根据需求实现水平扩展。这种方式确保代理服务器能够在不影响性能和可靠性的情况下，处理大量的请求。下图展示了基于 Kubernetes 的可扩展 LLM 代理的一般架构。

在 K8s 部署中，建议配置 HPA（Horizontal Pod Autoscaler）根据 CPU 或内存使用率自动调整副本数，同时配合 Ingress Controller 进行流量分发。

添加额外的安全性、隐私和合规性

在集中访问 LLM 并添加日志记录和监控后，LLM 网关可以通过集中访问控制、秘密管理和日志记录来增强安全性。它们还通过允许组织在向 LLM 提供者发送请求之前掩盖敏感信息来促进遵守数据隐私法规。一些解决方案，如 opaque.co，使用小型内部 LLM 或神经网络来识别和删除个人可识别信息（PII），确保敏感数据保持在组织内部。

不透明 Prompt 确保个人身份信息不会泄露

实施建议与总结

在实际落地 LLM 网关时，建议关注以下几点：

1. 配置版本控制：对网关的配置变更进行版本管理，便于回滚和审计。
2. 灰度发布：新模型或新 Prompt 应先在小范围流量中测试，确认效果后再全量上线。
3. 成本核算：建立详细的账单体系，按项目、部门或用户维度统计 Token 消耗，以便优化预算。

写在最后

LLM 代理是 AI 应用中的一种新兴设计模式，帮助组织管理生产中 LLM 应用的访问、安全和监控。通过集中访问、实现模型之间的网络级切换，并提供日志记录和监控工具，组织可以更细致地控制其 AI 工作负载，同时减少新 LLM 集成所需的努力。日志记录和监控还帮助维持对成本和合规性的控制。随着 LLM 的使用持续增长，LLM 代理在确保高效和安全的部署中将变得越来越重要。然而，有人质疑这种设计模式是否会与基于专家混合方法的模型相比同样高效。