基于大语言模型（LLMs）开发的应用目前主要使用公共 LLMs 服务提供的 API 进行，但是这些 LLMs 服务的 API 设计以请求为中心，缺乏应用级信息，难以有效优化整个应用流程，影响任务的端到端性能。为此，微软亚洲研究院的研究员们开发了一个专注于 LLMs 应用端到端体验的服务系统 Parrot，它具有减少网络延迟、提高吞吐量、减少冗余计算等优势。Parrot 可以通过引入语义变量，向公共 LLMs 服务公开请求间关系，从而开辟了 LLMs 应用端到端性能优化的空间。相关论文已被计算机系统领域顶级学术会议 OSDI 2024 收录。
大语言模型（LLMs）以其卓越的语言理解能力引领了一场应用开发领域的范式转变。在新兴范式中，一个或多个应用实体，被称为 AI 代理（AI agent）或 AI 智能副驾驶（AI co-pilot），通过自然语言（即'提示词'prompt）与 LLMs 进行交流，以协作完成一项任务。这种协作方式使得基于 LLMs 的应用程序能够通过一系列精心设计的对话流程，实现任务的高效执行。这些对话流程通常涉及多轮对话，每个对话都通过向 LLMs 发起 API 调用来实现。
图 1：LLMs 应用中几种流行的对话模式
图 1 展示了一些常见的基于 LLMs 的应用工作流程。这些流程不仅揭示了 LLMs 在不同场景下的应用模式，还体现了它们在处理复杂任务时的灵活性和高效性。以多代理编程应用为例，它展示了 LLMs 扮演的不同角色（如产品经理、架构师、工程师、QA 测试员）如何协作完成软件项目。在这个过程中，每个角色都通过调用 LLMs 来执行特定的任务，如设计 API、编写代码、进行代码审查等。这些任务之间的调用关系并非简单的线性流程，而是形成了一张复杂的调用关系图，即有向无环图（DAG）。这种结构不仅揭示了任务之间的依赖关系，也为优化整个工作流程提供了可能。
公共 LLMs 服务性能次优的主要表现
现在大多数 LLMs 应用都依赖于公共的语言模型服务，但这些公共 LLMs 服务提供商只能观察到大量的单独请求，而不了解任何应用级信息。例如，它们不清楚哪些请求属于同一应用，不同请求之间如何连接，或者是否存在任何相似性。这些丢失的应用级信息使得公共 LLMs 服务只能盲目地优化单个请求的性能，从而导致 LLMs 应用在端到端之间产生性能次优的问题。
目前的公共 LLMs 服务中存在三个关键问题：
网络延迟开销。 在 API 的调度中，多个 LLMs 请求之间的依赖性和相互关联容易被忽略。这些 LLMs 请求只能在基于 LLMs 的应用客户端和公共的 LLMs 服务之间交互式执行。其中可能产生网络延迟、排队等额外开销，损害了 LLMs 应用端到端的性能。在多轮对话场景中，每一次交互都需要往返服务器，累积的延迟会显著降低用户体验。
调度目标错位。 LLMs 请求可能存在不同的调度偏好。例如 Map Reduce 模式可以通过批次处理 Map 请求增加任务的吞吐量、减少端到端的延迟，在 Reduce 时则统一针对延迟问题进行优化。然而当前的公共 LLMs 服务难以区分这两种类型任务的差异，只会盲目地优化单个请求的延迟，这就导致了使用过程中的需求错位，不利于端到端的体验。服务端无法感知全局任务状态，导致局部最优而非全局最优。
重复共性需求。 LLMs 请求之间存在高度的共性。流行的 LLMs 应用会使用一个长系统提示，包括任务定义、示例和安全规则，来指导 LLMs 应用的行为。长系统提示通常是静态的，对所有用户都是通用的。但现有的公共 LLMs 服务是将每个请求单独对待，这些常见的前缀提示在每个请求中都被重复提供，导致存储、计算和内存带宽产生巨大的浪费。这造成了显存资源的无效占用和推理计算的重复消耗。
总结来说，以上三类问题基本源于对 LLMs 请求相关性的理解不足。关键信息的缺失使得最新的优化技术难以在现在的服务中得到充分的应用。因此，开发一个能够将 LLMs 请求间的各种关系'传达'到服务后端的方法至关重要。
Parrot：引入语义变量优化性能
基于以上的分析，微软亚洲研究院的研究员们设计了 Parrot 工具，它可以通过简单的抽象语义变量保留大部分应用级信息，从而实现在增加系统复杂性和带来新信息进行优化之间的完美平衡。该论文已被计算机系统领域顶级学术会议 OSDI 2024 收录。
论文：Parrot: Efficient Serving of LLM-based Applications with Semantic Variable
图 2：Parrot 系统概览
语义变量的引入
研究员们首先提出了语义变量（semantic variable）以实现对跨请求的抽象。图 3 是使用 Parrot 前端编写的一个简单的 LLMs 应用：编写一段 Python 代码并撰写测试代码。它包含三个语义变量：task、code 和 test，以及两个语义函数：WritePythonCode 和 WriteTestCode。
图 3：简化的多代理应用示例
语义变量是一个字符串类型的变量，具有填充或未填充两种状态。研究员们在前端中将语义变量设计为 Python 中的变量。再基于 OpenAI 的 API 扩展，利用 Parrot 提供带有语义变量的 API，通过在提示中引入占位符，可以支持以 {{placeholder_name}} 这样的形式将每个占位符绑定一个语义变量，从而实现请求对语义变量的引用。
一个提示中的占位符和其绑定的语义变量可能有输入、输出两种关系：输入表示语义变量为这个占位符提供值；输出表示这个提示对应的请求为这个语义变量生成值。利用占位符和语义变量，Parrot 就能在服务端轻松建立 DAG。
图 4：图 3 中的 DAG 工作流和用于请求间分析和优化的原语
此外，在提示中引入占位符的方式还能够使提示本身变得结构化（structural）。依赖语义变量，Parrot 首先可以构建出请求间的 DAG，再通过分析图上的信息来提取请求间关系的信息。其次，Parrot 能利用语义变量将提示分段，然后对每段分别进行哈希值计算等，以获取请求间在提示结构方面的关系。
