使用 OpenLLM 构建和部署大模型应用

3.1 Continuous Batching 详解

在大型语言模型推理中，输入强度不同。如果不进行优化，当一个输入完成时，整个过程需等待其他输入，导致 GPU 时间浪费。

Continuous Batching 优化可以在一个推理结束时立即引入下一个推理任务。例如，假设 S3 先完成，S5 立即加入；S1 完成后，S6 立即加入。这确保在每个时间片上都有推理任务运行，最大程度利用 GPU 资源，减少空闲时间。

3.2 Paged Attention 详解

Transformer 框架中存在重复计算，KVcache 用于缓存结果。但内存分配无法准确预估，易产生内存碎片。

Paged Attention 将内存拆分成一个个 block，按 block 分配。任务完成后，block 可被释放供下一个任务使用。通过 block table 存储物理位置和逻辑序号映射，有效减少内存碎片，提高内存使用效率。

4. BentoML 集成与部署

除了模型推理，AI 应用还需考虑数据收集、验证、配置部署指标等问题。BentoML 是一个专注于解决部署后事项的开源 AI 部署框架。

4.1 BentoML 核心特性

• 版本控制：模型像 GitHub 提交一样进行版本控制，便于追踪和回退。
• 可观察性：内置 Metrics、Traces 和 Logs，监测模型性能。
• 容器化：支持将整个机器学习应用打包为标准的 OCI 镜像。
• 分布式部署：支持多种部署目标（如 AWS），支持 Serverless 部署（BentoCloud）。

4.2 Runner 架构

BentoML 的 Runner 将模型封装成远程对象，独立于应用部署。这种设计允许模型独立扩容，GPU 资源专注于模型推理，CPU 资源用于预处理和 IO 操作。

4.3 完整应用示例

以下演示如何使用 LangChain 和 OpenLLM 实现广告词生成功能，并使用 BentoML 部署。

4.3.1 定义输入结构

使用 Pydantic 定义输入验证结构体：

from pydantic import BaseModel

class Query(BaseModel):
    industry: str
    productName: str
    keywords: list[str]

4.3.2 模型切换 Helper

定义辅助函数快速切换模型 ID：

def get_llm_model(model_id: str = 'dolly-v2'):
    # 返回 LangChain 对象
    pass

4.3.3 定义服务接口

通过指定输入输出类型，将函数作为服务接口。启动服务时会生成两个独立服务：API 接口层和 LLM Runner。

@bentoml.api(input=JsonInput(), output=TextOutput())
def generate_ad(query: Query) -> str:
    llm = get_llm_model()
    prompt = f"行业：{query.industry}, 产品：{query.productName}"
    return llm.predict(prompt)

4.3.4 构建与部署

开发及本地测试完成后，使用 BentoML 的 Build 命令制作 Bento 包：

bentoml build

随后可选择：

1. 容器化：打包成镜像，用于后续部署。
2. 推送到 Cloud：自动执行后续部署操作，转化为 Kubernetes 上的容器。

在 BentoCloud 上，可指定扩容方式，分别为 API 指定节点数，或为每个 Runner 指定 GPU 数量。

5. 总结

OpenLLM 是一个开源的大语言模型开发框架，支持多种开源 LLM 模型，具有内建的关键优化技术以优化内存使用。它与 LangChain 和 BentoML 集成良好，能够快速构建和部署大语言模型应用。

通过结合 OpenLLM 的模型管理能力与 BentoML 的工程化部署能力，开发者可以高效地解决 LLM 在生产环境中的部署、监控、扩展及成本优化问题，实现从实验到生产的平滑过渡。