Qwen2.5-7B-Instruct 与 vLLM 离线推理性能分析

一、前言

离线推理能够在模型训练完成后，特别是在处理大规模数据时，利用预先准备好的输入数据进行批量推理，从而显著提高计算效率和响应速度。通过离线推理，可以在不依赖实时计算的情况下，快速生成预测结果，从而优化决策流程和提升用户体验。此外，离线推理还可以降低云计算成本，允许在资源使用高效的时间段进行计算，进一步提高经济效益。

在本篇中，将学习如何使用性能分析工具（Profiler）来评估和优化模型的推理性能。

---

二、术语

2.1. vLLM

vLLM 是一个开源的大模型推理加速框架，通过 PagedAttention 高效地管理 attention 中缓存的张量，实现了比 HuggingFace Transformers 高 14-24 倍的吞吐量。

2.2. Qwen2.5

Qwen2.5 系列模型都在最新的大规模数据集上进行了预训练，该数据集包含多达 18T tokens。相较于 Qwen2，Qwen2.5 获得了显著更多的知识（MMLU：85+），并在编程能力（HumanEval 85+）和数学能力（MATH 80+）方面有了大幅提升。

此外，新模型在指令执行、生成长文本（超过