LLM 大模型推理加速方案
随着大语言模型（LLM）的广泛应用，推理速度和资源消耗成为关键考量因素。本文详细介绍了几种主流的推理加速框架及本地部署方案，包括 vllm、fastllm、llama.cpp，并补充了 MindSpore 和 OpenVINO 的使用指南，旨在帮助开发者选择合适的推理后端。
vllm
vllm 是一个专为大规模语言模型服务设计的高性能推理引擎，支持连续批处理（Continuous Batching）和 PagedAttention 技术，显著提高了吞吐量。
安装与环境配置
conda create --name vllm python=3.10
conda activate vllm
pip install vllm
代码示例
from vllm import LLM, SamplingParams
prompts = [
"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
# 加载模型，请替换为实际路径
llm = LLM(model="<model_path>", trust_remote_code=True)
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
建议将 vllm 用在 Triton 引擎中，以进一步利用 GPU 资源优化服务部署。
fastllm
fastllm 是一个轻量级的 C++ 深度学习推理库，专注于量化支持和快速部署，适合对延迟敏感的场景。
编译与安装
git clone https://github.com/ztxz16/fastllm
cd fastllm
mkdir build
cd build
cmake .. -DUSE_CUDA=ON
make -j
cd tools && python setup.py install
pip install tiktoken einops transformers_stream_generator
模型量化
python3 tools/qwen2flm.py qwen-7b-int4.flm int4
