LLM 大模型推理加速方案：vllm、fastllm、llama.cpp 使用指南与总结

LLM 大模型推理加速方案

随着大语言模型（LLM）的广泛应用，推理速度和资源消耗成为关键考量因素。本文详细介绍了几种主流的推理加速框架及本地部署方案，包括 vllm、fastllm、llama.cpp，并补充了 MindSpore 和 OpenVINO 的使用指南，旨在帮助开发者选择合适的推理后端。

vllm

vllm 是一个专为大规模语言模型服务设计的高性能推理引擎，支持连续批处理（Continuous Batching）和 PagedAttention 技术，显著提高了吞吐量。

安装与环境配置

conda create --name vllm python=3.10
conda activate vllm
pip install vllm

代码示例

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

# 加载模型，请替换为实际路径
llm = LLM(model="<model_path>", trust_remote_code=True)

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

建议将 vllm 用在 Triton 引擎中，以进一步利用 GPU 资源优化服务部署。

fastllm

fastllm 是一个轻量级的 C++ 深度学习推理库，专注于量化支持和快速部署，适合对延迟敏感的场景。

编译与安装

git clone https://github.com/ztxz16/fastllm
cd fastllm
mkdir build
cd build
cmake .. -DUSE_CUDA=ON
make -j
cd tools && python setup.py install

pip install tiktoken einops transformers_stream_generator

模型量化

python3 tools/qwen2flm.py qwen-7b-int4.flm int4

运行 Demo

# 命令行聊天程序，支持打字机效果 (只支持 Linux)
./main -p model.flm 
# 简易 webui，使用流式输出 + 动态 batch，可多路并发访问
./webui -p model.flm --port 1234 
# Python 版本的命令行聊天程序
python tools/cli_demo.py -p model.flm 
# Python 版本的简易 webui
streamlit run tools/web_demo.py model.flm

代码集成

from fastllm_pytools import llm

# 模型创建
model = llm.model("model.flm")

# 生成回复
print(model.response("你好"))

# 流式生成回复
for response in model.stream_response("你好"):
    print(response, flush=True, end="")

llama.cpp

llama.cpp 是目前最流行的开源推理项目之一，支持在 CPU 上高效运行量化后的模型，格式为 GGUF。

环境安装和模型量化

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j LLAMA_CUBLAS=1

# 转换 HF 模型为 GGUF
python convert-hf-to-gguf.py <hf_model_path>
# 量化到 4-bit (使用 Q4_K_M 方法)
./quantize <model_f16.gguf> <model_Q4_K_M.gguf> Q4_K_M

相关生态项目

关于 llama.cpp 有两个非常火的 GitHub 项目，分别是 privateGPT 和 ollama。

privateGPT

privateGPT 基于 llama.cpp 实现了私有知识库问答系统，支持 RAG（检索增强生成）。

安装步骤：

git clone https://github.com/imartinez/privateGPT
cd privateGPT

conda create --name privateGPT python=3.11
conda activate privateGPT

curl -sSL https://install.python-poetry.org | python3 -
export PATH=$PATH:$HOME/.local/bin
poetry install --with ui
poetry install --with local
make run

配置文件 settings.yaml：

server:
  env_name: prod
  port: 8001
  cors:
    enabled: false
    allow_origins: ["*"]
  auth:
    enabled: false

data:
  local_data_folder: local_data/private_gpt

ui:
  enabled: true
  default_chat_system_prompt: >
    请根据 instructions 回答问题.

llm:
  mode: local
  max_new_tokens: 512
  context_window: 3900
  tokenizer: <tokenizer_path>

embedding:
  mode: local
  ingest_mode: simple

vectorstore:
  database: qdrant

qdrant:
  path: local_data/private_gpt/qdrant

local:
  prompt_style: "llama2"
  llm_hf_repo_id: Baichuan2-7B-Chat
  llm_hf_model_file: <gguf_model_path>
  embedding_hf_model_name: <embedding_model_path>

初始化脚本：

poetry run python scripts/setup

若遇到知识库提问回答不准确，通常需要修改源代码中的 prompt 逻辑，例如编辑 privateGPT/private_gpt/components/llm/prompt_helper.py 文件。

ollama

Ollama 提供了一个简单的 API 接口来运行本地大模型，便于集成到应用中。

编译与运行：

go generate ./...
go build .

# 运行服务
./ollama serve

# 编辑模型文件
vi Modelfile

Modelfile 内容：

FROM <gguf_model_path>

创建并运行模型：

./ollama create example -f Modelfile
./ollama run example

通过 API 调用：

curl http://localhost:11434/api/chat -d '{
  "model": "example",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

MindSpore

MindSpore 是华为推出的全场景人工智能计算框架，支持 Ascend NPU 硬件加速，适合华为生态内的推理部署。

安装与配置

pip install mindspore

推理示例

import mindspore as ms
from mindspore import nn

# 设置设备
ms.set_context(device_target="Ascend")

# 加载模型
model = nn.Cell()
model.load_weights("<model_path>")

# 执行推理
output = model(input_data)

MindSpore 提供了丰富的算子优化，特别是在昇腾处理器上能发挥最大性能。对于企业级应用，MindSpore 提供了完整的训练到部署流程支持。

OpenVINO

OpenVINO (Open Visual Inference and Neural network Optimization) 是英特尔推出的深度学习推理工具包，用于优化模型在 Intel CPU、GPU 和 VPU 上的运行效率。

安装与优化

pip install openvino-dev

典型流程

导出模型：将 PyTorch/TensorFlow 模型转换为 ONNX 格式。
IR 转换：使用 Model Optimizer 将 ONNX 转换为 Intermediate Representation (IR)。
编译模型：使用 Inference Engine 编译 IR 以适应特定硬件。
推理：加载编译后的模型进行预测。

from openvino.runtime import Core

core = Core()
# 读取模型
compiled_model = core.compile_model(model_xml, "CPU")
# 执行推理
result = compiled_model([input_tensor])

OpenVINO 特别适合在 Intel 架构的服务器上部署，能够显著提升推理速度并降低延迟。

总结

大模型的推理加速方法有很多，不同的场景需要选择不同的后端。以下是各方案的对比与建议：

框架	优势	适用场景
vllm	高吞吐量，PagedAttention，适合服务端并发	高并发 API 服务
fastllm	轻量级，量化支持好，C++ 底层	边缘设备，低延迟需求
llama.cpp	CPU 友好，GGUF 格式通用，社区活跃	个人电脑，无 GPU 环境
privateGPT	内置 RAG，知识库管理	企业私有知识库问答
ollama	部署简单，API 标准	快速原型，本地开发
MindSpore	华为昇腾硬件优化	华为云/昇腾服务器
OpenVINO	Intel 硬件深度优化	Intel CPU/GPU 服务器

优化建议：

准确性优先：聊天的准确性和后端没有太大的关系，主要取决于模型本身和 Prompt 工程。
字符生成速度：虽然后端影响首字延迟（TTFT），但整体生成速度受限于模型参数量。
资源权衡：不建议把太多时间花在后端开发上面，除非有极高的并发需求。应更多关注数据质量、Prompt 优化和垂直领域微调。

值得优化的方向：

提示词工程：优化 System Prompt 以提升回答质量。
知识库构建：建立高质量的向量数据库，提升 RAG 效果。
模型微调：针对特定业务数据进行 SFT（监督微调）。
量化策略：在精度允许范围内选择更低精度的量化（如 INT4/INT8）以减少显存占用。

通过合理选择推理框架并结合上述优化策略，可以显著提升大模型应用的响应速度和用户体验。

LLM 大模型推理加速方案：vllm、fastllm、llama.cpp 使用指南与总结