LLM 推理加速框架 Text Generation Inference (TGI) 使用指南

使用以下命令启动模型服务：

text-generation-launcher --model-id /path/to/model --trust-remote-code --port 4000

若遇到 ExLlama 相关错误，可修改模型配置文件 config.json，设置 "use_exllama": false。

常用参数说明

可通过 -h 查看完整参数列表。主要参数包括：

• --model-id: 模型路径或 HuggingFace Hub ID。
• --quantize: 量化类型，可选 awq, eetq, gptq, bitsandbytes 等。
• --num-shard: 分片数量，用于多卡并行。
• --max-concurrent-requests: 最大并发请求数。
• --dtype: 数据类型，如 float16, bfloat16。
• --cuda-memory-fraction: CUDA 显存占用比例。

调用示例

使用 curl 发送请求：

curl 127.0.0.1:4000/generate \
    -X POST \
    -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":20}}' \
    -H 'Content-Type: application/json'

Docker 部署

推荐使用 Docker 简化依赖管理：

docker run --gpus all -p 4000:80 huggingface/text-generation-inference:latest \
  --model-id <MODEL_ID> --port 80

TGI Benchmark

TGI 提供了内置的性能基准测试工具，用于评估不同配置下的推理性能。

运行基准测试

1. 安装基准工具

   make install-benchmark
   

2. 启动服务与测试

   text-generation-launcher --model-id <MODEL_PATH> --trust-remote-code --port 4000
   text-generation-benchmark --tokenizer-name <TOKENIZER_PATH> \
     --batch-size 1 --batch-size 2 --batch-size 4 --batch-size 8 \
     --batch-size 16 --batch-size 32 --batch-size 64
   

3. 结果分析

   • Batch Size: 通过 Tab 键切换不同批大小，观察性能变化。
   • 延迟指标: p50、p90、p99 表示大多数情况下的延迟分布。
   • Token 树: 监控 token 数量和延迟关系。若延迟随 Token 增加显著上升，需寻找拐点以确定最佳配置。
   • 硬件调整: 若 Token 数量不足导致延迟高，可增加显卡；若 Token 过多，可考虑降低硬件配置以节省成本。

注意事项

TGI 依赖 vllm、flash attention、gptq 等组件。建议按源码编译安装顺序为：vllm >> gptq >> flash attention。确保系统环境变量正确配置，特别是 CUDA 版本与 PyTorch/Rust 版本的兼容性。

常见问题

• 显存溢出: 尝试减小 --max-total-tokens 或 --cuda-memory-fraction。
• 连接拒绝: 检查防火墙设置及端口是否被占用。
• 模型加载失败: 确认 --trust-remote-code 已开启，且模型文件完整。