TensorRT-LLM 大模型推理加速实战指南

3.2 运行引擎

构建完成后，可直接运行测试：

python3 ../run.py --input_text "你好，请问你叫什么？" \
                  --max_output_len=50 \
                  --tokenizer_dir /home/chuan/models/qwen/Qwen-7B-Chat-Int4 \
                  --engine_dir=/home/chuan/models/qwen/Qwen-7B-Chat-Int4/trt_engines/int4-gptq/1-gpu

4. 在 Triton 上部署

在 tensorrtllm_backend 仓库中，all_models/inflight_batcher_llm/ 目录保存了模型执行过程不同部分的工件。该流程通常包含四个子文件夹：

1. preprocessing: tokenizer 模型，将文本（prompt）转换为 token（input_ids）。
2. postprocessing: tokenizer 模型，将模型的 output 转换为文本。
3. tensorrt_llm: 转换后的 TensorRT-LLM 模型核心。
4. ensemble: 整体流程，串联 preprocessing、tensorrt_llm、postprocessing。

4.1 配置文件编写

4.1.1 TensorRT-LLM 配置

复制上一步生成的模型到指定目录：

cp /home/chuan/models/qwen/Qwen-7B-Chat-Int4/trt_engines/int4-gptq/1-gpu/* /home/chuan/github/tensorrtllm_backend/all_models/inflight_batcher_llm/tensorrt_llm/1

修改 config.pbtxt，关键参数包括：

• gpt_model_type: 必选，inflight_fused_batching 支持连续批处理。
• batch_scheduler_policy: 请求批处理策略。
• decoupled: 可选，是否开启流式传输。

使用脚本填充模板：

python3 tools/fill_template.py --in_place \
      all_models/inflight_batcher_llm/tensorrt_llm/config.pbtxt \
      decoupled_mode:true,engine_dir:/all_models/inflight_batcher_llm/tensorrt_llm/1,\
gpt_model_type:inflight_fused_batching

4.1.2 Preprocessing 与 Postprocessing

这两个模块配置类似，主要指定 tokenizer 类型和路径。

python tools/fill_template.py --in_place \
    all_models/inflight_batcher_llm/preprocessing/config.pbtxt \
    tokenizer_type:auto,tokenizer_dir:/all_models/inflight_batcher_llm/tensorrt_llm/1

4.2 启动服务

重新编译模型并启动 Triton Server：

python3 build.py --hf_model_dir /home/chuan/models/qwen/Qwen-7B-Chat-Int4 \
                --quant_ckpt_path /home/chuan/models/qwen/Qwen-7B-Chat-Int4 \
                --dtype float16 \
                --remove_input_padding \
                --use_gpt_attention_plugin float16 \
                --enable_context_fmha \
                --use_gemm_plugin float16 \
                --use_weight_only \
                --weight_only_precision int4_gptq \
                --per_group \
                --world_size 1 \
                --tp_size 1 \
                --output_dir /home/chuan/models/qwen/Qwen-7B-Chat-Int4/trt_engines/int4-gptq/1-gpu \
                --use_inflight_batching \
                --paged_kv_cache

启动 Docker 容器：

docker run -it --gpus all --network host --shm-size=2g \
-v /home/chuan/github/tensorrtllm_backend:/opt/tensorrtllm_backend \
-v /home/chuan/github/TensorRT-LLM:/opt/TensorRT-LLM \
-p 8000:8000 \
triton_trt_llm

安装依赖：

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install sentencepiece protobuf

启动服务器：

python3 /opt/tensorrtllm_backend/scripts/launch_triton_server.py --model_repo /opt/tensorrtllm_backend/all_models/inflight_batcher_llm --world_size 1

4.3 本地访问测试

使用 curl 发送 POST 请求进行测试：

curl -X POST localhost:8000/v2/models/generate \
-H "Content-Type: application/json" \
-d '{"text_input": "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n你好，你叫什么？<|im_end|>\n<|im_start|>assistant\n", "max_tokens": 50}'

(注：实际请求格式需根据具体接口定义调整)

5. 常见问题与优化

5.1 Qwen 模型特殊处理

Qwen 模型可能需要单独安装的包，例如 tiktoken：

pip install tiktoken

此外，Qwen 模型对 Batch Size 有特定要求，需在 tensorrt_llm/config.pbtxt 中制定：

max_batch_size: 2

构建模型时，必须添加以下两个参数以支持连续批处理和分页 KV 缓存：

--use_inflight_batching
--paged_kv_cache

如果原本代码是为 Llama Token 设计的，而当前模型是 Qwen，则需要修改 preprocessing/model.py 和 postprocessing/model.py 中的逻辑以适配不同的 tokenizer 行为。

5.2 网络代理设置

如果遇到 Docker 拉取镜像失败，可配置 Docker 代理。 编辑 ~/.docker/config.json：

{
 "proxies": {
   "default": {
     "httpProxy": "http://172.17.0.1:3128",
     "httpsProxy": "https://172.17.0.1:3129",
     "noProxy": "*.test.example.com,.example.org,127.0.0.0/8"
   }
 }
}

或者通过 systemd 配置：

sudo mkdir -p /etc/systemd/system/docker.service.d
sudo vi /etc/systemd/system/docker.service.d/http-proxy.conf

内容如下：

[Service]
Environment="HTTP_PROXY=http://172.17.0.1:3128"
Environment="HTTPS_PROXY=https://172.17.0.1:3129"
Environment="NO_PROXY=localhost,127.0.0.1,docker-registry.example.com,.corp"

重启 Docker 服务：

sudo systemctl daemon-reload
sudo systemctl restart docker

6. 总结

TensorRT-LLM 配合 Triton Inference Server 为 LLM 推理提供了企业级的高性能解决方案。通过上述步骤，可以实现从模型转换、引擎构建到服务部署的全流程。在实际应用中，需注意模型兼容性、显存管理以及网络配置等问题。对于特定模型（如 Qwen），需针对性调整预处理和后处理逻辑，以确保推理效果稳定。

7. 性能优化策略

7.1 量化技术

使用 INT4 或 FP8 量化可以显著减少显存占用并提升推理速度。TensorRT-LLM 支持多种量化方案，如 GPTQ 和 AWQ。选择量化方案时需权衡精度损失与性能收益。

7.2 连续批处理 (Inflight Batching)

传统的批处理需要等待所有请求完成才能开始下一批，而 Inflight Batching 允许在生成过程中动态插入新请求，提高 GPU 利用率。这要求模型引擎支持 --use_inflight_batching 参数。

7.3 分页 KV 缓存 (Paged KV Cache)

Paged KV Cache 解决了传统 KV Cache 内存碎片问题，允许更灵活的序列长度管理。这对于长文本生成场景尤为重要，能有效避免 OOM 错误。

7.4 多卡并行

对于超大模型，单卡显存不足时可使用多卡并行。通过设置 --world_size 和 --tp_size 参数，可以将模型切分到多个 GPU 上协同工作。