Text Generation Inference (TGI) 是 Hugging Face 推出的用于部署和服务大型语言模型的开源工具。它支持张量并行、连续批处理、多种量化方案及 Flash Attention 优化。 TGI 的核心功能、本地编译安装步骤（基于 Rust）、Docker 部署方式、模型运行参数配置以及性能基准测试方法。通过 TGI，开发者可以实现低延迟的 LLM 推理服务，并根据业务需求调整批处理大小和硬件配置以优化 Token 生成效率。
Text Generation Inference (TGI) 是由 Hugging Face 发布的文本生成推理工具包，专为部署和服务大型语言模型 (LLM) 设计。它实现了多项关键功能以提升推理性能和可扩展性。
兼容 NVIDIA、AMD、Intel GPU、Inferentia 及 Gaudi 等硬件设备。
安装 Rust
sudo apt-get install libssl-dev gcc -y
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env
安装 Protoc
PROTOC_ZIP=protoc-21.12-linux-x86_64.zip
curl -OL https://github.com/protocolbuffers/protobuf/releases/download/v21.12/$PROTOC_ZIP
sudo unzip -o $PROTOC_ZIP -d /usr/local bin/protoc
sudo unzip -o $PROTOC_ZIP -d /usr/local 'include/*'
rm -f $PROTOC_ZIP
编译 TGI
git clone https://github.com/huggingface/text-generation-inference.git
cd text-generation-inference
conda activate llm-plus
BUILD_EXTENSIONS=True make install -j
使用以下命令启动模型服务：
text-generation-launcher --model-id /path/to/model --trust-remote-code --port 4000
若遇到 ExLlama 相关错误，可修改模型配置文件 config.json，设置 "use_exllama": false。
可通过 -h 查看完整参数列表。主要参数包括：
--model-id: 模型路径或 HuggingFace Hub ID。--quantize: 量化类型，可选 awq, eetq, gptq, bitsandbytes 等。--num-shard: 分片数量，用于多卡并行。--max-concurrent-requests: 最大并发请求数。--dtype: 数据类型，如 float16, bfloat16。--cuda-memory-fraction: CUDA 显存占用比例。使用 curl 发送请求：
curl 127.0.0.1:4000/generate \
-X POST \
-d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":20}}' \
-H 'Content-Type: application/json'
推荐使用 Docker 简化依赖管理：
docker run --gpus all -p 4000:80 huggingface/text-generation-inference:latest \
--model-id <MODEL_ID> --port 80
TGI 提供了内置的性能基准测试工具，用于评估不同配置下的推理性能。
安装基准工具
make install-benchmark
启动服务与测试
text-generation-launcher --model-id <MODEL_PATH> --trust-remote-code --port 4000
text-generation-benchmark --tokenizer-name <TOKENIZER_PATH> \
--batch-size 1 --batch-size 2 --batch-size 4 --batch-size 8 \
--batch-size 16 --batch-size 32 --batch-size 64
结果分析
TGI 依赖 vllm、flash attention、gptq 等组件。建议按源码编译安装顺序为：vllm >> gptq >> flash attention。确保系统环境变量正确配置，特别是 CUDA 版本与 PyTorch/Rust 版本的兼容性。
--max-total-tokens 或 --cuda-memory-fraction。--trust-remote-code 已开启，且模型文件完整。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online