GLM-4.7 基于 vLLM Ascend 的性能提升实战教程
GLM-4.7_vLLM-ascend 项目是一个针对华为 Ascend NPU 优化的高性能大模型推理解决方案，专门为 GLM-4.7 模型在 vLLM 框架下提供极致性能优化。通过 12 项关键优化措施，该项目在 Atlas 800T A2/A3 服务器上实现了显著的推理性能提升。
为什么选择 GLM-4.7_vLLM-ascend？
该项目针对华为 Ascend NPU 硬件特性进行了深度优化，解决了大模型推理中的多个性能瓶颈。基于 vLLM 推理框架，结合 Ascend NPU 的硬件优势，实现了从算子融合到系统调优的全方位优化。
核心优势：
- 极致性能：通过 12 项优化措施，显著提升推理速度
- 硬件适配：专门针对 Ascend NPU 架构优化
- 生产就绪：提供完整的部署脚本和配置
- 易于部署：简化部署流程
12 项核心优化措施详解
1. QKV RMSNorm Partial Rope 融合算子
通过融合 QKV 计算、RMSNorm 和 Partial Rope 操作，减少内存访问和计算开销。替换相关文件后，显著提升注意力机制的计算效率。
2. Mul-Add 融合算子优化
参考 vLLM 社区的 PR 修改代码，实现乘法加法操作的融合，减少算子调用开销。
3. FlashComm1 通信优化
启用 FlashComm1 通信模式，通过设置 export VLLM_ASCEND_ENABLE_FLASHCOMM1=1 环境变量，提升分布式训练中的通信效率。
4. 负载均衡调度
启用平衡调度功能，通过 export VLLM_ASCEND_BALANCE_SCHEDULING=1 优化任务分配，确保各计算单元负载均衡。
5. MoE 大融合算子支持
针对 Mixture of Experts 模型结构，启用大融合算子优化：export VLLM_ASCEND_ENABLE_FUSED_MC2=1
6. 共享专家多流处理
通过配置 multistream_overlap_shared_expert:"true"，实现共享专家的多流并行处理，提升 MoE 模型的推理效率。
7. 共享专家数据并行
启用共享专家的数据并行优化："enable_shared_expert_dp": "true"，进一步提升分布式推理性能。
8. GMMSwigluQuant 融合算子调优
通过配置 "ascend_fusion_config": {"fusion_ops_gmmswigluquant": false}，根据实际场景调整融合策略。
9. FIA 算子 FD 支持
替换算子 SO 文件，为 Fused Infer Attention 算子提供 FD（浮点动态）支持，优化注意力计算性能。
10. W8A8 量化权重优化
使用 msmodelslim 工具对 GLM-4.7 模型进行 W8A8 量化，减少模型大小同时保持精度：
ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 msmodelslim quant --model_path /datadisk/models_weight/GLM-4.7/ --save_path /datadisk/model_quant/GLM-4.7-w8a8-mtp --device npu:0,1,2,3,4,5,6,7 --model_type GLM-4.7 --config_path msmodelslim/lab_practice/glm4_moe/glm4_7_moe-w8a8-v1.yaml --trust_remote_code True
