Llama-2-7b 昇腾 NPU 测评总结：核心性能数据与硬件选型参考

2. 切换 Hugging Face 下载源

export HF_ENDPOINT=https://hf-mirror.com

Llama-2-7B 在昇腾 NPU 上的性能基准测试

前提准备：测评脚本编写

编写测评脚本 Test.py，覆盖多种场景（英文短文本、中文对话、代码生成、批量推理等）。

import torch
import torch_npu
import time
import json
import pandas as pd
from datetime import datetime
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
WARMUP_RUNS = 5
TEST_RUNS = 10
PRECISION = "fp16"

# ... (省略部分辅助函数，保留核心逻辑)

def benchmark(prompt, tokenizer, model, max_new_tokens, batch_size):
    # 构造批量输入
    batch_inputs = [prompt] * batch_size
    inputs = tokenizer(batch_inputs, return_tensors="pt", padding=True, truncation=True, max_length=512).to(DEVICE)
    
    # 预热
    for _ in range(WARMUP_RUNS):
        with torch.no_grad():
            _ = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    
    # 正式测试
    latencies = []
    for i in range(TEST_RUNS):
        torch.npu.synchronize()
        start = time.time()
        with torch.no_grad():
            outputs = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
        torch.npu.synchronize()
        end = time.time()
        latency = end - start
        latencies.append(latency)
    
    avg_latency = sum(latencies) / len(latencies)
    throughput = max_new_tokens / avg_latency
    total_throughput = throughput * batch_size
    mem_peak = torch.npu.max_memory_allocated() / 1e9
    
    return {
        "平均延迟 (秒)": round(avg_latency, 3),
        "单请求吞吐量 (tokens/秒)": round(throughput, 2),
        "批量总吞吐量 (tokens/秒)": round(total_throughput, 2),
        "显存峰值 (GB)": round(mem_peak, 2)
    }

基础能力测评

核心性能测评

单请求多场景性能测评

单请求吞吐量稳定在 15.6~17.6 tokens/秒。

批量并发性能测评

模拟多用户同时请求，batch_size 从 1 增至 4 时，总吞吐量增长近 4 倍。

显存资源消耗测评

模型加载阶段显存占用 13.61 GB，批量推理阶段（batch=4）峰值 16.04 GB。16GB 显存可覆盖全流程。

高并发线性增长极限测试

配置 NPU 算子融合、显存池等优化项，对 1~70 的 batch_size 完成测试。核心结论如下：

• 线性增长上限：batch_size=50 时，增长衰减率仅约 5%，仍接近理想线性。
• 高效并发点：batch_size=60 时，总吞吐量约 900 tokens/s，为 64GB 卡最优选择。
• 极限并发：batch_size=70 时，总吞吐量约 1125 tokens/s，显存峰值未超 64GB。

性能优化方案

NPU 环境配置

export NPU_FUSION_ENABLE=1
export ASCEND_GLOBAL_MEM_POOL_SIZE=2147483648
export NPU_ENABLE_CACHE_OP=1

推理逻辑优化

修改原有 llama.py 推理逻辑，补充 pad_token，开启 KV 缓存 (use_cache=True)，使用 cache_implementation="npu_optimized"。

常见问题及解决方案

国内镜像源安装依赖失败

切换多源镜像兜底，如阿里云或清华源。

pip install transformers accelerate -i https://mirrors.aliyun.com/pypi/simple/

torch_npu 版本不兼容

严格匹配版本安装。

pip install torch==2.1.0 torch_npu==2.1.0.post3

依赖包版本冲突

指定兼容版本安装适配 Llama-2 NPU 环境。

pip install transformers==4.39.2 accelerate==0.28.0

总结

针对 Llama-2-7b 国产化部署的实际需求，昇腾 NPU 通过关键性能与资源优势提供高效支撑：16GB 显存即可覆盖模型加载到 batch=4 并发的全流程，单请求吞吐量 15.6-17.6 tokens/秒、批量总吞吐量达 63.33 tokens/秒（近线性增长），同时兼具低延迟波动、全场景适配及可复现部署方案，既降低硬件选型成本，又为国产算力下大模型落地提供稳定可靠的性能保障。

参考资料：

• 昇腾官网：https://www.hiascend.com/
• 昇腾社区：https://www.hiascend.com/community
• 昇腾官方文档：https://www.hiascend.com/document