Llama-2-7b 昇腾 NPU 部署与性能测评实战

运行前建议将 Hugging Face 模型的下载源临时切换到国内镜像站，例如设置环境变量 export HF_ENDPOINT=https://hf-mirror.com，这样能显著加快模型权重下载速度。

性能基准测试

为了更准确地评估性能，我们编写了一个专门的测评脚本 Test.py。这个脚本涵盖了预热、同步、多批次统计等细节，能消除首次编译开销带来的误差。

测评脚本核心逻辑

脚本中定义了多个测试场景，包括英文短文本、中文对话、代码生成、长文本叙事以及不同 batch_size 的并发测试。核心在于使用 torch.npu.synchronize() 来确保计时准确，避免 NPU 异步执行导致的偏差。

import torch
import torch_npu
import time
import json
import pandas as pd
from datetime import datetime
from transformers import AutoModelForCausalLM, AutoTokenizer

# 全局配置
MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
WARMUP_RUNS = 5
TEST_RUNS = 10
PRECISION = "fp16"

# 加载模型函数
def load_model_and_tokenizer(model_name, precision):
    print(f"===== 开始加载模型 {model_name}（精度：{precision}） =====")
    start_load = time.time()
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    tokenizer.pad_token = tokenizer.eos_token
    
    dtype = torch.float16 if precision == "fp16" else torch.int8
    try:
        model = AutoModelForCausalLM.from_pretrained(
            model_name, torch_dtype=dtype, low_cpu_mem_usage=True
        ).to(DEVICE)
    except Exception as e:
        print(f"INT8 精度加载失败，自动 fallback 到 FP16：{str(e)[:50]}")
        dtype = torch.float16
        model = AutoModelForCausalLM.from_pretrained(
            model_name, torch_dtype=dtype, low_cpu_mem_usage=True
        ).to(DEVICE)
    
    model.eval()
    end_load = time.time()
    load_time = end_load - start_load
    mem_used = torch.npu.memory_allocated() / 1e9
    print(f"模型加载完成：耗时 {load_time:.2f} 秒，显存占用 {mem_used:.2f} GB")
    return model, tokenizer, load_time, mem_used, str(dtype)

# 性能测试核心函数
def benchmark(prompt, tokenizer, model, max_new_tokens, batch_size):
    # 构造批量输入
    batch_inputs = [prompt] * batch_size
    padding_mode = 'do_not_pad' if batch_size == 1 else True
    inputs = tokenizer(
        batch_inputs,
        return_tensors="pt",
        padding=padding_mode,
        truncation=True,
        max_length=512
    ).to(DEVICE)

    # 预热
    print(f"预热中...（{WARMUP_RUNS}次，batch_size={batch_size}）")
    for _ in range(WARMUP_RUNS):
        with torch.no_grad():
            _ = model.generate(
                **inputs, max_new_tokens=max_new_tokens,
                do_sample=False, pad_token_id=tokenizer.eos_token_id,
                eos_token_id=tokenizer.eos_token_id
            )

    # 正式测试
    latencies = []
    print(f"开始正式测试...（{TEST_RUNS}次，生成长度={max_new_tokens}）")
    for i in range(TEST_RUNS):
        torch.npu.synchronize()
        start = time.time()
        with torch.no_grad():
            outputs = model.generate(
                **inputs, max_new_tokens=max_new_tokens,
                do_sample=False, pad_token_id=tokenizer.eos_token_id,
                eos_token_id=tokenizer.eos_token_id
            )
        torch.npu.synchronize()
        end = time.time()
        latency = end - start
        latencies.append(latency)
        print(f" 第{i+1}次：耗时 {latency:.2f} 秒 | 速度 {max_new_tokens/latency:.2f} tokens/秒")

    avg_latency = sum(latencies) / len(latencies)
    std_latency = pd.Series(latencies).std()
    throughput = max_new_tokens / avg_latency
    total_throughput = throughput * batch_size
    mem_peak = torch.npu.max_memory_allocated() / 1e9

    return {
        "平均延迟 (秒)": round(avg_latency, 3),
        "延迟标准差 (秒)": round(std_latency, 3),
        "单请求吞吐量 (tokens/秒)": round(throughput, 2),
        "批量总吞吐量 (tokens/秒)": round(total_throughput, 2),
        "显存峰值 (GB)": round(mem_peak, 2),
        "生成长度": max_new_tokens,
        "batch_size": batch_size
    }

测试结果分析

单请求多场景性能

覆盖短文本、长文本、中英文、代码及多轮对话，单请求吞吐量稳定在 15.6~17.6 tokens/秒。短文本推理效率最高，延迟最低；长文本吞吐量无骤降，较 50 token 仅波动±4.5%。这说明 NPU 对长序列推理支持稳定，无明显性能瓶颈。

批量并发性能

模拟多用户同时请求，当 batch_size 从 1 增至 4 时，总吞吐量增长接近线性（约 3.9 倍），显存可控。batch=4 时总吞吐量达 63.33 tokens/秒，说明 NPU 算力未饱和，适合高并发场景部署。

显存资源消耗

跟踪全流程显存变化，模型加载阶段占用约 13.61 GB，单请求推理阶段略有上升，批量推理阶段（batch=4）峰值约 16.04 GB。这意味着 16GB 显存的 NPU 卡完全可以覆盖'单请求 + batch=4 并发'的需求，硬件选型成本可控。

高并发极限测试

针对更高并发的需求，我们进一步测试了 batch_size 从 1 到 70 的性能表现。通过配置算子融合、显存池等优化项，并开启 KV 缓存，验证了 64GB 显存卡在 60-70 batch 下的稳定性。

结果显示，从 batch=1 到 70，单请求吞吐量稳定在 16 tokens/秒左右，总吞吐量随 batch_size 线性增长，70 batch 时达 1125.87 tokens/秒。平均延迟始终维持在 3.0~3.1 秒区间，增长衰减率整体可控，充分验证了 64GB 卡支撑高并发具备高稳定性和线性增长特性。

性能优化方案

在实际部署中，可以通过以下配置进一步提升性能：

1. NPU 环境配置：启用算子融合，预分配显存池，减少碎片。

   export NPU_FUSION_ENABLE=1
   export ASCEND_GLOBAL_MEM_POOL_SIZE=2147483648
   export NPU_ENABLE_CACHE_OP=1
   

2. 推理逻辑优化：在 generate 时显式开启 KV 缓存，使用 cache_implementation="npu_optimized"，并固定输出长度以减少动态计算开销。
3. 精度选择：FP16 精度显存占用适中，若需进一步降低显存可尝试 INT8 量化，但需验证精度损失情况。

常见问题解决

• 依赖安装失败：遇到 ConnectionTimeout 时，切换阿里云或华为云镜像源，或升级 pip 后重试。
• torch_npu 版本不兼容：确保安装的 torch 与 torch_npu 版本严格匹配，如 torch==2.1.0 搭配 torch_npu==2.1.0.post3。
• ImportError：指定兼容版本安装 transformers 和 accelerate，清理旧版依赖后重新安装。

总结

本次测试表明，Llama-2-7b 在昇腾 NPU 上的适配既稳又能打。单请求下多语言、多任务性能均衡，批量场景更是把算力优势拉满，吞吐量接近线性增长。显存控制方面，16GB 显存即可覆盖大部分生产场景，无需额外堆硬件成本。无论是实时对话还是批量生成，昇腾 NPU 都能提供稳定可靠的性能保障，是国产化大模型落地的性价比之选。