Llama-2-7B 在昇腾 NPU 上的性能测评与部署方案

性能基准测试

为了更准确地评估性能，我们编写了专门的测评脚本 Test.py，覆盖多种场景并统计吞吐量和延迟。

测评脚本逻辑

脚本包含预热机制以消除算子编译开销，并记录显存峰值。针对批量推理，需正确处理 padding 逻辑。

import torch
import torch_npu
import time
import json
import pandas as pd
from datetime import datetime
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
WARMUP_RUNS = 5
TEST_RUNS = 10
PRECISION = "fp16"

def load_model_and_tokenizer(model_name, precision):
    print(f"===== 开始加载模型 {model_name}（精度：{precision}） =====")
    start_load = time.time()
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    dtype = torch.float16 if precision == "fp16" else torch.int8
    try:
        model = AutoModelForCausalLM.from_pretrained(
            model_name, torch_dtype=dtype, low_cpu_mem_usage=True
        ).to(DEVICE)
    except Exception as e:
        print(f"INT8 精度加载失败，自动 fallback 到 FP16：{str(e)[:50]}")
        dtype = torch.float16
        model = AutoModelForCausalLM.from_pretrained(
            model_name, torch_dtype=dtype, low_cpu_mem_usage=True
        ).to(DEVICE)
    model.eval()
    end_load = time.time()
    load_time = end_load - start_load
    mem_used = torch.npu.memory_allocated() / 1e9
    print(f"模型加载完成：耗时 {load_time:.2f} 秒，显存占用 {mem_used:.2f} GB")
    return model, tokenizer, load_time, mem_used, str(dtype)

def benchmark(prompt, tokenizer, model, max_new_tokens, batch_size):
    # 构造批量输入，处理 padding
    batch_inputs = [prompt] * batch_size
    inputs = tokenizer(
        batch_inputs,
        return_tensors="pt",
        padding=True,
        truncation=True,
        max_length=512
    ).to(DEVICE)

    # 预热
    print(f"预热中...（{WARMUP_RUNS}次，batch_size={batch_size}）")
    for _ in range(WARMUP_RUNS):
        with torch.no_grad():
            _ = model.generate(
                **inputs, max_new_tokens=max_new_tokens,
                do_sample=False, pad_token_id=tokenizer.eos_token_id,
                eos_token_id=tokenizer.eos_token_id
            )

    # 正式测试
    latencies = []
    print(f"开始正式测试...（{TEST_RUNS}次，生成长度={max_new_tokens}）")
    for i in range(TEST_RUNS):
        torch.npu.synchronize()
        start = time.time()
        with torch.no_grad():
            outputs = model.generate(
                **inputs, max_new_tokens=max_new_tokens,
                do_sample=False, pad_token_id=tokenizer.eos_token_id,
                eos_token_id=tokenizer.eos_token_id
            )
        torch.npu.synchronize()
        end = time.time()
        latency = end - start
        latencies.append(latency)
        print(f" 第{i+1}次：耗时 {latency:.2f} 秒 | 速度 {max_new_tokens/latency:.2f} tokens/秒")

    avg_latency = sum(latencies) / len(latencies)
    std_latency = pd.Series(latencies).std()
    throughput = max_new_tokens / avg_latency
    total_throughput = throughput * batch_size
    mem_peak = torch.npu.max_memory_allocated() / 1e9

    return {
        "平均延迟 (秒)": round(avg_latency, 3),
        "延迟标准差 (秒)": round(std_latency, 3),
        "单请求吞吐量 (tokens/秒)": round(throughput, 2),
        "批量总吞吐量 (tokens/秒)": round(total_throughput, 2),
        "显存峰值 (GB)": round(mem_peak, 2),
        "生成长度": max_new_tokens,
        "batch_size": batch_size
    }

测试结果分析

单请求多场景性能

覆盖短/长文本、中英文、代码、多轮对话等场景。单请求吞吐量稳定在 15.6~17.6 tokens/秒。

结论：单请求场景下，模型对不同任务类型的适配性优异，无明显性能瓶颈。

批量并发性能

模拟多用户同时请求，batch_size 从 1 增至 4 时，总吞吐量增长约 3.9 倍，显存可控。

结论：昇腾 NPU 对批量推理优化充分，适合高并发场景。

高并发线性增长极限测试

在 64GB 显存环境下，进一步测试 batch_size 至 70 的性能表现。结果显示，单请求吞吐量稳定在 16 tokens/秒左右，总吞吐量随 batch_size 线性增长。batch=70 时总吞吐量达 1125.87 tokens/秒，是单请求的 68.73 倍；平均延迟维持在 3.0~3.1 秒区间，显存峰值仅增至 17.68GB。这表明 64GB 卡支撑 60-70 batch_size 具备高稳定性和线性增长特性。

性能优化方案

1. NPU 环境配置

通过环境变量启用算子融合、预分配显存池，减少碎片和开销。

export NPU_FUSION_ENABLE=1
export NPU_ENABLE_HBM_BOUNDS_CHECK=0
export ASCEND_GLOBAL_MEM_POOL_SIZE=2147483648
export ASCEND_CACHE_CLEAR_INTERVAL=100
export NPU_PRINT_TENSOR_SIZE=0

2. 推理逻辑优化

修改原有推理脚本，补充 pad_token 配置，显式开启 KV 缓存并使用 NPU 定制缓存实现。

# 补充 pad_token
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

# 开启 KV 缓存
outputs = model.generate(
    **inputs, max_new_tokens=50,
    use_cache=True,
    cache_implementation="npu_optimized",
    do_sample=False,
    num_beams=1,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id
)

集成优化配置后，各类生成场景下的吞吐量均有明显增长，显存占用降低，延迟稳定性大幅改善。

常见问题与解决方案

1. 国内镜像源安装依赖失败

现象：执行 pip install 时报 ConnectionTimeout 或 404 错误。

解决：切换多源镜像兜底，或升级 pip 后重试。

pip install transformers accelerate \
  -i https://repo.huaweicloud.com/repository/pypi/simple \
  --trusted-host repo.huaweicloud.com

2. torch_npu 版本不兼容

现象：导入 torch_npu 时报 AttributeError。

解决：严格匹配版本安装。

pip install torch==2.1.0 torch_npu==2.1.0.post3 \
  -i https://mirror.sjtu.edu.cn/pypi/web/simple \
  --trusted-host mirror.sjtu.edu.cn

3. 依赖包版本冲突

现象：ImportError: cannot import name 'AutoModelForCausalLM'。

解决：指定兼容版本安装适配 Llama-2 NPU 环境。

pip install transformers==4.39.2 accelerate==0.28.0 \
  -i https://pypi.tuna.tsinghua.edu.cn/simple \
  --trusted-host pypi.tuna.tsinghua.edu.cn

总结

针对 Llama-2-7B 国产化部署的实际需求，昇腾 NPU 提供了高效支撑：

• 显存资源：16GB 显存即可覆盖模型加载到 batch=4 并发的全流程。
• 性能表现：单请求吞吐量 15.6-17.6 tokens/秒，批量总吞吐量达 63.33 tokens/秒（近线性增长）。
• 稳定性：低延迟波动（≤0.22 秒标准差），全场景适配（中英文、文本/代码/对话）。
• 部署建议：实时场景推荐 batch=1，批量生成场景推荐 batch=4 或更高，配合算子融合优化。

该方案既降低了硬件选型成本，又为国产算力下大模型落地提供了稳定可靠的性能保障。如需更多技术细节，可参考昇腾官方文档。