昇腾 NPU 部署 Llama-2-7B 大模型实战与性能测试

四、综合测评脚本

如果想做更全面的性能测试，以下脚本涵盖环境检测、模型加载、多场景推理，大家改改路径就能用：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""昇腾 NPU 部署 Llama-2-7B 的综合测评脚本"""
import time
import mindspore as ms
from mindspore import context
from mindformers import LlamaForCausalLM, LlamaTokenizer, GenerationConfig

# 这里改自己的模型路径就行
MODEL_PATH = "/path/to/你的 llama-7b 权重"
TOKENIZER_PATH = "/path/to/你的 llama 分词器"
DEVICE_ID = 0 # 昇腾 NPU 设备 ID

# 测试场景覆盖日常常用的类型
TEST_PROMPTS = [
    "请介绍人工智能的发展历程",
    "计算 1+2+3+...+100 的结果",
    "用 Python 写一个快速排序的函数"
]

# 生成配置（max_new_tokens 别太大，省显存）
GEN_CONFIG = {"max_new_tokens": 200, "top_k": 50, "temperature": 0.7}

def main():
    # 1. 配置昇腾环境
    context.set_context(mode=context.GRAPH_MODE, device_target="Ascend", device_id=DEVICE_ID)
    
    # 2. 加载模型和分词器（记个时，看加载速度）
    start_load = time.time()
    tokenizer = LlamaTokenizer.from_pretrained(TOKENIZER_PATH)
    model = LlamaForCausalLM.from_pretrained(MODEL_PATH, dtype=ms.float16)
    model.set_train(False)
    model.set_generate_config(GenerationConfig(**GEN_CONFIG))
    print(f"模型加载完成！耗时：{time.time() - start_load:.2f} 秒")
    
    # 3. 先预热几轮（首次推理慢是正常的，预热后速度会上来）
    print("开始预热（消除首次编译开销）...")
    for i in range(5):
        tokenizer(TEST_PROMPTS[i % 3], return_tensors="ms")
    print("预热完成！开始正式测试")
    
    # 4. 多场景测试（每个场景跑 5 次，取平均）
    total_tokens = 0
    total_time = 0.0
    for prompt in TEST_PROMPTS * 5:
        inputs = tokenizer(prompt, return_tensors="ms")
        start_infer = time.time()
        outputs = model.generate(**inputs)
        infer_time = time.time() - start_infer
        
        # 统计生成的 token 数
        gen_token_num = len(tokenizer.encode(tokenizer.decode(outputs[0]))) - len(inputs.input_ids[0])
        total_tokens += gen_token_num
        total_time += infer_time
    
    print(f"\n测试完成！平均生成速度：{total_tokens / total_time:.2f} tokens/秒")

if __name__ == "__main__":
    main()

五、常见问题与解决方案

这部分是实际运行中遇到的问题及解决方案：

5.1 环境配置类问题

5.2 模型加载类问题

5.3 推理运行类问题

六、总结

本次报告将 Llama-2-7B 在昇腾 910B（Atlas 800T A2 训练卡）上从环境到推理的全流程拆成了实操步骤，分享了常见问题的解决办法。昇腾 NPU 跑 Llama-2-7B 已经比较成熟，按此指南基本能稳定跑起来。