昇腾 NPU 运行 Llama 模型：环境搭建与性能测试

代码示例：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import torch
import torch_npu
from transformers import AutoModelForCausalLM, AutoTokenizer
import time

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
print(f"下载模型：{MODEL_NAME}")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True
)
print("加载到 NPU...")
model = model.to('npu:0')
model.eval()
print(f"显存占用：{torch.npu.memory_allocated()/1e9:.2f} GB")

prompt = "The capital of France is"
inputs = tokenizer(prompt, return_tensors="pt")
inputs = {k: v.to('npu:0') for k, v in inputs.items()}

start = time.time()
outputs = model.generate(**inputs, max_new_tokens=50)
end = time.time()
text = tokenizer.decode(outputs[0])
print(f"\n生成文本：{text}")
print(f"耗时：{(end-start)*1000:.2f}ms")
print(f"吞吐量：{50/(end-start):.2f} tokens/s")

注意：若系统线程资源不足，可设置环境变量限制线程数：

export OMP_NUM_THREADS=4

2.2 基础推理测试

简化后的推理脚本结构如下：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import torch
import torch_npu
import time
import os
from transformers import AutoModelForCausalLM, AutoTokenizer

def main():
    print("开始昇腾 NPU 基础推理测试...")
    os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
    os.environ['HF_HUB_DISABLE_TELEMETRY'] = '1'

    if not torch.npu.is_available():
        print("NPU 不可用，请检查 NPU 配置")
        return

    try:
        model_name = "microsoft/DialoGPT-small"
        tokenizer = AutoTokenizer.from_pretrained(model_name)
        model = AutoModelForCausalLM.from_pretrained(
            model_name,
            torch_dtype=torch.float16,
            low_cpu_mem_usage=True
        )
        device = "npu:0"
        model = model.to(device)
        model.eval()
        print("模型已迁移到 NPU")
    except Exception as e:
        print(f"模型加载失败：{e}")
        return

    prompt = "The capital of France is"
    inputs = tokenizer(prompt, return_tensors="pt").to(device)
    start_time = time.time()
    with torch.no_grad():
        outputs = model.generate(**inputs, max_new_tokens=20, do_sample=True, temperature=0.7, pad_token_id=tokenizer.eos_token_id)
    end_time = time.time()
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    generation_time = end_time - start_time
    tokens_generated = len(outputs[0]) - len(inputs['input_ids'][0])

    print(f"生成文本：{generated_text}")
    print(f"推理耗时：{generation_time:.2f}秒")
    print(f"生成速度：{tokens_generated / generation_time:.2f} tokens/s")

if __name__ == "__main__":
    main()

三、性能基准测试

3.1 多场景性能测试

设计了三个代表性测试场景：短文本生成、长文本生成、批处理测试。

场景 1：短文本生成测试

测试日常对话和简单问答场景下的响应速度。代码逻辑参考基础推理测试，循环多个 Prompt 并记录平均速度。

场景 2：长文本生成测试

模拟文档写作场景，测试模型在处理复杂任务时的稳定性。设置 max_new_tokens=100，观察生成内容的连贯性。

场景 3：代码生成测试

模拟辅助编程场景，测试 Python、JavaScript 等代码生成质量。设置较低温度 (temperature=0.3) 以确保代码准确性。

3.2 性能基准数据汇总

基于以上测试，得到以下性能基准数据：

从测试结果来看，昇腾 NPU 在不同负载下均能保持稳定的显存占用和合理的生成速度。

四、实际应用场景深度体验

4.1 智能问答系统

构建基于模型的问答应用，输入问题并获取回答。重点测试多轮对话的上下文理解能力及响应延迟。

4.2 创意写作助手

利用模型的高温度参数 (temperature=0.9) 激发创造性内容，适用于故事创作、诗歌生成等场景。

五、常见问题与解决方案

5.1 环境配置问题

• 问题 1：torch.npu找不到
  • 解决：确保导入顺序正确，先 import torch 再 import torch_npu。
• 问题 2：tokenizer.npu()方法不存在
  • 解决：使用 .to('npu:0') 转移张量。

5.2 模型加载问题

• 问题 3：模型下载权限问题
  • 解决：使用开源社区镜像版本，如 NousResearch/Llama-2-7b-hf。
• 问题 4：依赖库版本冲突
  • 解决：卸载冲突库 mindformers，重新安装 transformers 和 accelerate。

5.3 性能优化问题

• 问题 5：显存不足
  • 解决：使用半精度浮点数 (torch.float16)，清理显存 torch.npu.empty_cache()。
• 问题 6：生成速度过慢
  • 解决：调整生成参数，关闭采样 (do_sample=False)，减少 beam search 开销。

六、实践建议

6.1 环境配置最佳实践

1. 确保 PyTorch、torch_npu、CANN 版本兼容。
2. 使用虚拟环境隔离项目依赖。
3. 优先使用国内镜像源。

6.2 模型部署最佳实践

1. 合理使用 FP16 精度控制显存。
2. 尽可能使用批处理提高吞吐量。
3. 实现模型缓存机制避免重复加载。

6.3 性能调优最佳实践

1. 根据场景调整生成参数。
2. 正式推理前进行模型预热。
3. 建立性能监控和日志记录机制。

总结

通过本次测评，昇腾 NPU 能够支持 Llama 等大型语言模型的部署和运行。在大多数应用场景下性能表现良好，系统运行稳定，开发环境配置相对简单。昇腾 NPU 在企业级应用、教育科研及国产化替代场景中具有广阔前景。

参考资料

• 昇腾 NPU 官方文档
• Hugging Face Transformers 库
• Llama 模型官方仓库