在昇腾 NPU 上部署 Llama 大模型：全流程实战与踩坑指南

2. 模型下载策略

官方 HuggingFace 仓库 meta-llama/Llama-2-7b-hf 需要权限且国内访问不稳定。建议使用开源镜像版本 NousResearch/Llama-2-7b-hf，无需申请权限且下载稳定。

设置环境变量加速下载：

export HF_ENDPOINT=https://hf-mirror.com

3. 核心加载代码

注意设备转移方式，字典类型的 tokenizer 输入不能直接调用 .npu() 方法：

import torch
import torch_npu
from transformers import AutoModelForCausalLM, AutoTokenizer
import time

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"

print("开始测试...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True
).to(DEVICE)
model.eval()

print(f"显存占用：{torch.npu.memory_allocated()/1e9:.2f} GB")

prompt = "The capital of France is"
inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)  # 正确写法

start = time.time()
outputs = model.generate(**inputs, max_new_tokens=50)
end = time.time()

text = tokenizer.decode(outputs[0])
print(f"生成文本：{text}")
print(f"耗时：{(end-start)*1000:.2f}ms")
print(f"吞吐量：{50/(end-start):.2f} tokens/s")

四、性能测试脚本优化

初次测试常因未预热导致数据虚高。以下是经过优化的完整基准测试脚本，包含变量作用域管理、同步机制及统计功能：

import torch
import torch_npu
import time
import json
from datetime import datetime
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
WARMUP_RUNS = 3
TEST_RUNS = 10
SAVE_RESULT = True

def load_model_and_tokenizer(model_name):
    print(f"正在加载模型 {model_name}...")
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.float16,
        low_cpu_mem_usage=True
    ).to(DEVICE)
    model.eval()
    print(f"模型已加载到{DEVICE}，显存占用：{torch.npu.memory_allocated()/1e9:.2f}GB")
    return model, tokenizer

def benchmark(prompt, tokenizer, model, max_new_tokens=100):
    inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)
    
    # 预热
    print(f"预热中...（{WARMUP_RUNS}次）")
    for _ in range(WARMUP_RUNS):
        with torch.no_grad():
            _ = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    
    # 正式测试
    print(f"开始测试...（{TEST_RUNS}次）")
    latencies = []
    for i in range(TEST_RUNS):
        torch.npu.synchronize()
        start_time = time.time()
        with torch.no_grad():
            outputs = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
        torch.npu.synchronize()
        end_time = time.time()
        latency = end_time - start_time
        latencies.append(latency)
        print(f"第{i+1}次测试：耗时{latency:.2f}秒，速度{max_new_tokens/latency:.2f}tokens/秒")
    
    avg_latency = sum(latencies)/len(latencies)
    throughput = max_new_tokens / avg_latency
    return {
        "prompt": prompt,
        "max_new_tokens": max_new_tokens,
        "平均延迟 (秒)": round(avg_latency, 2),
        "平均吞吐量 (tokens/秒)": round(throughput, 2),
        "显存占用 (GB)": round(torch.npu.memory_allocated()/1e9, 2)
    }

if __name__ == "__main__":
    model, tokenizer = load_model_and_tokenizer(MODEL_NAME)
    test_cases = [
        {"场景": "英文短文本生成", "输入": "The capital of France is", "生成长度": 100},
        {"场景": "中文对话", "输入": "请解释什么是人工智能：", "生成长度": 100},
        {"场景": "代码生成", "输入": "Write a Python function to calculate fibonacci:", "生成长度": 150}
    ]
    results = []
    for case in test_cases:
        print(f"\n===== 测试场景：{case['场景']} =====")
        result = benchmark(
            prompt=case["输入"],
            tokenizer=tokenizer,
            model=model,
            max_new_tokens=case["生成长度"]
        )
        result["场景"] = case["场景"]
        results.append(result)
    
    if SAVE_RESULT:
        timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
        filename = f"llama_benchmark_{timestamp}.json"
        with open(filename, "w", encoding="utf-8") as f:
            json.dump(results, f, ensure_ascii=False, indent=2)
        print(f"\n测试结果已保存到 {filename}")
    
    print("\n===== 测试完成 =====")
    print("性能总结：")
    for res in results:
        print(f"{res['场景']}：{res['平均吞吐量 (tokens/秒)']} tokens/秒")

实测结果显示，在 GitCode 昇腾实例上，Llama-2-7B 的吞吐量约为 16-17 tokens/s，虽低于预期但性能稳定。

[图片]

五、常见问题排查

1. torch.npu 找不到

   • 现象：AttributeError: module 'torch' has no attribute 'npu'
   • 解决：代码开头添加 import torch_npu。

2. tokenizer.npu() 不存在

   • 现象：字典类型对象无 npu() 方法
   • 解决：使用 inputs.to('npu:0')。

3. 模型下载权限限制

   • 现象：访问 meta-llama 被拒绝
   • 解决：改用 NousResearch/Llama-2-7b-hf 镜像版本。

4. 网络超时

   • 现象：下载中断
   • 解决：设置 HF_ENDPOINT 或使用 ModelScope 下载。

六、性能优化建议

若需进一步提升性能，可尝试以下方向：

1. MindIE 框架：昇腾官方大模型框架，针对 NPU 深度优化。
2. INT8 量化：降低精度可减少显存占用并提升速度。

   from transformers import BitsAndBytesConfig
   quantization_config = BitsAndBytesConfig(load_in_8bit=True)
   model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, quantization_config=quantization_config)
   

3. 批处理推理：增加 batch size 可显著提升吞吐量。

七、总结与建议

昇腾 NPU 适合对供应链自主可控有要求的政企项目、预算有限团队及离线批量推理任务。云上测试几十元即可验证方案，性价比优于盲目采购硬件。

关键点回顾：

• 优先选择预装 CANN 和 PyTorch 的镜像。
• 务必显式导入 torch_npu。
• 设备转移使用 .to('npu:0') 而非 .npu()。
• 合理预期性能，关注长期优化空间。