昇腾 NPU 部署 Llama 2 实战：环境配置、性能测试与优化指南

2.1 依赖安装与模型下载

安装必要的库，建议使用国内镜像加速：

pip install transformers accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：直接访问 Meta 官方仓库需要权限且国内速度慢。建议使用社区镜像版本，如 NousResearch/Llama-2-7b-hf，无需权限且下载稳定。

2.2 核心部署代码

创建 Python 脚本（如 llama_demo.py），以下是核心逻辑及注意事项：

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

import torch
import torch_npu  # 切记！必须在任何 NPU 操作之前导入
from transformers import AutoModelForCausalLM, AutoTokenizer
import time

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"

print("开始加载模型...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,  # 使用 FP16 节省显存
    low_cpu_mem_usage=True
)

print("将模型移至 NPU...")
model = model.to(DEVICE)
model.eval()

# 推理
prompt = "The capital of France is"
inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)

with torch.no_grad():
    start_time = time.time()
    outputs = model.generate(**inputs, max_new_tokens=50)
    end_time = time.time()
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(f"生成内容：{generated_text}")
print(f"推理耗时：{end_time - start_time:.2f} 秒")

关键点总结：

1. 环境变量 HF_ENDPOINT 用于指定国内镜像源，避免超时。
2. import torch_npu 必须在调用 NPU 相关功能前执行。
3. 模型迁移使用 model.to('npu:0')。
4. 输入张量迁移使用 .to('npu:0')，而非不存在的 .npu() 方法。

三、性能测试

为了评估真实性能，设计了一个包含预热和多次测试的基准脚本。

3.1 性能测试脚本

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
import torch
import torch_npu
import time
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
WARMUP_RUNS = 3
TEST_RUNS = 5

def load_model():
    print("加载模型与分词器...")
    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
    model = AutoModelForCausalLM.from_pretrained(
        MODEL_NAME,
        torch_dtype=torch.float16,
        low_cpu_mem_usage=True
    ).to(DEVICE)
    model.eval()
    return model, tokenizer

def benchmark(prompt, model, tokenizer, max_new_tokens=100):
    inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)
    
    # 预热
    for _ in range(WARMUP_RUNS):
        with torch.no_grad():
            _ = model.generate(**inputs, max_new_tokens=max_new_tokens)
    
    # 正式测试
    latencies = []
    for i in range(TEST_RUNS):
        torch.npu.synchronize()  # 同步，确保计时准确
        start = time.time()
        with torch.no_grad():
            _ = model.generate(**inputs, max_new_tokens=max_new_tokens)
        torch.npu.synchronize()
        end = time.time()
        latency = end - start
        latencies.append(latency)
        print(f"第{i+1}次耗时：{latency:.2f}s")
    
    avg_latency = sum(latencies) / len(latencies)
    throughput = max_new_tokens / avg_latency
    return throughput, avg_latency

if __name__ == "__main__":
    model, tokenizer = load_model()
    test_cases = [
        {"场景": "英文生成", "提示": "The future of artificial intelligence is", "长度": 100},
        {"场景": "中文问答", "提示": "请用简单的话解释量子计算：", "长度": 100},
        {"场景": "代码生成", "提示": "Write a Python function to reverse a string:", "长度": 150},
    ]
    
    print("\n" + "="*50)
    print("性能测试结果")
    print("="*50)
    for case in test_cases:
        throughput, avg_latency = benchmark(case["提示"], model, tokenizer, case["长度"])
        print(f"- {case['场景']}:")
        print(f"  平均延迟：{avg_latency:.2f}s")
        print(f"  吞吐量：{throughput:.2f} tokens/s")
    print("="*50)

3.2 测试结果与分析

在 Ascend 910B 实例上的实测数据如下：

分析：

• 性能表现：吞吐量稳定在 20-30 tokens/秒左右。对于离线批处理、内部工具开发及对实时性要求不高的场景足够使用。
• 稳定性：测试过程中 NPU 表现稳定，无崩溃或大幅波动。
• 结论：昇腾 NPU 为运行 Llama 2 提供了可行、稳定且具有性价比的算力选项。

四、性能优化

若对默认性能不满意，可尝试以下优化方向。

4.1 使用原生框架与量化

针对模型量化，昇腾平台提供了专业工具链。在训练或微调环节，可使用 MindSpeed-LLM 框架进行深度优化。完成开发后，进行模型压缩与部署时，可使用 Modelslim 工具进行量化。

该工具能有效降低模型精度（如从 FP16/BF16 量化至 INT8），显著提升推理速度并减少内存占用。根据公开基准测试，经过 Modelslim 量化后的模型，相比原生 PyTorch FP16 推理，通常可获得 1.5 倍至 3 倍的端到端性能提升。

4.2 INT8 量化实战

在 FP16 基线基础上，使用 W8A8（权重与激活值均 INT8）量化模型。量化后仅修改模型路径，重新执行测试脚本。

from transformers import BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    quantization_config=quantization_config,
    device_map="auto"
)

量化后性能对比：

4.3 启用批处理

同时处理多个请求可大幅提升吞吐量。

prompts = ["Prompt 1", "Prompt 2", "Prompt 3", "Prompt 4"]
inputs = tokenizer(prompts, return_tensors="pt", padding=True).to(DEVICE)
outputs = model.generate(**inputs, max_new_tokens=100)

总结与建议

本次实战验证了基于昇腾 NPU 部署和运行 Llama 2 大模型的可行性。

• 适用场景：适合追求技术自主可控、预算有限、进行离线批处理或构建内部 AI 工具的团队。
• 生态体验：软件栈（CANN, torch_npu）日趋成熟，开源社区资源日益丰富。
• 建议：
  1. 先从云资源开始验证方案，再决定是否投入硬件。
  2. 仔细阅读官方文档，特别是版本匹配问题。
  3. 遇到问题时，优先在社区搜索解决方案。

虽然绝对性能并非顶尖，但其在成本、自主可控和稳定性方面的优势，使其在 AI 算力多元化的今天成为一个不容忽视的选择。