详细记录了在昇腾 NPU 上部署 Llama-2-7B 大模型的完整流程。内容包括环境配置（选择 NPU 实例、镜像）、依赖安装（transformers）、模型加载与推理脚本编写。重点解决了 torch_npu 导入错误、设备映射方式、模型下载权限及网络超时等常见问题。通过性能测试得出吞吐量约为 16 tokens/s，并提供了 MindSpeed 框架、INT8 量化及批处理推理等优化建议。适合对国产 AI 芯片有自主可控需求的开发者参考。
本文分享了在昇腾 NPU 上部署测试 Llama-2-7B 大模型的全过程，提供踩坑经验。由于硬件成本考量，选择昇腾 NPU 进行自主可控的达芬奇架构测试。
进入云端开发环境控制台，关键配置如下：
进入终端后，执行以下命令检查版本及 NPU 可用性：
# 检查系统版本
cat /etc/os-release
# 检查 Python 版本
python3 --version
# 检查 PyTorch 版本
python -c "import torch; print(f'PyTorch 版本：{torch.__version__}')"
# 检查 torch_npu
python -c "import torch_npu; print(f'torch_npu 版本：{torch_npu.__version__}')"
注意：验证 NPU 可用时必须先导入 torch_npu 插件。
import torch
import torch_npu
print(torch.npu.is_available()) # 输出 True
安装 transformers 和 accelerate 库，建议使用国内镜像加速：
pip install transformers accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple
官方仓库需权限且访问不稳定，建议使用开源镜像版本 NousResearch/Llama-2-7b-hf。
设置环境变量加速下载：
export HF_ENDPOINT=https://hf-mirror.com
import torch
import torch_npu
from transformers import AutoModelForCausalLM, AutoTokenizer
import time
MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
print("开始测试...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
torch_dtype=torch.float16,
low_cpu_mem_usage=True
).to(DEVICE)
model.eval()
prompt = "The capital of France is"
inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)
start = time.time()
outputs = model.generate(**inputs, max_new_tokens=50)
end = time.time()
text = tokenizer.decode(outputs[0])
print(f"生成文本：{text}")
print(f"吞吐量：{50/(end-start):.2f} tokens/s")
注意：输入张量转移设备应使用 .to('npu:0')，而非 .npu()。
包含预热、同步计时及多场景测试（英文生成、中文对话、代码生成）。
import torch
import torch_npu
import time
import json
from datetime import datetime
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_NAME = "NousResearch/Llama-2-7b-hf"
DEVICE = "npu:0"
WARMUP_RUNS = 3
TEST_RUNS = 10
def load_model_and_tokenizer(model_name):
print(f"正在加载模型 {model_name}...")
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16,
low_cpu_mem_usage=True
).to(DEVICE)
model.eval()
print(f"显存占用：{torch.npu.memory_allocated()/1e9:.2f}GB")
return model, tokenizer
def benchmark(prompt, tokenizer, model, max_new_tokens=100):
inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)
for _ in range(WARMUP_RUNS):
with torch.no_grad():
_ = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
latencies = []
for i in range(TEST_RUNS):
torch.npu.synchronize()
start_time = time.time()
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
torch.npu.synchronize()
end_time = time.time()
latency = end_time - start_time
latencies.append(latency)
avg_latency = (latencies) / (latencies)
throughput = max_new_tokens / avg_latency
{
: prompt,
: (avg_latency, ),
: (throughput, ),
: (torch.npu.memory_allocated()/, )
}
__name__ == :
model, tokenizer = load_model_and_tokenizer(MODEL_NAME)
test_cases = [
{: , : , : },
{: , : , : },
{: , : , : }
]
results = []
test_cases:
result = benchmark([], tokenizer, model, [])
result[] = []
results.append(result)
()
实测吞吐量约为 16-17 tokens/s，性能稳定。
import torch_npu。.to('npu:0') 转移数据。HF_ENDPOINT 或使用 ModelScope 镜像。昇腾 NPU 适合对供应链自主可控有要求的政企项目或预算有限的团队。云上测试成本低，流程相对成熟，但需注意环境配置细节。性能虽略低于顶级 NVIDIA GPU，但在特定场景下性价比突出。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online