在昇腾 NPU 上部署 Llama-2-7B 大模型的完整流程。内容包括通过 GitCode 创建免费 NPU 实例、配置 PyTorch 及 torch_npu 环境、解决 torch.npu 导入及模型下载权限问题。实测显示英文生成、中文对话及代码生成场景吞吐量约为 16-17 tokens/s。文章还总结了常见错误排查方法，并提出了使用 MindSpeed-LLM 框架、INT8 量化及批处理推理等性能优化建议，为国产芯片大模型落地提供参考。
进入 GitCode 控制台创建实例，关键配置如下：
euler2.9-py38-torch2.1.0-cann8.0-openmind0.6-notebook。预装工具包括 PyTorch 2.1.0、CANN 8.0、Python 3.8 及 torch_npu 2.1.0。
cat /etc/os-release
python3 --version
python -c "import torch; print(f'PyTorch 版本：{torch.__version__}')"
python -c "import torch_npu; print(f'torch_npu 版本：{torch_npu.__version__}')"
注意必须先导入 torch_npu 插件：
import torch
import torch_npu
print(torch.npu.is_available()) # 输出 True
手动安装 transformers 库，建议使用清华镜像加速：
pip install transformers accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple
官方 Llama-2 需申请权限且国内访问不稳定。推荐使用开源镜像版本 NousResearch/Llama-2-7b-hf。
设置环境变量加速下载：
export HF_ENDPOINT=https://hf-mirror.com
import torch
import torch_npu
from transformers import AutoModelForCausalLM, AutoTokenizer
import time
MODEL_NAME = "NousResearch/Llama-2-7b-hf"
print("开始测试...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME, torch_dtype=torch.float16, low_cpu_mem_usage=True
)
print("加载到 NPU...")
model = model.npu()
model.eval()
print(f"显存占用：{torch.npu.memory_allocated()/1e9:.2f} GB")
prompt = "The capital of France is"
inputs = tokenizer(prompt, return_tensors="pt")
# 正确写法：使用 to('npu:0') 而非 .npu()
inputs = {k: v.to('npu:0') for k, v in inputs.items()}
start = time.time()
outputs = model.generate(**inputs, max_new_tokens=50)
end = time.time()
text = tokenizer.decode(outputs[0])
print(f"生成文本：{text}")
print(f"耗时：{(end-start)*1000:.2f}ms")
print(f"吞吐量：{50/(end-start):.2f} tokens/s")
包含预热、同步计时及批量统计逻辑：
import torch
import torch_npu
import time
from transformers import AutoModelForCausalLM, AutoTokenizer
DEVICE = "npu:0"
WARMUP_RUNS = 3
TEST_RUNS = 10
MODEL_NAME = "NousResearch/Llama-2-7b-hf"
def load_model_and_tokenizer(model_name):
print(f"正在加载模型 {model_name}...")
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name, torch_dtype=torch.float16, low_cpu_mem_usage=True
).to(DEVICE)
model.eval()
print(f"模型已加载到{DEVICE}，显存占用：{torch.npu.memory_allocated()/1e9:.2f}GB")
return model, tokenizer
def benchmark(prompt, tokenizer, model, max_new_tokens=100):
inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)
# 预热
for _ in range(WARMUP_RUNS):
with torch.no_grad():
_ = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
latencies = []
for i in range(TEST_RUNS):
torch.npu.synchronize()
start_time = time.time()
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False, pad_token_id=tokenizer.eos_token_id)
torch.npu.synchronize()
end_time = time.time()
latency = end_time - start_time
latencies.append(latency)
()
avg_latency = (latencies)/(latencies)
throughput = max_new_tokens / avg_latency
{
: prompt,
: (avg_latency, ),
: (throughput, ),
: (torch.npu.memory_allocated()/, )
}
__name__ == :
model, tokenizer = load_model_and_tokenizer(MODEL_NAME)
test_cases = [
{: , : , : },
{: , : , : },
{: , : , : }
]
results = []
test_cases:
result = benchmark([], tokenizer, model, [])
result[] = []
results.append(result)
()
res results:
()
import torch_npu。.to('npu:0')。NousResearch/Llama-2-7b-hf。HF_ENDPOINT 或使用 ModelScope 镜像。BitsAndBytesConfig。昇腾 NPU 适合对供应链自主可控有要求的政企项目及预算有限的团队。云上测试成本低，生态逐步完善。部署时需注意导入 torch_npu 及设备转移细节，合理预期性能表现。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online