基于昇腾 NPU 部署 Mistral-7B-Instruct-v0.2 模型的技术实践

huggingface-cli download mistralai/Mistral-7B-Instruct-v0.2 \
  --local-dir ./models/Mistral-7B-Instruct-v0.2 \
  --local-dir-use-symlinks False

• 下载 16 个文件（权重分片 + 配置 + tokenizer）
• Safetensors 分片约 13–14 GB，5 分钟内完成，支持断点续传
• 稳定性优于 from_pretrained() 在线加载

3.3 推理代码

benchmark_mistral_npu.py 对 Mistral-7B-Instruct-v0.2 进行基准测试。

核心步骤：

1. 环境准备：导入 torch_npu 注册 NPU 设备
2. 模型加载：使用 AutoModelForCausalLM 加载本地模型，指定 FP16 精度节省显存（约 14 GB）
3. 设备分配：通过 device_map="npu:0" 自动将模型迁移至 NPU
4. 推理执行：输入经 tokenizer 编码后送入模型，generate() 方法生成 120 tokens，temperature=0.7 平衡多样性与连贯性

import torch
import torch_npu
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型
model_path = "./models/Mistral-7B-Instruct-v0.2"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="npu:0"
)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

# 推理测试
prompt = "介绍一下人工智能的发展历程"
inputs = tokenizer(prompt, return_tensors="pt").to("npu:0")
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=120,
        do_sample=True,
        temperature=0.7
    )
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

3.4 原生方案性能测试

本次测试基于华为昇腾 NPU 环境，使用 Mistral-7B-Instruct-v0.2 开源大模型，在 FP16 精度下完成加载与推理，并围绕五类典型任务（中文问答、英文问答、代码生成、逻辑推理、长上下文理解）进行端到端性能评估。测试结果如下：

显存占用：约 15GB

部署方案二：vLLM Ascend 优化

4.1 安装 vLLM Ascend

方式一：使用 Gitee 镜像源码安装（推荐国内用户）

# 1. 克隆 Gitee 镜像
git clone https://gitee.com/mirrors/vllm-ascend.git
cd vllm-ascend
# 2. 切换到 v0.7.x 版本
git checkout v0.7.3
# 3. 安装构建依赖
pip install setuptools_scm wheel -i https://pypi.tuna.tsinghua.edu.cn/simple
# 4. 禁用自定义算子编译，安装
export COMPILE_CUSTOM_KERNELS=0
pip install --no-build-isolation -e .
# 5. 验证安装
python -c "import vllm; print(f'vLLM version: {vllm.__version__}')"

方式二：使用 pip 直接安装

# 安装指定版本
pip install vllm-ascend==0.11.0

4.2 启动 vLLM 推理服务

# 方式一：命令行启动服务
vllm serve mistralai/Mistral-7B-Instruct-v0.2 \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --dtype float16 \
  --port 8000

# 方式二：Python 代码调用
from vllm import LLM, SamplingParams

llm = LLM(
    model="mistralai/Mistral-7B-Instruct-v0.2",
    tensor_parallel_size=1,
    max_model_len=4096,
    dtype="float16"
)
sampling_params = SamplingParams(
    temperature=0.7,
    max_tokens=120
)
outputs = llm.generate(["介绍一下人工智能的发展历程"], sampling_params)
for output in outputs:
    print(output.outputs[0].text)

4.3 vLLM Ascend 性能测试

单请求性能对比

并发性能测试（模拟在线服务）

关键优势：

1. 延迟稳定：高并发下延迟增长平缓
2. 吞吐领先：QPS=16 时达到 911 tokens/s
3. 资源高效：支持动态 batching 和连续批处理

完整部署流程

5.1 环境准备

1. 申请云 NPU 资源
2. 配置 Hugging Face 镜像
3. 验证 NPU 可用性

5.2 选择部署方案

5.3 常见问题解决

1. tokenizers 版本问题

pip install tokenizers>=0.14.0

2. 显存不足

# 使用量化
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="npu:0",
    load_in_8bit=True # INT8 量化
)

3. 模型下载失败

# 使用镜像并设置超时
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download ... --resume-download

总结

6.1 性能对比总结

6.2 实践建议

1. 开发阶段：使用原生方案快速验证功能
2. 生产部署：采用 vLLM Ascend 获得最佳性能
3. 成本控制：利用免费云资源完成初步验证
4. 性能调优：根据实际 QPS 需求选择合适的 batch size

6.3 相关资源

• 昇腾官网：https://www.hiascend.com/
• vLLM Ascend：https://github.com/vllm-project/vllm-ascend