基于 QNN 框架在 Android 端部署 LLaMA-7B 大模型实战
随着端侧推理框架的成熟，特别是像 QNN（Qualcomm Neural Network SDK）这类专门为移动和边缘设备优化的工具链出现，让手机本地运行一个 7B 甚至 13B 参数的大语言模型，已经从'技术演示'变成了'工程可实现'的目标。本文聚焦于如何将 LLaMA-7B 这样的模型部署到 Android 手机上，涵盖环境搭建、模型转换、工程集成及性能调优。
1. 环境准备与工具链配置
在开始将模型迁移至手机端之前，需准备好开发环境与工具链，这直接决定了后续流程的顺畅度及最终性能表现。
1.1 开发环境搭建
首先，需要构建用于模型转换和初步验证的 Python 环境。QNN SDK 提供了 Python 绑定，但其安装依赖较为严格。
# 1. 建议使用 conda 或 venv 创建独立环境，避免包冲突
conda create -n qnn-env python=3.9
conda activate qnn-env
# 2. 安装核心的 QNN 工具包
# 注意：直接从 PyPI 安装的 `qnn` 包可能不是高通官方的，需从高通开发者网站或 GitHub 获取
# 假设已下载 Qualcomm AI Engine Direct SDK，安装其 Python 包
pip install /path/to/qnn-sdk/python/dist/qnn-*.whl
# 3. 安装模型转换和量化所需的额外依赖
pip install onnx onnxruntime
pip install transformers # 用于加载原始模型和分词器
pip install torch # 如果从 PyTorch 模型开始转换
注意：高通 QNN SDK 的 Python 包通常不直接发布在 PyPI 上。需从 Qualcomm Developer Network 注册并下载完整的 AI Engine Direct SDK，其中包含
qnn-python的 wheel 文件。确保下载的 SDK 版本与目标手机芯片（如骁龙 8 Gen 2/3）的 AI 引擎（如 Hexagon NPU）兼容。
此外，Android 端需准备好 NDK 和构建环境。NDK 版本并非越新越好。QNN 的动态库（.so 文件）对 NDK 的编译工具链有特定要求。根据经验，NDK r25b 是一个比较稳定且广泛兼容的版本。
// 在项目的 app/build.gradle 中指定
android {
...
ndkVersion "25.2.9519653"
}
1.2 模型获取与格式初探
目标是部署 LLaMA-7B。直接从 Meta 官网获取原始模型权重（.pth 或.bin）并非明智起点，因为需要巨大的内存和算力进行首次转换。更实际的做法是从社区寻找已经预处理好的、更适合移动端的格式。
目前，在移动端部署大模型，GGUF (GPT-Generated Unified Format) 格式几乎是事实标准。它由 llama.cpp 项目推广，核心优势在于将模型权重以量化后的格式（如 Q4_K_M, Q8_0）存储，且文件结构简单，易于加载。Hugging Face 上有很多社区成员转换好的 GGUF 模型。
# 例如，使用 huggingface-cli 下载一个已经量化为 INT8 的 LLaMA-7B GGUF 模型
huggingface-cli download TheBloke/Llama-2-7B-GGUF llama-2-7b.Q8_0.gguf --local-dir ./models
为什么选择 GGUF 作为起点，而不是 ONNX 或 PyTorch？对比几种格式的转换复杂度和最终性能如下：
| 格式 | 优点 | 缺点 | 移动端友好度 |
|---|---|---|---|
| GGUF | 专为 llama.cpp 设计，量化方案成熟，社区资源丰富，文件单一 | 生态相对封闭，主要围绕 Llama 架构 | ★★★★★ |
| ONNX | 通用性强，框架支持好，易于进行图优化 | 对大模型支持仍不完美，算子融合等优化依赖运行时 | ★★★☆☆ |
| PyTorch (.pt) | 原始格式，灵活性最高 | 体积巨大，需要完整的 PyTorch 运行时，不适合端侧 | ★☆☆☆☆ |
对于快速在 Android 上跑起来的目标，从 GGUF 开始是最省力的路径。下载好模型后，用 llama.cpp 自带的工具简单测试一下，确保模型文件没有损坏，并且能在开发机上运行。
# 使用 llama.cpp 的 main 工具进行快速推理测试
./main -m ./models/llama-2-7b.Q8_0.gguf -n 512