主流大模型端侧部署工具指南

pip install bminf
# 或者
python setup.py install

• 硬件需求: | 配置项 | 最低配置 | 标准配置 | | :--- | :--- | :--- | | Memory | 16GB | 24GB | | GPU | NVIDIA GeForce GTX 1060 6GB | NVIDIA Tesla V100 16GB | | PCIE | PCI-E 3.0 x16 | PCI-E 3.0 x16 |

2.3、MLC-LLM

• 链接: https://github.com/mlc-ai/mlc-llm
• 简介: MLC-LLM 是一种通用解决方案，允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。它有一个高效的调度框架，供每个人进一步优化自己用例的模型性能。一切都在本地运行，无需服务器支持，并通过手机和笔记本电脑上的本地 GPU 加速。
• 安装:

conda create -n mlc-chat
conda activate mlc-chat
conda install git git-lfs
conda install -c mlc-ai -c conda-forge mlc-chat-nightly
mkdir -p dist
git lfs install
git clone https://huggingface.co/mlc-ai/demo-vicuna-v1-7b-int3 dist/vicuna-v1-7b
git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/lib
mlc_chat_cli

• 特点: 支持多种硬件设备、支持多种操作系统、支持动态 Shape、支持算子量化与优化。

2.4、EnergonAI

• 链接: https://github.com/hpcaitech/EnergonAI
• 简介: EnergonAI 是一个用来解决 10-1000 亿参数大模型部署问题的工具。支持单 GPU 和多 GPU 部署，采用层次控制器系统架构来协调多个设备并有效支持不同的并行模式。核心技术包括非阻塞流水线并行、分布式冗余计算消除和对等内存池。
• 安装:

# 方案 1-源码安装
git clone [email protected]:hpcaitech/EnergonAI.git
pip install -r requirements.txt
pip install .

# 方案 2-Docker 安装
docker pull hpcaitech/energon-ai:latest

• 特点: 模型并行化、模型预编译、封装计算引擎、在线服务系统。

2.5、llama.cpp

• 链接: https://github.com/ggerganov/llama.cpp
• 简介: llama.cpp 是一个支持在多种平台上执行多种 4bit 量化语言大模型的 C++ 推理库。支持 Mac、Linux、Windows、Docker 等多种平台，支持 LLaMA、Alpaca、GPT4All、Chinese Alpaca 等多种语言大模型。
• 安装:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

• 特点: 无依赖项的普通 C/C++ 实现、通过 ARM NEON 和 Accelerate 框架优化、x86 架构支持 AVX/AVX2/AVX512、F16 和 F32 混合精度、4 位/5 位/8 位整数量化方式支持、支持 cuBLAS 和 CLBlast。

2.6、InferLLM

• 链接: https://github.com/MegEngine/InferLLM
• 简介: InferLLM 是一个非常轻量的 LLM 模型推理框架，主要参考和借鉴了 llama.cpp 工程。相比 llama.cpp，其结构简单，方便上手开发和学习，把框架部分和 Kernel 部分进行了解耦。定义了专门的 KVstorage 类型，方便缓存和管理。目前只支持 CPU，主要是 Arm 和 x86 平台，可以在手机上部署。
• 安装:

# 方案 1-本地安装
git clone https://github.com/MegEngine/InferLLM.git
mkdir build
cd build
cmake ..
make

# 方案 2-Android 交叉编译
export NDK_ROOT=/path/to/ndk
./tools/android_build.sh

• 特点: 结构简单、运行高效、兼容多种模型格式（目前只支持 alpaca 中文和英文的 int4 模型）、支持手机端部署。

2.7、LaMini-LM

• 链接: https://github.com/mbzuai-nlp/LaMini-LM
• 简介: LaMini-LM 是从 ChatGPT 中提取的小型高效语言模型的集合，并在 2.58M 指令的大规模数据集上进行了训练。作者探索了不同的模型架构、大小和检查点，并通过各种 NLP 基准和人工评估广泛评估它们的性能。
• 测试示例:

from transformers import pipeline
checkpoint = "{model_name}"
model = pipeline('text2text-generation', model=checkpoint)
input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']
print("Response", generated_text)

3、总结与选型建议

部署语言大模型是一件极具挑战的事情。简单的调用 OpenAI 接口只是一部分人的需求，利用各种大模型部署工具链部署自己的大模型才是未来的趋势。在选择工具时，建议遵循以下流程：

1. 明确目标: 确定是搞通用大模型还是行业大模型。
2. 模型来源: 确定是使用开源大模型还是开发新的大模型。
3. 数据准备: 获取你的场景数据。
4. 微调训练: 利用大算力平台去微调你的模型参数。
5. 效果测试: 在实际场景去测试你的模型效果。
6. 商业化落地: 考虑大模型的商业化落地路径。
7. 迭代更新: 不断迭代更新你的大模型。

工具选型对比:

• 高性能推理: 若拥有高端 GPU（如 A100/V100），推荐 EnergonAI 或 BMInf，它们能充分利用多卡并行和显存优化。
• 端侧/低功耗: 若使用笔记本或移动设备，llama.cpp 和 InferLLM 是首选，它们对 CPU 和 ARM 架构支持良好，且量化支持完善。
• 跨平台兼容性: MLC-LLM 提供了广泛的硬件后端支持，适合需要部署到不同操作系统（iOS/Android/Web）的场景。
• 国产硬件适配: JittorLLM 对国内芯片（如天数智芯、海光、摩尔线程）有较好的支持，适合国产化环境。

掌握大模型技术不仅能提升全栈工程能力（包括 Prompt、LangChain、LoRA 等技术开发），还能具备模型二次训练和微调能力，应对智能对话、文生图等热门应用需求。通过选择合适的部署工具，可以有效降低硬件门槛，实现大模型技术的本地化应用。