本文介绍了七种主流的大模型部署工具，涵盖 JittorLLM、BMInf、MLC-LLM、EnergonAI、llama.cpp、InferLLM 及 LaMini-LM。内容分析了端侧部署面临的挑战，包括数据规模、模型体积、算力需求及硬件适配问题。各工具在量化支持、硬件兼容性（CPU/GPU/NPU）、并行策略及运行环境上各有侧重，旨在帮助用户根据实际硬件条件选择合适的推理方案，实现本地化高效运行。文章详细列出了各工具的安装步骤、核心特性及适用场景，为开发者提供从通用大模型到行业大模型的完整部署参考。
随着服务器端大模型部署的热度逐渐降低，端侧大模型部署的热潮正在逐步到来。虽然调用 OpenAI 等公司提供的 API 可以部署服务端的大模型，但想要在一个端侧新硬件上面部署语言大模型还是一件很有挑战的事情。本文推荐的这些大模型部署工具可以帮助开发者在本地或边缘设备上高效运行大模型。
| 挑战因素 | 主要原因 | 解决思路 |
|---|---|---|
| 数据规模大 | 1、标注成本高 2、质量参差不齐 3、行业数据不开源 | 1、指令微调 2、使用开源数据 3、行业内部大模型 |
| 模型体积大 | 1、模型参数大 2、小模型性能差 3、大模型才会有质变 | 1、模型低比特量化 2、模型蒸馏 3、模型并行调度 |
| 算力规模大 | 1、低算力耗时太长 2、产品周期限制 3、数据和模型决定 | 1、数据并行化 2、模型并行化 3、充分压榨算力 |
| 硬件设备多 | 1、硬件厂商多 2、没有编译器生态 3、用户需求不一致 | 1、适配多前端 2、适配多后端 3、推广深度学习编译器 |
git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1
cd JittorLLMs
pip install -r requirements.txt -i https://pypi.jittor.org/simple -I
pip install bminf
# 或者
python setup.py install
conda create -n mlc-chat
conda activate mlc-chat
conda install git git-lfs
conda install -c mlc-ai -c conda-forge mlc-chat-nightly
mkdir -p dist
git lfs install
git clone https://huggingface.co/mlc-ai/demo-vicuna-v1-7b-int3 dist/vicuna-v1-7b
git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/lib
mlc_chat_cli
# 方案 1-源码安装
git clone [email protected]:hpcaitech/EnergonAI.git
pip install -r requirements.txt
pip install .
# 方案 2-Docker 安装
docker pull hpcaitech/energon-ai:latest
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release
# 方案 1-本地安装
git clone https://github.com/MegEngine/InferLLM.git
mkdir build
cd build
cmake ..
make
# 方案 2-Android 交叉编译
export NDK_ROOT=/path/to/ndk
./tools/android_build.sh
from transformers import pipeline
checkpoint = "{model_name}"
model = pipeline('text2text-generation', model=checkpoint)
input_prompt = 'Please let me know your thoughts on the given place and why you think it deserves to be visited: \n"Barcelona, Spain"'
generated_text = model(input_prompt, max_length=512, do_sample=True)[0]['generated_text']
print("Response", generated_text)
部署语言大模型是一件极具挑战的事情。简单的调用 OpenAI 接口只是一部分人的需求，利用各种大模型部署工具链部署自己的大模型才是未来的趋势。在选择工具时，建议遵循以下流程：
工具选型对比:
掌握大模型技术不仅能提升全栈工程能力（包括 Prompt、LangChain、LoRA 等技术开发），还能具备模型二次训练和微调能力，应对智能对话、文生图等热门应用需求。通过选择合适的部署工具，可以有效降低硬件门槛，实现大模型技术的本地化应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online