大模型在移动端部署面临资源限制，量化、剪枝与蒸馏是三大核心压缩技术。量化通过降低参数精度（如 FP32 转 INT8）减小体积并加速计算；剪枝移除不重要的权重或结构以提升效率；蒸馏则将大模型的知识迁移至小模型以保留性能。实际应用中常组合使用这些方法，需在精度损失与运行效率间取得平衡，以适应不同硬件环境的需求。
随着大语言模型（LLM）的参数量不断攀升，如何在资源受限的设备上高效部署成为关键挑战。扎克伯格曾指出 Llama3-8B 对于手机端依然过大，这促使业界探索更高效的模型压缩方案。量化、剪枝和蒸馏是三种通用的神经网络模型压缩技术，它们能将庞大的模型转化为适合边缘设备运行的轻量级版本。
大模型通常包含数十亿甚至数千亿参数，直接部署面临以下瓶颈：
通过压缩技术，可以在保持模型性能可接受的前提下，显著降低上述成本，扩展应用场景至手机、IoT 设备及低配服务器。
模型的核心是参数，主要包括权重（Weights）和偏置（Biases）。在信号处理过程中，神经元接收输入信号，经过加权求和并加上偏置，再通过激活函数输出。这些权重和偏置构成了模型的'知识'。压缩的本质就是在不显著损失信息的前提下，减少表示这些参数所需的比特数或参数总数。
量化是通过降低模型参数的数值精度来减小模型体积和提升计算效率的技术。
训练时模型通常使用 FP32（32 位浮点数），量化将其转换为 INT8（8 位整数）、INT4 甚至更低精度。例如，将 32 位浮点权重转换为 8 位整数，理论上可将模型体积缩小为原来的 1/4。
类比理解：就像烹饪时称量食材。高精度电子秤能精确到 0.01 克，但家常做饭用最小刻度 1 克的秤即可满足需求。同理，部分模型对权重的微小变化不敏感，降低精度不会显著影响输出结果。
优势：
风险：
剪枝旨在移除模型中对任务贡献较小的参数或结构，使模型更加紧凑。
如何判断哪些参数不重要？常用方法包括：
剪枝并非万能。对于本身已经稀疏的模型，效果有限；对于小型模型，过度剪枝可能导致性能崩塌；在医疗诊断等高风险领域，需谨慎评估剪枝带来的不确定性。
知识蒸馏是将大模型（教师模型）学到的知识迁移到小模型（学生模型）的过程。
教师模型不仅提供硬标签（Hard Label，即最终分类结果），还提供软标签（Soft Label，即概率分布）。学生模型通过学习这些软标签，捕捉类之间的相似性关系（例如，'猫'和'狗'的概率可能比'车'更接近）。
为了让学生模型更好地学习，引入温度系数 T 来软化输出概率分布：
$$ P_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$
当 T > 1 时，概率分布变得更平滑，隐藏了类别间的细微差别，便于学生模型模仿教师的决策边界。
学生模型的损失函数通常由两部分组成：
通过调整两者的权重，可以在保持精度的同时提升小模型的泛化性能。
在实际工程中，往往组合使用多种技术。例如，先对模型进行结构化剪枝，再对剩余参数进行 INT8 量化，最后使用蒸馏微调恢复精度。
| 技术 | 主要收益 | 精度损失风险 | 实施复杂度 |
|---|---|---|---|
| 量化 | 速度提升明显，体积减小 | 中 | 低 |
| 剪枝 | 结构精简，推理快 | 中高 | 中 |
| 蒸馏 | 小模型性能显著提升 | 低 | 高 |
此外，结合神经架构搜索（NAS）自动寻找最优的压缩结构，以及针对特定硬件优化的算子融合，将是未来的重要方向。对于开发者而言，理解这些技术的原理有助于在精度与效率之间做出最佳权衡。
模型压缩是 AI 落地的关键技术。量化通过降低精度换取效率，剪枝通过移除冗余结构节省空间，蒸馏通过知识迁移让小模型具备大模型的能力。选择合适的压缩策略需综合考虑目标设备的硬件限制、业务对精度的要求以及开发维护的成本。随着硬件支持的完善和算法的进步，轻量化大模型将在更多场景中普及。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
