大模型部署面临算力与存储限制，模型压缩技术成为关键解决方案。量化通过降低参数精度减少显存占用，剪枝移除冗余权重提升推理速度，蒸馏利用大模型知识指导小模型训练。这三种技术常结合使用，并配合微调以平衡性能与效率，实现在移动端等资源受限设备上的高效运行。
扎克伯格曾指出，即使是 Llama3-8B 这样的模型对于手机等终端设备来说仍然过大。如何在保证性能的前提下将大模型部署到资源受限的设备上？这就涉及到了模型压缩的核心技术：量化、剪枝和蒸馏。
模型压缩旨在减小模型体积，降低计算资源消耗。具体收益包括：
神经网络模型的参数主要包括权重（Weights）和偏置（Biases）。在信号处理过程中，神经元接收输入信号，经过加权求和、加偏置、激活函数处理后传递给下一层。权重和偏置通常占模型参数的 80% 以上，是压缩的主要对象。
量化是通过降低模型参数的数值精度来减少存储空间和计算开销的技术。
训练好的模型通常使用 32 位浮点数（FP32）表示权重。实际应用中，许多参数并不需要如此高的精度。例如，使用 16 位浮点数（FP16）甚至 8 位整数（INT8）表示，往往能保持模型性能几乎不变，但文件大小可降低一半甚至更多。
现代处理器包含低精度向量计算单元。量化后，模型可充分利用这些硬件特性执行并行运算。低精度运算（如 INT8）比高精度运算（如 FP32）耗时更短，显著降低对带宽的要求。
随着精度降低（如降至 4 位、2 位），不同权重的值可能趋同，导致模型准确度下降。因此，量化策略需根据任务敏感度进行权衡。
剪枝是指移除模型中不重要的权重或神经元节点，从而构建更紧凑的网络结构。
不重要的权重通常接近于 0。通过设定阈值，将这些微小权重置零或直接移除。
剪枝前需评估参数的重要性。常用方法包括：
剪枝不适合所有模型。对于本身已高度稀疏的模型效果有限；对于小型模型，过度剪枝可能导致性能崩塌；对于医疗诊断等高精度要求场景，需谨慎使用。
蒸馏是将大模型（教师模型）学到的知识迁移到小模型（学生模型）的过程。
教师模型不仅输出最终预测结果，还输出概率分布（Soft Targets）。学生模型模仿这种分布，而不仅仅是硬标签（Hard Labels）。 例如，分类'猫'的图片时，教师模型可能给出：猫 0.7，狗 0.4，车 0.1。学生模型学习这一分布，而非仅学习'猫'。
引入温度参数 $T$ 调节输出概率分布的平滑度。公式为 $ ext{softmax}(z/T)$。
蒸馏通常结合两种损失：
若教师与学生模型差距过大，可引入中间网络或调整学生模型结构，使其更好地拟合教师输出。
| 技术 | 核心机制 | 优势 | 劣势 |
|---|---|---|---|
| 量化 | 降低精度 | 显存占用少，推理快 | 精度可能下降 |
| 剪枝 | 移除冗余 | 模型更小，结构精简 | 依赖硬件支持，可能降速 |
| 蒸馏 | 知识迁移 | 小模型性能强 | 训练成本高，需教师模型 |
模型压缩后性能可能出现下降。针对高精度任务（如金融风控、自动驾驶），建议进行微调（Fine-tuning）。
量化、剪枝和蒸馏是模型压缩的三大支柱。量化侧重精度与速度的平衡，剪枝侧重结构精简，蒸馏侧重知识迁移。在实际工程中，常组合使用这些技术，并结合微调策略，以实现大模型在边缘设备上的高效落地。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
