大模型量化与具身智能决策综述

大语言模型这两年的进展很快，能写、能答、能生成代码，但一旦要落到部署和真实环境决策上，麻烦也跟着出来了。一边是模型越来越大，显存和算力吃紧；另一边是把模型放进现实环境后，它未必真的'会做事'。这篇记录拆成两个部分：量化压缩，和具身智能里的决策能力。

量化：先把模型变轻，再谈跑得快

大模型的参数量一上来，存储和推理成本就会很难看。比如 GPT-3 这类模型，光权重就已经不是消费级设备能轻松扛住的规模。要让它们能在移动端、边缘设备或者资源有限的服务器上跑起来，量化基本是绕不开的一步。

量化的思路不复杂：用更少的比特表示参数和激活值。常见的是把 FP32 压到 INT8、INT4，甚至更低。这样做的直接收益是模型体积下降、内存带宽压力变小，推理时也更容易吃到硬件指令集带来的加速。理论上，FP32 到 INT8 可以把存储体积压到原来的四分之一；再往下走，收益更大，但精度风险也更明显。

现在常见的两条路线是 PTQ 和 QAT。

PTQ（Post-Training Quantization）：训练完再量化，不需要重新训练，通常只拿一小批校准数据跑一下统计。优点是省事，落地快，适合先把模型部署起来。问题也明显，位宽一低，精度掉得会比较快，尤其是 4-bit 以下。
QAT（Quantization-Aware Training）：训练时就把量化误差模拟进去，让模型提前适应低精度。代价是训练成本更高，流程也更长，但一般能保住更好的效果。对那些不能接受明显精度损失的场景，这条路更稳。

硬件这几年也在补课。GPU 和 NPU 对 INT8、INT4 的支持越来越普遍，量化不再只是'把模型存小一点'，而是真的能影响推理吞吐和延迟。后面比较值得看的是混合精度量化、动态量化，以及和结构化剪枝一起做的组合优化。单独看一个技巧已经不够用了，真正省资源的方案通常是几种手段叠在一起。

参考论文：A Comprehensive Study on Quantization Techniques for Large Language Models (arxiv.org/abs/2411.02530)

具身智能：模型会说，不代表会做

文本世界里的大模型很强，但到了物理环境里，情况就没那么乐观了。让模型完成'清理冰箱'这种任务，问题不只是回答对不对，而是它能不能理解目标、拆分步骤、知道下一步该做什么，并且根据环境变化及时调整。

最近有一项研究提出了 具身代理接口（EMBODIED AGENT INTERFACE），思路是把现实任务里的决策过程拆成几个模块来评估，而不是只看最后有没有完成任务。它关注的重点包括：

目标理解：先弄清楚用户真正要什么，别把次要约束当成主任务。
子目标分解：把大任务拆成一串能执行的小步骤。
动作序列生成：根据当前状态，生成下一步操作。
状态转换建模：预测动作之后环境会怎么变，便于回头修正。

这个拆法挺实用，因为现实任务失败，往往不是'不会回答'，而是某个中间环节已经偏了。

研究里提到的一些错误也很典型。比如模型有时会把中间步骤误当成最终目标，做着做着就跑偏了；也会漏掉一些常识性前提，比如在'把火鸡放在桌子上'这类任务里，忽略了先放到盘子里再移动的自然约束。它看起来像'会想'，但一碰到物理世界的常识和状态变化，链条就容易断。

这类问题说明两件事：第一，大模型的知识覆盖不等于具备环境交互能力；第二，具身智能真正难的地方，不在于生成一句像样的回答，而在于把感知、规划和执行连成闭环。要补的不是一个提示词，而是常识推理、动态鲁棒性和安全边界这些基础能力。

结论

量化解决的是'模型太重，跑不动'的问题，具身智能解决的是'模型看起来聪明，但不会在现实里做决策'的问题。前者让大模型更接近端侧和边缘部署，后者让模型从文本生成走向行动规划。两条线看起来不一样，最后指向的是同一件事：把大模型从实验室里拽出来，放到真正要用它的地方。