大模型在机器视觉行业的落地路径

大模型在垂直领域的落地，是需要二次学习的，不能拿来就用

大模型要应用到视觉行业的细分领域、垂直应用，是需要针对该领域，进行有针对性的学习和训练（喂应用数据和调参）----就像一个外行的人，进入视觉行业，也需要先学习：了解行业的特点、客户的需求、产品的功能等。

再好的大模型，没有学过对应的知识，在陌生领域，也是小白。男怕干错行，女怕嫁错郎，大模型怕没有二次学习的直接使用。

与传统的，也需要样本训练的 AI 相比，大模型有什么优势和不同？简单说来，就是大模型比传统 AI，更高、更快、更强、更灵活。

同样的应用：

• 传统的 AI，需要更多的样本训练，大模型需要较少的样本，甚至零样本（基于大模型是否已具备该应用所需的全部能力）。
• 传统的 AI，训练和部署周期常需要几个月；大模型的训练和部署，可以更快，几周，甚至几天。
• 传统的 AI，泛化能力较弱，当遇到与样本差异较大的数据时，处理结果不是很理想；而大模型的泛化能力较强，对与样本差异较大的数据，处理准确性更高。

针对细分领域、垂直应用，大模型可以小型化、精简化

越通用的大模型，其训练和使用所需要的资源，也越多。对于一个垂直应用而言，把一个训练好的大模型，不做裁剪拿来就用，会导致超高的成本、效用也很低。

幸好，一个训练好的大模型，是可以裁剪的。这就是目前行业里所说的：大模型小型化，或，小的大模型。

以驾驶和做菜技能为例来说明。

• 驾驶和做菜，二者都需要具备对手的控制能力，但驾驶，不需要知道什么是鸡蛋，什么是西红柿；做菜，不需要识别红绿灯。
• 对手的控制，是驾驶和做菜应用都需要的能力，2 个应用上都保留。
• 识别鸡蛋和西红柿的能力，在做菜应用上保留，在驾驶应用上删除。
• 识别红绿灯的能力，在驾驶应用上保留，在做菜应用上删除。

越细分、越垂直的应用，其大模型越能小型化，低成本化。目前，业界已经有嵌入式的小的大模型方案面世，就是针对机器视觉这类碎片、垂直类应用。

算力、模型，都可以服务形式提供，算力 as a Service, 模型 as a Service

对中小企业而言，成本，是大模型能否用起来的核心考量因素。中小企业不需要自己训练通用的大模型，但需要基于行业数据，在某类大模型上，训练行业专精大（小）模型。

基于垂直应用复杂度的不同，可以有多种模式选择：

1. 租用政府或大型事业单位提供的算力和模型平台，进行专用大模型的训练。 已经有多个地市政府在建设这类可对外出租硬件、算力和大模型的平台。要不了多久，为企业提供大模型租用服务，或将成为地方政府招商引资的标配。

2. 与中大型 AI 公司合作，训练模型。 对于一些大行业，这类公司会先基于行业训练一个行业通用的大模型。中小公司，可在这类行业大模型上，裁剪训练自己的场景化的小模型，以确保模型应用的最优化。

3. 自建算力平台，训练模型。 应用越细分，需要的模型越简单，所需的算力也就越少。在一些很小的行业，或很细分的领域，这种模式是可行的。

大模型能升级吗？

就目前的大模型进展而言，大模型是不能升级的，只能替换。

大模型是基于海量数据训练，对神经网络的'神秘'改造而来。AI 科学家都还弄不清大模型的机制，何谈升级呢？

对于垂直应用而言，基于 1.0 版本大模型训练出来的专用模型 1.1，可以在 1.1 基础上继续训练、调参，获得更优的 1.2, 1.3 等版本。但如果要将可能更好的 2.0 版本大模型用于垂直应用上，以达到更好的效果，则需要在 2.0 版本大模型上，重新训练一遍，获得专用模型 2.1、2.2。

不同代际大模型，不能升级，不能 OTA，只能替换和重新训练，是大模型落地所必须面对的一个挑战。

机器人行业那么卷，具身智能会让机器人行业焕发第二春吗？

什么是具身智能？

像人一样能与环境交互感知，自主规划、决策、行动、执行能力的机器人，可称之为'具身智能机器人'。它的实现包含了人工智能领域内诸多的技术，例如计算机视觉、自然语言处理、机器人学等。用通俗点的话来说，具身智能，就是通用机器人。

机器人和机器视觉，是 2 个交叉的行业，视觉系统为机器人提供基础的感知，机器人大脑基于感知，控制机器人完成各类动作。大模型出现以前的机器人方向，重点放在了运动控制，波士顿动力的机器狗，是其极致代表。但因为对外部世界的感知和处理不够智能和灵活，机器狗的商用落地进展缓慢。机器人行业，主要还是聚焦在各个细分领域，让机器人执行比较单一的任务和动作，可快速商用落地。

大模型出来后，业界看到了机器人具备'通用智能'的可能。机器人拥有一个聪明的大脑，能够听懂人类语言，然后，分解任务，规划子任务，移动中识别物体，与环境交互，最终完成相应任务。国外，有机构用三个大模型（视觉导航模型、大型语言模型、视觉语言模型）教会了机器人在不看地图的情况下按照语言指令到达目的地。

Tesla 和 Agility 的人形机器人，都是具身智能的探索方向—在限定场景下的具身智能，已经有较大希望商用落地。

总结

大模型为机器视觉及机器人行业带来了新的机遇与挑战。虽然短期内受限于成本和算力门槛，但长期来看，其通用性和灵活性将推动行业智能化升级。企业应根据自身规模选择合适的落地模式，如租用算力平台或与大厂合作，同时做好模型二次训练和迭代更新的准备。随着具身智能的发展，大模型有望赋予机器人更强的感知与决策能力，开启通用机器人的商用新篇章。