大模型在安防领域的实践应用

3. 入侵检测与预警

除了设备维修之外，大模型还可以在其他方面为安防领域提供支持。例如，可以利用大模型来进行入侵检测和预警，自动识别异常行为和危险情况，并及时通知安保人员采取相应的措施。另外，大模型还可以用于视频监控和分析，自动识别出关键信息和事件，提高监控效果和管理水平。

在安防领域，云从科技推动 AI 技术多点闭环，解决更多需求，AI 工程学实现效率突破。例如，安防领域人工智能需要诸多长尾算法，安防场景里无论是行人或是其他识别，都需要单独训练模型，单独收集数据，用非标的方法解决。因此，很多安防场景无法用 AI 解决问题，容易出现为了解决 1% 的性能而付出了 100% 成本的情况。

如今，随着通用大模型的诞生，人工智能实现跨越式发展，又让人们看到了 AI 大规模应用在工业领域的希望。借助大模型只需在实际应用场景中进行微调，便可以解决实际问题。

在 AI 能力沉淀的基础上，云从科技创新了一套适合自身能力特点的大模型'耕耘'方式，从容大模型架构见图 3。

三、从容大模型在行人分析中的实例

在实际应用场景中，大模型与针对单一任务的专用模型相比表现出很强的泛化性，可以大大节约对真实数据的需求，甚至不需要额外收集真实数据，极大节省了在下游任务上的迁移成本，可快速将大模型能力迁移到新的应用场景之中，并且可广泛应用于能源、交通、制造、金融等泛安防行业领域，并为这些行业打造专属的行业大模型，深度赋能。

大模型技术在现代安防领域的应用非常广泛，包括行为分析、设备运维、安全事件预测等诸多场景。以云从科技从容大模型为例，本文将重点介绍大模型技术在行人方向的应用与实践。

1. 传统行人检测的难点

传统的行人检测和分析存在诸多难点，包括缺乏对场景的理解，只能检测出所有目标；其次行人的某些特征非常细微，需要模型具有细粒度的识别能力，各种大姿态和环境干扰容易造成影响；再次，对行人的检测分析需求多变，层出不穷，大部分需要定制化开发。如何能够降低开发成本，在技术产业化的过程中非常关键。

2. 行人基础大模型突破

此前，云从科技在视觉大模型上取得重要进展，行人基础大模型在 PA-100K、RAPV2、PETA、HICO-DET 四个数据集上从阿里巴巴、日立等多家知名高校、企业与研究机构中脱颖而出，刷新了世界纪录。

其中最高在 PA100K 上的 Fine-tuning 准确率达到 92.89%，比 SOTA 高出 5.2 个点，四个数据集所涉及的范围覆盖人体全局属性（性别、年龄）、局部属性（穿戴风格、配饰）、携带属性（手机、刀棍、手提包等）、人一物交互 HOI（抽烟，持刀棍，手机拍屏幕）等。

作为'六感'之首的视觉，占据了人类吸收外部信息的 70% 以上。对于人工智能也一样，行人基础大模型让人工智能如何识别关于人的一切信息，准确率的提高具有非常高的实用价值，本次突破意味着该技术首次达到大规模商用水平，也意味着计算机视觉已经迈入'大模型时代'。

3. 人一物交互（HOI）检测

以人为中心的感知任务，一直是计算机视觉和机器学习领域研究的热点，在现实场景中有着广泛的应用，包括跨镜追踪、人体检测、人体属性等。不同于通用视觉大模型如 DINOv2、EVA 和 CLIP 等，行人基础大模型能够更加关注人体的细粒度特征。例如人一物交互（HOI）检测，这项技术旨在对图片中人体动作进行精细化理解，任务要求检测出图片中人和交互的物体，同时将二者关联起来并识别动作关系。传统目标检测任务缺乏对场景的理解，通常只能检测出图像中存在的所有目标。不同于传统的检测任务，HOI 任务提供了更为细粒度的感知，对以人为中心的高维场景感知任务十分重要。

HOI 的难点在于，图片中人和物体存在大量的配对空间，并且人一物体交互关系对的分布十分不平衡，存在严重的长尾分布问题，所以预训练大模型的存在对于此任务非常关键。

云从行人基础大模型使用了超过 20 亿的数据，包括大量无标签数据集以及图文多模态数据集，数据集的丰富多样使得模型能够提取到非常稳健的特征，轻松应用于多种行人任务。

基于自监督学习范式，云从科技充分结合了对比学习和掩码学习的优点，使得模型包含丰富的语义信息，同时具有丰富的纹理细节提取能力。为了让模型学习拥有更加丰富的行人语义信息，结合多模态继续使用弱监督训练范式，进一步提升模型的效果。

基于从容大模型，可以大幅降低对专用数据的依赖和提升训练效率，仅需要 1% 的数据量即可达到与原场景定制化开发模型相接近的效果，适合获取真实样本代价非常高的特殊行业。

目前，该技术已广泛应用于矿山、建筑工地以及特殊场所的安全布控，监控作业人员穿戴合规，姿态行为等异常和违规行为。

四、大模型应用机遇和挑战

随着人工智能和大数据技术的快速发展，大模型在安防领域的应用前景也变得越来越广阔。未来，我们可以预见以下几个方面的应用：

1. 智能监控

未来的安防系统将会变得更加智能化和自适应。大模型可以基于深度学习和神经网络等方法，自动分析和识别不同场景下的异常情况，与过往异常情况进行对比，并及时发出警报与分析结果。

2. 智能分析

大模型可以将海量的数据进行分析和挖掘，从中提取出有价值的信息。例如，利用大模型技术可以对历史数据进行分析，找出某些事件发生的原因和规律，从而提前采取相应的措施，防止类似事件的再次发生。

3. 自主巡逻

未来的安防系统将会更加自主化和智能化。大模型可以帮助无人机或其他设备根据数据分析结果制定自主巡逻逻辑，从而扩大监控的范围和提高监控的效率。

4. 联合作战

未来的安防系统将会更加联合化和协同化。大模型可以将不同部门和机构的数据进行整合和分析，从而形成一个完整的安防体系。例如在大型活动中，可以将公安部门、消防部门、医疗救援部门等各个部门的资源进行整合，形成一个统一的指挥调度平台，提高应对突发事件的能力。

5. 智慧治理

一方面可以通过跨模态的人机交互进行一语智办，另一方面针对市民出游的实际需求，基于当天交通与天气状况等及时给出建议，体现了大模型跨数据、跨部门融合的能力。

6. 技术挑战与应对

然而，大模型的发展也带来了一些新的问题和挑战。

• 算力成本：大模型需要大量的数据和计算资源来进行训练和优化，这对于一些小型企业和个人来说可能是一个难题。因此，'通用大模型 + 专用行业大模型'成为大模型的发展趋势，通过蒸馏和量化技术降低部署成本。
• 可解释性：大模型的可解释性也是一个重要问题，特别是在涉及个人隐私和公共安全的领域。黑盒模型难以满足审计和追责的需求，需要发展可解释 AI 技术。
• 安全性：大模型的安全性也需要得到充分的重视和保护，以防止恶意攻击和滥用。例如对抗样本攻击可能导致模型误判，需要加强鲁棒性训练。
• 数据隐私：在安防场景下，涉及大量人脸和行为数据，如何在保护隐私的前提下利用数据是关键。联邦学习和差分隐私技术将是重要的发展方向。

五、结语

综上所述，大模型技术是安防领域中的一项重要技术，它可以有效应对当前的挑战和问题，并为未来的安防发展提供了广阔的空间和可能性。但是，我们也需要在推广应用的过程中充分考虑这些问题，并采取相应的措施来解决它们，以确保大模型技术能够真正发挥出其应有的作用。随着技术的不断成熟和生态的完善，大模型将在安防领域发挥更大的价值，推动行业向更高水平的智能化迈进。