| 项目 | 信息 |
|---|---|
| 申请号 | CN202410053849.9 |
| 公开号（公开） | CN118134841A |
| 申请日 | 2024.01.12 |
| 申请人（公开） | 超音速人工智能科技股份有限公司 (833753) |
| 发明人（公开） | 张俊峰（总); 叶长春 (总); 廖绍伟 |
原文摘要
本发明公开一种光伏产品缺陷检测 AI 深度学习算法，涉及 AI 算法领域。该光伏产品缺陷检测 AI 深度学习算法，采用深度卷积神经网络作为预训练模型，使用特征金字塔网络结构 FPN 对预训练模型得到的不同尺度的特征图进行融合，采用区域提议网络 RPN 在特征图上生成候选框，该光伏产品缺陷检测 AI 深度学习算法通过使用预训练模型提取图像特征，使用 FPN 融合多尺度特征，使用 RPN 提取候选框，使用 ROIAlign 抽取局部特征，使用分类、回归、FCN 进行缺陷分类、位置回归以及掩膜信息提取，对缺陷的分类以及输出缺陷效果的准确性好，对缺陷的定位精度高，对缺陷的描述准确且全面，从而提高了在光伏产品加工中，对产品的缺陷检测效果。
术语
FCN 指的是全卷积网络，是深度学习中用于图像处理任务的一种重要架构，相比于传统的卷积神经网络 CNN，FCN 不仅能够识别图像中的对象，还能在像素级别对图像进行预测，如图像分割、图像生成等。 全卷积网络是一种由卷积层组成的神经网络架构，没有全连接层。相比于传统的 CNN，全卷积网络的主要特点在于它的输出层是一个像素级别的密集特征图，每个像素点都对应输入图像中的一个局部感受野，这使得 FCN 能够对输入图像进行像素级别的预测和分析，比如图像分割，将图像中的每个像素进行分类，标记其所属的语义类别。 全卷积网络的出现在计算机视觉领域不仅在图像分割任务上取得了显著的成果，而且为其他图像处理任务，如图像生成、图像修复等，提供了重要的基础。全卷积网络在计算机视觉领域具有广泛的适用性。
步骤
- 一种光伏产品缺陷检测 AI 深度学习算法：所述深度学习算法包括如下步骤： 第一步：采用深度卷积神经网络作为预训练模型，对输入的光伏产品图像进行特征提取，获取图像的高层语义信息，得到不同尺度的特征图； 第二步：使用特征金字塔网络结构 FPN 对预训练模型得到的不同尺度的特征图进行融合，增强模型对不同尺寸产品缺陷的检测能力； 第三步：采用区域提议网络 RPN 在特征图上生成候选框，这些候选框涵盖了存在缺陷的区域和信息，以实现后续产品的缺陷快速检测； 第四步：使用 ROIAlign 技术从候选框中抽取出局部特征，以供后续的分类和回归任务使用； 第五步：利用全卷积网络 FCN 对局部特征进行分类，并同时进行回归操作以精确定位缺陷的位置； 第六步：除了分类和位置回归外，还利用 FCN 从局部特征中提取掩膜信息，以得到缺陷的精确形状和大小。
- 在第一步中，首先选择适用于光伏产品缺陷检测任务的预训练模型，然后，将预训练模型导入到算法中，并将待检测的光伏产品缺陷图像输入到模型中。
- 在第二步中，利用特征金字塔网络融合来自不同尺度的特征图，同时利用低层特征图的空间信息和高层特征图的语义信息，将这些特征图进行融合。
- 在第三步中，使用区域生成网络来提取候选框，RPN 网络得到所有 anchors 的分类、回归信息，RPN 基于特征图。
- 在第四步中，使用 ROIAlign 操作来抽取候选框内的局部特征，根据 RPN 网络输出的分类、回归信息，经过 NMS 得到最终的 ROIs。
- 第五步中，对筛选出来的 ROIs 进行分类、回归、mask 分割操作，使用分类器对候选框进行缺陷分类。
- 第六步中：分类器是传统的机器学习方法。
- 第七步中：分类器是深度学习方法。
- 在第六步，通过位置回归，根据分类结果和候选框的位置信息，对缺陷的位置进行进一步的调整和修正，同时，根据 FCN 得到的掩膜信息，进一步提取缺陷信息。
硬件需求
工控机 + 显卡
测试环境
操作系统：win7 开发环境：VS2019 C++17
或者 操作系统：win10 开发环境：VS2022 C++17
如无特殊说明，本算法用 C++ 实现。
