机械论文：基于Faster R-CNN风机胶衣脱落检测系统设计

　　机械论文：基于Faster R-CNN风机胶衣脱落检测系统设计

　　1引言

　　能源问题是阻碍我国经济进步的关键因素，以矿物质为基础的能源架构接近资源枯竭并造成生态恶化和环境污染等不良影响，这些问题将制约着人类社会的成长。风能有着绿色无污染、清洁可再生的特点，致力于风力发电的建设，对完善能源结构、减少污染排放、保护自然生态等有着积极的影响。随着各个国家为了完成节能减排的目标来大力开发可再生的能源，风力发电在世界范围内得到了广泛的应用，中国风力市场也保持着强大的增势。2019年的全球风电年度市场报告显示，我国总的风电装机容量位列世界第一。我国的风力发电效率与发达国家相比还有一定差距，主要是由风机故障频发而造成的停机。我国自本世纪初开始大力发展风电行业至今，首批风机已经接近寿命极限，甚至部分风机已经超出保质期，这边造成风机的故障层出不穷。其中，造成故障最为严重、检测难度最大、维护成本最高的部件损伤当属风机叶片。然后风机叶片问题是从胶衣脱落开始的，本文主要研究风机中胶衣脱落问题[1-2]。

　　Tiwari等[3]对超声波信号进行了离散小波变换、变分模式分解和希尔伯特变换，并应用于锋利机叶片段中的脱粘型缺陷分析。 Kai Yang等使[4]用基于超声波的结构健康监测技术并采用模态分析、非线性声学和导波方法，对风机叶片进行损伤检测。吴晓旸等[5]利用压电陶瓷片发出的超声波信号对发电机叶片的简化结构的损伤进行识别，以确定损伤的位置和程度。F.Hahn等[6]把红外线热成像法运用到在风里发电机叶片的疲劳试验中，该方法可以识别夹层区域的裂纹区域、根部分层和后缘裂纹，并同时去除大部分信号噪声。肖劲松等[7]针对风力发电机叶片中的损伤，使用脉冲红外热成像法来对叶片内部缺陷进行检测。A.G.Dutton等[8]利用声发射技术进行了三分静态叶片测试和一个动态疲劳测试，并在接下来的静载荷步骤和疲劳循环期间表明了叶片故障的位置。Anastassopoulos等[9]使用声发射信号的特征来对叶片损伤进行快速、有效的分级，并对即将发生的损伤进行预警。上述基于传统图像处理方法的缺陷检测都取得较好的效果，然而这些方法都很依赖特征工程，容易受背景影响且运算周期长，效率低，因此难以投入实际应用[10]。

　　深度学习是一种结合低级特征形成更加抽象的高级表示（属性、类别或特征）以此来发现数据分布特征的机器学习方法[11]。较于传统图像处理方法，深度学习具有时间复杂度低、特征鲁棒性好、泛化能力强等优点。风机中胶衣脱落，将导致叶片直接暴露在环境里，容易造成叶片损坏，严重会导致叶片断裂。尤其是运行状态下胶衣如果破裂将会造成更加严重的后果。因为风机中胶衣脱落目标小，导致基于无人机巡检图像的人工查缺效率低，易缺漏。针对上述问题，本文提出一种基于改进Faster R-CNN的胶衣缺陷检测方法。

　　胶衣脱落缺陷检测方法

　　目标检测一直是计算机视觉领域最具挑战性的任务之一。2012年，AlexNet卷积神经网络（Convolutional Neural Networks, CNN）在ImageNet大规模视觉识别挑战（ImageNet Large Scale Visual Recognition Challenge , ILSVRC）竞赛中取得了显著成绩[12]。2014年，Ross Girshick等人利用AlexNet提取特征，首次将CNN应用于目标检测领域[13]。此后基于深度学习的目标检测算法主要分为两类：第一类是Faster R-CNN、Cascade R-CNN和Grid R-CNN为代表的两阶段目标检测算法，第二类算法是以YOLO、RetinaNet为代表的单阶段目标检测算法。两阶段的算法步骤是首先生成区域建议框，然后对候选区域提取的特征进行分类和定位。单阶段算法直接从特征提取网络中预测目标的分类和位置。本文从两类不同的算法中选取四种进行对比试验，选取精度最高的特征提取网络ResNeXt-101及算法Faster-RCNN，并对其进行改进。

　　2.1 特征提取网络

　　基于深度学习的目标检测利用CNN来提取图像中不同通道不同颜色的语义特征， 本文用到的CNN有ResNet-50、ResNet-101、ResNeXt-101三种。ResNet的优点主要在于提出了残差网络学习的思想，通过将输入的数据直接与输出数据拼接在一起，从一定程度上避免了网络的梯度爆炸与消失问题，并且简化了学习过程与难度。而ResNeXt是ResNet的改进模型，其借鉴GoogLeNet [14]的Inception模块提出了一种基数概念，并且在此概念上提出聚合转换结构， ResNeXt用一种平行堆叠相同拓扑结构的blocks代替原来ResNet的三层卷积block，这样做可以在不增加网络参数复杂度的情况下提高准确率，且减少了超参数的数量。ResNet和ResNeXt采用的基数都是32。ResNet和ResNeXt的简单结构如图1所示。

图1. (a): ResNet. (b): ResNeXt
 

　2.2 Faster R-CNN胶衣脱落检测算法

　　Faster R-CNN从RCNN[15]、SPP-net[16]、Fast-RCNN[17]演化而来，在速度和精度上都有很大的提升，Faster R-CNN检测原理如图2所示。

　　图2. Faster R-CNN 检测流程

　　其检测流程主要分为四步：

　　1) 胶衣脱落图片经过第一部分的特征提取网络得到一系列的特征图(Feature Maps)， RPN(Region Proposal Network)网络和Fast R-CNN网络共享这些特征图。

　　2) 第一步得到的特征图作为RPN网络的输入，生成一系列的区域建议框，代替传统图像处理的选择性搜索算法(Selective Search) [38]来预测生成提议区域。

　　3) 得到一系列区域建议框之后，把这些区域建议框对应的语义特征通过区域池化层(ROI Pooling)映射输出相同大小的特征信息，然后将这些特征信息输入到最后的全连接层。

　　4) 全连接层的输出通过分类函数Softmax以及bbox的边框回归函数获得精确的类别预测以及目标定位，最后通过非极大值抑制(Non-Maximum Suppression，NMS)算法[18]剔除相近位置、相同类别的预测目标，得到最后的胶衣脱落预测框。

　　2.3 对Faster R-CNN方法的改进方法

　　基于Faster R-CNN框架，考虑胶衣脱落目标小、尺度大小不一的特点，尝试在卷积特征网络中增加DCN v2、GIoU来提升对小目标的识别、考虑胶衣脱落正常与缺陷样本失衡，及特征差异不明显。

　　2.3.1 可变形卷积DCN v2

　　风机中胶衣脱落大小比例不一，而且旋转角度多变，对于这种目标，传统的卷积神经网络不能很好的对其进行检测，DCN方法将传统卷积核变成了可变形卷积结构，对感受野上的每一个点都加上一个偏移量offset，经过可变形卷积后的感受野不再是正方形，而是变得和目标的实际形状相匹配，这样无论目标怎么形变，卷积的感受野始终覆盖在目标形状周围。而DCN v2[19]使用了更多的可变形卷积，使得卷积层不仅能自学习offset，而且还能学习每个采样点的权重，通过分配这些学习到的权重给经过offset修正后的区域，能够实现更准确的特征提取，从而有效提高训练效果。

　　2.3.2 DIoU

　　首先介绍下IoU，IoU是产生的候选框与原标记框的交集与并集的比值，具体如下图所示：

　　图3 IoU解释图

　　若将图3中矩形A与B的重叠面积记为C，A与B的并集面积记为D，那么IoU可定义为：

　　由于直接用IOU作为loss，会存在一个问题，呢就是当预测的目标框和真实框没有重合时，loss为0，这样就没法优化了，因此，Rezatofighi H等人提出了GIOU loss。

　　图三中，我们将包围矩形框A和矩形框B最小框的面积记为

　　，GIoU可以定义为：

　　从公式（2）中可以看出，GIoU的取值范围为(-1,1]。当两个框不重合时，IOU始终未0，不论A、B相隔多远，但是对于GIoU来说，A，B不重合度越高，GIoU越趋近于-1。GIoU可以避免两个bbox不重合时loss为0的情况，同时也满足可导的条件。与IoU相比，GIoU不仅关注重叠区域，还关注其他的非重合区域，能更好的反映A、B的重合度。

　　3 改进算法的模型训练及评估

　　接下来将讲述数据集制作，模型训练及评估三个方面的内容。改进算法研究流程如图4所示。

　　图4. 改进算法的研究流程图

　　3.1 数据集

　　由无人机拍摄的风机胶衣脱落图片如图5所示，通过对风机胶衣脱落的图片进行90°旋转、水平旋转、垂直旋转、垂直水平旋转操作如图6所示。训练集、测试集图片分别为2000，500张，图像分辨率为1920*1080。

　　表1.数据集分配情况