Rice pest recognition based on multi-scale feature extraction depth residual network
-
摘要:目的
在水稻生产过程中，针对不同虫害需要采用不同的防治方案，水稻害虫的准确识别分类是制定针对性防治方案的前提。
方法采用深度学习结合机器视觉的方法，基于Res2Net结构提出了一种多尺度特征提取的深度残差网络，通过准确地提取害虫特征实现复杂自然背景下的水稻害虫识别；采用改进的残差结构，使用等级制的类残差连接取代了原本的3×3卷积核，增加了每个网络层的感受野，可以更细粒度地提取多尺度特征。
结果本网络训练的模型能够有效地识别自然背景下的水稻害虫，在自建的包含22类常见水稻害虫的图像数据集上，平均识别准确率达到了92.023%，优于传统的ResNet、VGG等网络。
结论本文提出的模型可应用于水稻虫情自动监测系统，为实现水稻害虫虫情的机器视觉监测提供参考。
Abstract:ObjectiveIn the process of rice production, different control schemes need to be adopted for different pests. The accurate identification and classification of rice pests are the premise of formulating targeted control program.
MethodA deep residual network of multi-scale feature extraction was proposed based on the Res2Net structure, which could extract pest characteristics more accurately and realize rice pest identification in complex natural background. This network adopted an improved residual structure, replaced the original convolutional kernel with hierarchical class residual connections, increased the sensing field of each network layer, and could extract multi-scale features at a more fine-grained degree.
ResultThe results showed that the model trained by this network could effectively identify rice pests in natural background. The average recognition accuracy of proposed model reached 92.023% on the self-built image dataset containing 22 kinds of the common rice pests, which was superior to the traditional ResNet, VGG and other networks.
ConclusionThis network can be applied to the automatic monitoring system of rice insect status, which provides a reference for the realization of machine vision monitoring of rice pests.
-
Keywords:
- Rice pest /
- Res2Net /
- Residual network /
- Deep learning /
- Image recognition /
- Image classification /
- Multi-scale feature
-
芒果具有良好的食用价值[1]，市场需求不断增加。市场对芒果的外部品质进行分级的主要指标是形状、颜色、大小以及表皮缺陷，其中，芒果的表皮缺陷对其能否在市场上的销售起决定性的作用。目前市场水果的大小和质量分选主要依靠机械工程技术[2-3]，而形状、颜色、表皮缺陷的检测大多由人工完成，劳动强度大、效率低、成本高。如果采用智能机器在自然环境下对果实进行采摘，将表皮缺陷的芒果与表皮完好的芒果分开，完成初步的分级，可避免对完好果实的污染及浪费。因此，对芒果果实进行表皮缺陷检测是目前需要解决的关键问题。
随着人工智能的发展，越来越多的算法应用在农产品加工领域，主要应用于果实的分类[4-6]、成熟度检测[7]、病虫害检测[8-9]及缺陷检测[10]。刘平等[11]采用Chan-Vese模型对贴叠葡萄串进行识别，识别准确率达89.71%；李江波等[12]采用分水岭算法对桃子表皮缺陷进行识别，取得了较高的准确率。然而面对复杂的自然环境，如遮挡、密集、光照等因素影响，传统的模型算法精度不能满足实际需求。更多的研究表明基于深度学习的模型较传统机器学习模型在速度和准确率方面表现更好[13-14]，运用神经网络算法对农产品进行识别[15-16]已成为热点。Jhuria等[17]运用神经网络对图像进行训练来识别苹果的表皮缺陷，实现了在线实时检测，Basavaraj等[18]运用神经网络对香蕉病害进行识别，实现了端到端的自动化识别。
目前已经提出了许多芒果表皮缺陷的识别算法。Sahu等[19]通过将RGB图转换为灰度图和二值图像，再执行滤波操作以去除背景和噪声来识别图像中的缺陷，能有效地识别出芒果表皮缺陷；但该方法只能进行单幅图像的识别操作，效率低。Huang等[20]采用支持向量机的方法进行芒果识别，并结合比色传感器阵列对芒果进行质量分级，在测试集的精度达到97.5%，具有无损、省时的特点。Sudarjat等[21]采用近红外光谱法能够准确检测芒果表皮的病害，但没有进行自然环境下的检测。Kestur等[22]采用基于语义分割的算法MangoNet对自然环境下的芒果进行检测，取得了比FCN网络[23]更好的结果，较机器学习模型有了更好的性能。然而，实际自然环境复杂多变，存在逆光、顺光、果实密集、遮挡与粘黏等现象，降低了以上模型检测的准确率。为此，本研究基于改进的DeepLabV3+语义分割算法[24]，识别自然环境下芒果的表皮缺陷，以期获得更好的识别精度，进而为芒果缺陷识别提供参考。
1. 材料与方法
1.1 试验材料
芒果图像采集于中国西南地区云南省玉溪市元江县，4个品种分别为‘鹰嘴芒’、‘金煌芒’、‘苹果芒’和‘贵妃芒’。图像采集时间分为白天和夜晚，在自然环境下共采集芒果图像820张，经过图像翻转、平移、镜像、缩放等几何变换后扩增数据集为1340张图像，图像的分辨率为1440像素×1080像素。按照6∶2∶2的比例划分训练集、验证集和测试集，训练集图像为804张，验证集、测试集的图像均为268张。将数据集类别划分为芒果、缺陷、茎梗、背景4种，图像的分辨率缩放为512像素×512像素。
1.2 图像预处理
由于数据集是在自然环境下采集的，存在果实相互遮挡的情况，为了使模型具有更好的泛化性，本文对图像进行随机遮挡处理。在试验数据集中发现芒果表皮存在细小的斑点，这些斑点是正常的生理现象，不影响芒果的质量，然而过于密集的斑点会导致模型将其误判为表皮缺陷。
针对表皮具有密集斑点的芒果，对图像进行闭运算(图1)，即依次进行膨胀、腐蚀处理，可以有效地去除表皮细小的斑点。首先进行膨胀处理，将图像与核进行卷积运算，取每个局部的最大值；图像的腐蚀处理是求取每个局部的最小值。本研究采用的核形态为矩形，大小为(1,1)，处理1次。采用闭运算去除芒果表皮颜色较浅的斑点，保留颜色较深的区域，具体计算如下：
$$ E = {\boldsymbol{I }}- S ， $$ (1) $$ D = {\boldsymbol{I}} + S， $$ (2) 式中，I为图像矩阵，S为结构单元，E为腐蚀后得到的图像，D为膨胀后得到的图像。
1.3 模型结构
1.3.1 联合上采样金字塔模块
采用DeepLabV3+算法对芒果表皮缺陷进行分割，并作出如下改进：使用联合金字塔上采样模块(Joint pyramid upsampling，JPU)[25]替换空洞空间卷积池化金字塔(Atrous spatial pyramid pooling，ASPP)模块，降低计算复杂度、提升运行速度。其次，采用扩张卷积(Atrous conv)[26]替换主干网络ResNet中部分常规卷积(Regular conv)，扩张卷积的在增大特征图感受野的同时，能够保持特征图尺寸，避免空间位置信息的损失，使模型收敛得更快，并提高其精度。
JPU模块：不同于ASPP只利用1个特征图(f5)中的信息，该模块将主干网络最后3个特征图(f3~f5)作为输入，使用多尺度上、下文模块产生最终的预测。首先，对每个输入特征图进行卷积使其通道数一样，然后进行上采样操作使其分辨率一致(图2a)，并行使用不同膨胀率(1、2、4、8)和4个可分离卷积提取特征(图2b)，膨胀率为2、4、8的卷积用于学习映射h，将ym转化为ys，较小的膨胀率有利于小目标的识别，较大的膨胀率能够增大感受野，对较大目标更敏感，从而在特征图中提取到多尺度信息。最后对其进行卷积生成最终的预测(图2c)，计算见下式：
![]()
图 2 联合上采样金字塔结构a表示3个特征图作为输入参数；b表示上采样后的特征图并行经过不同膨胀率和分离卷积后再融合；c表示经过卷积生成最终的特征图Figure 2. The structure of joint pyramid upsamplinga represents the three feature maps as input parameters, b represents the upsampled feature maps undergoing parallel operations of different expansion rates and separate convolution followed by concat, c represents the final feature map generated by convolution$$ h = \arg \min ||{y_{\rm{s}}} - h({y_{\rm{m}}})|| \text{，} $$ (3) 式中，h表示输入与输出的映射关系，ys表示输出的特征，ym表示输入的特征。
1.3.2 编码器与解码器
在编码器中对ResNet50网络进行修改，替换conv5 阶段的部分常规卷积为扩张卷积，得到Atrous-ResNet作为主干网络。Atrous-ResNet中不存在可分离卷积，并且除扩张卷积层之外，所有网络层均能加载ImageNet预训练模型参数，进行有效的初始化，大幅提升模型的精度和收敛速度。但是，主干网络中加入扩张卷积，会增加模型后续阶段的计算成本，因此只研究在ResNet网络的conv5 阶段加入扩张卷积的情况。主干网络各个阶段输出的图像为原图尺寸的1/2、1/4、1/8、1/16和1/32。在DeepLabV3+基础上引入了更多来自Encode模块的特征图(图3)，将f3~f5层特征图连接到Decoder模块，得到更多语义信息的同时具有更多的空间信息，使高层特征图对分割结果起到更大的作用。
1.3.3 评价指标
模型评价指标是衡量模型训练结果优劣的重要因素，能够直接反映出模型在训练集的学习效果及验证集的测试效果。采用的评价指标为类别像素准确率(Class pixel accuracy，CPA)、平均像素准确率(Mean pixel accuracy，MPA、平均交并比(Mean intersection over union，MIoU)。其中，MPA反映总体的多类别预测准确率，MIoU是语义分割模型的标准度量指标。评价指标的值越大，模型的效果越好。每种类别像素的准确率计算如下式。
$$ {{\rm{CPA}}} = \dfrac{{{P_{ii}}}}{{\displaystyle{\sum}_{i = 0}^{k - 1} {{P_{ij}}} }} \text{，} $$ (4) $$ {{\rm{MPA}}} = \dfrac{1}{k}\displaystyle{\sum\limits}_{i = 0}^{k - 1} {{{\rm{CPA}}}} \text{，} $$ (5) 式中，Pii表示第
$ i $ 个类别预测准确的数量，Pij表示将第$ i $ 类别物体预测为第$ j $ 类别的数量，Pji表示第j类别物体预测为第i类别的数量，$ i $ 表示真实类别，$ j $ 表示预测类别。$ k $ 为类别的数量，不考虑背景类别，因此k为3。$$ {{\rm{MIoU}}} = \dfrac{1}{{k + 1}}\displaystyle{\sum\limits}_{i = 0}^k {\dfrac{{{P_{ii}}}}{{\displaystyle{\sum\limits}_{j = 0}^k {{P_{ij}}} + \displaystyle{\sum\limits}_{j = 0}^k {{P_{ji}}} - {P_{ii}}}}} \text{。} $$ (6) 通过计算每一类真实值及预测值像素集合的交集和并集的比值，得到每一类别的交并比后，计算所有类别的平均值即为平均交并比，该指标在试验中能够较好地反映模型在不同类别区域分割的准确性和完整性。
2. 结果与分析
2.1 主干模型的训练与测试
试验环境：本研究采用Pytorch1.5深度学习框架，Python3.6语言，CPU：Intel i9-9900KF，GPU：NVIDIA RTX 2070。所有模型训练及测试都在同一硬件环境下进行，模型初始学习率为1×10−4，采用Adam优化器，对数据集训练了120次迭代，并且在线对数据进行随机裁剪、缩放、翻转、镜像等几何变换操作，采用基于ImageNet数据集的预训练模型。
为了比较模型在训练集的效果，将本文改进的模型Atrous-ResNet与DeepLabV3+算法Xception模型的损失值与平均像素准确率进行比较，结果如图4所示。Atrous-ResNet模型训练集的准确率达到97.30%，模型的损失值较Xception模型下降0.263，说明改进后模型的预测值与真实值的差异更小，预测结果与真实结果更接近；且平均交并比较原模型均有提升，本研究所作改进具有可行性。
2.2 多场景的识别效果比较
本研究采集了多种场景下的芒果图像，时间有白天和夜晚，数量分布情况分为果实密集、稀疏，位置上为果实遮挡与粘黏。在测试集中挑选白天及夜晚的芒果图像均为20幅，随机挑选果实密集及稀疏的图像均为15幅，随机挑选果实遮挡与粘黏的图像10幅，使用改进的模型Atrous-ResNet与DeepLabV3+模型分别进行检测，结果见图5。由图5可知，侧光照射下，芒果图像表皮纹理、缺陷清晰，是理想的光线环境；顺光照射下芒果表皮会有一定的反光现象，光线强的部分纹理不清晰，易造成漏识别；逆光照射下，芒果背景较暗，表皮纹理不清晰、缺陷边界模糊，增加了缺陷定位的难度。白天不同光照且果实稀疏时，DeepLabV3+模型与改进模型识别效果相近，但是改进模型在类别边界定位上更加平滑。在夜晚使用LED灯照明时，芒果的表皮纹理较清晰，但背景颜色暗，只能识别光线照射良好的芒果。芒果分布密集时，靠近镜头的芒果表皮较清晰，体型较大，模型易识别；远离镜头的芒果表皮不清晰且体型较小，导致模型难以识别缺陷。在芒果、茎梗密集且相互遮挡时，模型对于细小的缺陷部位难以定位。
2种模型在不同场景的测试集中进行测试(表1)，Atrous-ResNet模型对芒果识别的准确率较DeepLabV3+模型高，CPA上升3.79个百分点，MIoU上升4.57个百分点。总体来看，Atrous-ResNet模型在测试集的表现均优于DeepLabV3+模型，但在自然复杂场景下，芒果表皮较小的缺陷难以检测，模型的性能仍需要提升，特别是针对小目标的检测。
表 1 DeepLabV3+与Atrous-ResNet模型的评价指标比较Table 1. Comparison of evaluation indexes between DeepLabV3+ and Atrous-ResNet model% 模型 Model 类别像素准确率 Class pixel accuracy 平均像素准确率 Mean pixel accuracy 平均交并比 Mean intersection over union 芒果 Mango 缺陷 Defect 茎梗 Stalk DeepLabV3+ 92.03 91.29 88.74 90.69 89.56 Atrous-ResNet 94.16 95.32 93.95 94.48 94.13 2.3 多种算法在芒果表皮缺陷数据集的检测效果
为了进一步评价不同模型的优劣，探究多种算法对芒果表皮缺陷数据集的检测效果，选择有代表性的实时网络LinkNet[27]、标准网络SegNet[28]与Atrous-ResNet进行比较。
由图6可知，不同光照下，侧光照射下识别效果相对较好；不同密集程度下，果实稀疏的识别效果优于果实密集；不同时间段下，白天的情况复杂，识别效果多样，夜晚只有在光线良好的条件下才能有效识别；果实遮挡与粘黏条件下的识别效果较差。总体来说，Atrous-ResNet模型在不同场景下的识别效果均优于其他模型。
![]()
图 6 LinkNet、SegNet及Atrous-ResNet模型在不同场景下的识别效果对比Figure 6. Comparison of recognition performance among LinkNe, SegNet and Atrous-ResNet model in multi-scenarios表2为3种不同的算法对测试集评价指标的结果，Atrous-ResNet模型较LinkNet与SegNet算法有显著的提升，CPA上均高于LinkNet与SegNet，MPA较LinkNet算法提升13.02个百分点，较SegNet算法提升16.19个百分点；MIoU较LinkNet算法提升15.28个百分点，较SegNet算法提升19.96个百分点。同时发现，实时语义分割算法LinkNet在识别效果上优于SegNet算法。
表 2 不同算法的评价指标的比较Table 2. Comparison of evaluation indexes of different algorithms% 模型 Model 类别像素准确率 Class pixel accuracy 平均像素准确率 Mean pixel accuracy 平均交并比 Mean intersection over union 芒果 Mango 缺陷 Defect 茎梗 Stalk LinkNet 82.72 81.17 78.94 80.94 77.37 SegNet 80.49 77.14 75.68 77.77 72.69 Atrous-ResNet 94.27 94.58 93.03 93.96 92.65 3. 结论
本研究以芒果为研究对象，采用图像处理及语义分割相结合的方法对多场景下芒果表皮缺陷进行检测，主要结论如下。
1) 改进DeepLabV3+模型，主要在ResNet网络中添加Atrous卷积，有利于增大模型的感受野，其次采用JPU模块替换ASPP模块，能提取到更多的尺度特征，使模型预测的边界更加平滑，对细小缺陷的识别更准确。
2) Atrous-ResNet模型较原始DeepLabV3+模型，类别像素准确率有所提升，MPA为94.48%，MIoU为94.13%，满足自然复杂场景下芒果表皮缺陷识别的要求。
3) Atrous-ResNet模型的CPA、MPA及MIoU 均优于LinkNet和SegNet模型。
-
![]()
图 1 传统卷积结构(a)和残差卷积结构(b)
Figure 1. Conventional convolutional structure(a) and residual convolutional structure (b)
![]()
图 3 多尺度特征提取的深度残差网络结构图
Figure 3. Network structure diagram of depth residual network based on multi-scale feature extraction
![]()
图 7 ResNet50与本文网络_s=6的整体准确率和各种害虫准确率对比图
Figure 7. Comparisons of the overall accuracy rates and the accuracy rates of various pests between ResNet50 and this network _s=6
表 1 各类网络模型的性能对比
Table 1 Performance comparison of various network models
模型1)Model 准确率/% Accuracy 模型大小/MB Model size t识别2)/ms Recognition time t训练3)/min Training time AlexNet 80.566 233.0 61.81 135.3 ResNet18 88.397 42.7 60.88 133.1 ResNet34 89.123 81.3 89.73 138.1 ResNet50 90.345 90.1 136.60 145.8 VGG16 87.382 528.0 205.41 154.1 s=4 90.935 90.7 169.40 148.8 s=6 92.023 134.0 215.42 166.5 s=8 91.588 177.0 271.23 172.5 1) s=4、6或8分别代表特征维为4、6或8的本文网络模型；2)单张图片识别时间；3)迭代100次的训练时间 1) s=4, 6 or 8 represents the network model of this paper with characteristic dimension of 4, 6 or 8 respectively; 2) Recognition time of single image; 3) Training time of 100 epoches 
下载: 导出CSV
-
[1] 梁勇, 邱荣洲, 李志鹏, 等. 基于深度学习的水稻主要害虫识别方法[J/OL]. 农业机械学报, (2022-05-19)[2022-06-08]. http://kns.cnki.net/kcms/detail/11.1964.S.20220519.0919.002.html. [2] 杨红云, 肖小梅, 黄琼, 等. 基于卷积神经网络和迁移学习的水稻害虫识别[J]. 激光与光电子学进展, 2022, 59(16): 333-340. [3] 姚青, 谷嘉乐, 吕军, 等. 改进RetinaNet的水稻冠层害虫为害状自动检测模型[J]. 农业工程学报, 2020, 36(15): 182-188. doi: 10.11975/j.issn.1002-6819.2020.15.023 [4] 刘德营, 王家亮, 林相泽, 等. 基于卷积神经网络的白背飞虱识别方法[J]. 农业机械学报, 2018, 49(5): 51-56. doi: 10.6041/j.issn.1000-1298.2018.05.006 [5] 谢成军, 李瑞, 董伟, 等. 基于稀疏编码金字塔模型的农田害虫图像识别[J]. 农业工程学报, 2016, 32(17): 144-151. doi: 10.11975/j.issn.1002-6819.2016.17.020 [6] XIAO D Q, FENG J Z, LIN T Y, et al. Classification and recognition scheme for vegetable pests based on the BOF-SVM model[J]. International Journal of Agricultural and Biological Engineering, 2018, 11(3): 190-196. doi: 10.25165/j.ijabe.20181103.3477
[7] 张博, 张苗辉, 陈运忠. 基于空间金字塔池化和深度卷积神经网络的作物害虫识别[J]. 农业工程学报, 2019, 35(19): 209-215. doi: 10.11975/j.issn.1002-6819.2019.19.025 [8] 程科, 孙玮, 高尚. 一种水稻田稻飞虱图像识别的混合算法[J]. 农机化研究, 2015, 37(11): 17-21. doi: 10.3969/j.issn.1003-188X.2015.11.004 [9] 鲍文霞, 吴德钊, 胡根生, 等. 基于轻量型残差网络的自然场景水稻害虫识别[J]. 农业工程学报, 2021, 37(16): 145-152. doi: 10.11975/j.issn.1002-6819.2021.16.018 [10] LU X Y, YANG R, ZHOU J, et al. A hybrid model of ghost-convolution enlightened transformer for effective diagnosis of grape leaf disease and pest[J]. Journal of King Saud University (Computer and Information Sciences), 2022, 34(5): 1755-1767. doi: 10.1016/j.jksuci.2022.03.006
[11] LI H, LI S F, YU J G, et al. Plant disease and insect pest identification based on vision transformer[C]// SPIE. International Conference on Internet of Things and Machine Learning (IoTML 2021). Shanghai: SPIE , 2021: 194-201.
[12] YUAN L, CHEN Y, WANG T, et al. Tokens-to-token vit: Training vision transformers from scratch on imagenet[C]//IEEE/CVF. IEEE/CVF International Conference on Computer Vision. Montreal : IEEE/CVF, 2021: 558-567.
[13] HE K M, ZHANG X Y, REN S Q, et al. Deep Residual Learning for Image Recognition[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition. CA: IEEE, 2016: 770-778.
[14] GAO S H, CHENG M M, ZHAO K, et al. Res2Net: A new multi-scale backbone architecture[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(2): 652-662. doi: 10.1109/TPAMI.2019.2938758
[15] HE T, ZHANG Z, ZHANG H, et al. Bag of tricks for image classification with convolutional neural networks [C]//IEEE/CVF. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019). Los Angeles: IEEE/CVF, 2019: 558-567.
[16] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//JMLR. Proceedings of the 32nd International Conference on Machine Learning. Lille: W&CP, 2015: 448-456.
[17] LIN M, CHEN Q, YAN S. Network in network[J/OL]. Neural and Evolutionary Computing, (2013-10-16)[2022-04-26]. https://doi.org/10.48550/arXiv.1312.4400.
[18] WU X P, ZHAN C, LAI Y K, et al. IP102: A large-scale benchmark dataset for insect pest recognition[C]// IEEE/CVF. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019) . Los Angeles: IEEE/CVF, 2019: 8787-8796.
[19] 中国科技出版传媒股份有限公司. 中国生物志库[DB/OL]. (2008-08-28)[2022-04-26]. https://species.sciencereading.cn/biology/v/biologicalIndex/122.html. [20] 彭旭, 饶元, 乔焰. 基于宽度卷积神经网络的异常农情数据检测方法[J]. 华南农业大学学报, 2022, 43(2): 113-121. doi: 10.7671/j.issn.1001-411X.202103050 [21] PENG Z L, HUANG W , GU S Z , et al. Conformer: Local features coupling global representations for visual recognition[C]//IEEE/CVF. Proceedings of the IEEE/CVF International Conference on Computer Vision. Los Angeles: IEEE/CVF, 2021: 367-376.
计量
- 文章访问数: 516
- HTML全文浏览量: 8
- PDF下载量: 34
