Detection and identification of crop leaf diseases based on improved YOLOX-Nano
-
摘要:目的
实现精确迅速的农作物病害检测，减少人工诊断成本，降低病害带来的农作物产量和品质影响。
方法根据对农作物病害和病斑特征的分析，提出一种基于卷积注意力机制改进的YOLOX-Nano智能检测与识别模型，该模型采用CSPDarkNet作为主干网络，将卷积注意力模块CBAM引入到YOLOX-Nano网络结构的特征金字塔(Feature pyramid network，FPN)中，并在训练中引入Mixup数据增强方式，同时将分类的损失函数由二分类交叉熵损失函数(Binary cross entropy loss，BCE Loss)替换为焦点损失函数Focal Loss、回归损失函数由GIOU Loss替换为本文设计的CenterIOU Loss函数，采用迁移学习策略训练改进的YOLOX-Nano模型，以此提升农作物病害检测的精度。
结果改进后的YOLOX-Nano模型仅有0.98×106的参数量，在移动端测试单张图片检测时间约为0.187 s，平均识别精度达到99.56%。实践结果表明，其能快速有效地检测与识别苹果、玉米、葡萄、草莓、马铃薯和番茄等农作物的常见病害，且达到了精度与速度的平衡。
结论改进后的模型不仅对农作物叶片病害识别具有较高的精度和较快的检测速度，参数量和计算量较少，还易于部署在手机等移动端设备。该模型实现了在田间复杂环境对多种农作物病害精准定位与识别，对于指导早期农作物病害的防治具有十分重要的现实意义。
-
关键词:
- YOLOX-Nano网络 /
- 病害识别 /
- Focal Loss /
- 注意力机制 /
- 农作物病害
Abstract:ObjectiveTo identify crop diseases accurately and quickly, reduce the cost of artificial diagnosis, and reduce the impacts of crop diseases on crop yield and quality.
MethodBased on the analysis of the characteristics of crop diseases and spots, an improved YOLOX-Nano intelligent detection and recognition model based on convolution attention mechanism was proposed. The model employed CSPDarkNet as the backbone network, added convolutional attention module CBAM to the feature pyramid network (FPN) of the YOLOX-Nano network structure, and then introduced the mixup data enhancement method in the training. At the same time, the classification loss function was replaced by the binary cross entropy loss function (BCE Loss) with the focus loss function, the regression loss function of GIOU Loss was replaced by the CenterIOU Loss function designed in this paper, and a transfer learning strategy was also used to train the modified YOLOX-Nano model so as to improve the accuracy of crop disease detection.
ResultThe improved YOLOX-Nano model had parameters of 0.98×106, and the detection time of a single sheet was about 0.187 s at the mobile end, with a mean average precision of 99.56%. The practical results of introducing this method into mobile terminal deployment showed that it could quickly and effectively identify common diseases of crops such as apples, corns, grapes, strawberries, potatoes and tomatoes, and achieve the balance of accuracy and speed.
ConclusionThe improved model not only has higher accuracy and detection speed for crop leaf disease identification, but also has less parameters and calculation amount. The model was easy to be deployed on mobile devices such as mobile phones. In addition, the model achieves accurate positioning and identification of a variety of crop diseases in complex field environment, which is of great practical significance to guide the prevention and control of early crop diseases.
-
Keywords:
- YOLOX-Nano network /
- Disease identification /
- Focal Loss /
- Attention mechanism /
- Crop disease
-
普通大蓟马Megalurothrips usitatus又名豆大蓟马、豆花蓟马，隶属于缨翅目蓟马科大蓟马属，主要分布于澳大利亚、马来西亚、斯里兰卡、菲律宾、斐济、印度、日本等[1-3]，在我国海南、台湾、广东、广西、湖北、贵州、陕西等地也均有发生为害[4-5]。据报道，该虫有28种寄主，其中16种为豆科植物，目前它已成为危害华南地区豆科作物的主要害虫[6-9]，田间调查和室内试验均表明豇豆为其嗜好寄主[10-11]。普通大蓟马主要以锉吸式口器取食豇豆幼嫩组织的汁液，可造成叶片皱缩、生长点萎缩、豆荚痂疤等，严重影响豇豆品质[12-13]。此外，该虫体积小、发生量大、隐秘性强，大部分时间都躲在花中取食，从豇豆苗期至采收期均可为害[14-15]，以上特点均增加了农户的防治难度。当其为害严重时，农户只能增加施药频率和施药量，这也导致该虫对多种常用化学农药产生了严重的抗药性[16-17]。
目前关于普通大蓟马的研究主要集中在生物学特性[18]及综合防治技术[19-20]等层面，随着抗药性的不断发展与研究的不断深入，从分子层面解析普通大蓟马的抗药性机制和寄主选择机制等以寻求新型绿色防控方法势在必行，室内种群的大规模饲养是展开这些研究的基础。化蛹基质作为影响昆虫种群规模的关键因子，韩云等[21]曾指出普通大蓟马在含水量(w)为15%的砂壤土中羽化率显著高于砂土、壤土和黏土，但不适用于室内大规模饲养，因为实际应用中，存在土壤类型无法明确区分、配制砂壤土会增加人工饲养的工作量等问题。土壤以外的其他基质对普通大蓟马化蛹的适合度鲜见研究报道。
本研究以普通大蓟马为试验对象，室内观测其在沙子、蛭石和厨房用纸3种基质及无基质条件下的羽化规律，分析该虫对不同化蛹基质的适合度，以期为普通大蓟马的室内大规模饲养提供基础资料，为该虫的综合治理提供理论依据。
1. 材料与方法
1.1 供试材料
普通大蓟马于2017年采自广东省广州市增城区朱村豇豆田，采回后在RXZ-500C型智能人工气候箱(宁波江南仪器厂)内用豇豆豆荚饲养，饲养条件为温度(26±6) ℃，光照周期12 h光∶12 h暗，相对湿度(70±5)%。室内饲养多代后，选取发育一致的老熟2龄若虫(以体色变为橙红色为标准)进行室内试验。
供试基质包括沙子、蛭石、锯末和厨房用纸，并以无基质作为空白对照。试验前将沙子、蛭石和锯末置于DHG-9140型电热恒温鼓风干燥箱(上海精宏实验设备有限公司)中105 ℃恒温烘烤6 h备用。
1.2 试验方法
首先称取过筛烘干后的沙子50 g 3组，分别加入2.5、3.5和4.5 mL蒸馏水，充分混匀，配制成含水量(w)分别为5%、7%和9%的沙子化蛹基质；称取过筛烘干后的蛭石10 g 3组，分别加入10.0、12.5和15.0 mL蒸馏水，充分混匀，配制成含水量(w)分别为20%、25%和30%的蛭石化蛹基质；称取过筛烘干后的蛭石10 g 3组，分别加入12.5、15.0和17.5 mL蒸馏水，充分混匀，配制成含水量(w)分别为25%、30%和35%的锯末化蛹基质。将以上基质分别转移至350 mL玻璃组培瓶内，基质深度均为5 cm，将厨房用纸对折成合适大小后平铺在组培瓶底部作为基质。在所有基质上放置纱网，再加入1根新鲜的豇豆豆荚(长度约4~5 cm)，分别接入50头普通大蓟马老熟2龄若虫，用250目纱布封口后置于人工气候箱中饲养，每日观察并记录成虫羽化数量。每个处理设6次重复。设置不加入任何化蛹基质的空白对照。
含水量的测定方法按以下公式[22]进行：
含水量=实际含水质量/烘干后基质质量×100%。
1.3 数据分析
运用SPSS 24.0软件进行试验数据处理分析，不同基质及含水量对普通大蓟马羽化率、蛹历期和性比(雄性∶雌性)的影响采用单因素方差分析，并运用Duncan’s法检验差异显著性。
2. 结果与分析
2.1 不同基质对普通大蓟马羽化率、蛹历期和性比的影响
普通大蓟马在不同基质中的羽化率、蛹历期和性比具有显著差异(图1)。由图1A可知，普通大蓟马在厨房用纸中的羽化率显著高于其他基质，为54.33%，其次为含水量5%(w)的沙子，羽化率为44.67%；锯末最不适宜于普通大蓟马羽化，在含水量(w)为25%、30%、35%的锯末中普通大蓟马的羽化率分别为10.33%、5.33%、16.67%，显著低于空白对照与其他基质。
![]()
图 1 不同基质对普通大蓟马羽化率、发育历期和性比(雄性∶雌性)的影响1~3分别为含水量(w)为5%、7%和1%的沙子，4~6分别为含水量(w)为20%、25%和30%的蛭石，7~9分别为含水量(w)为25%、30%和35%锯末，10：厨房用纸，11：无基质；各图中的不同小写字母表示差异显著(P<0.05，Duncan’s法)Figure 1. Effects of different substrates on eclosion rate, pupa developmental period and male-female ratio of Megalurothrips usitatus1: Sand with 5% moisture, 2: Sand with 7% moisture, 3: Sand with 10% moisture, 4: Vermiculite with 20% moisture, 5: Vermiculite with 25% moisture, 6: Vermiculite with 30% moisture, 7: Sawdust with 25% moisture, 8: Sawdust with 30% moisture, 9: Sawdust with 35% moisture, 10: Kitchen paper, 11: No substrate; Different lowercase leters in the same figure indicated significant difference among different substrate (P<0.05, Duncan’s method)由图1B可知，普通大蓟马在含水量5%(w)的沙子中蛹的发育历期最短，为5.29 d，其次为含水量7%(w)的沙子，为6.01 d，在其他基质中的蛹期则无显著差异，在6.14~7.16 d。
由图1C可知，普通大蓟马在含水量30%(w)的蛭石中性比最高，为0.60，含水量10%(w)的沙子和30%(w)的蛭石性比相对较低，分别为0.12和0.06，在其他基质中性比无显著差异。
2.2 不同基质条件下普通大蓟马的羽化情况
由表1数据可知，沙子含水量(w)为5%时普通大蓟马羽化最早，始于第2天；其次为蛭石，羽化始于第4天，其他条件下羽化均始于第3天；以锯末为基质时羽化最晚，始于第5天。沙子含水量(w)为5%和厨房用纸条件下，羽化高峰出现在第5天，羽化率分别为21%和22.67%；次高峰在第6天，羽化率分别为14.33%和21%。沙子含水量(w)为9%、锯末以及空白对照下羽化高峰出现在第7天，其他条件下羽化高峰均出现在第6天。不同基质类型及含水量条件下，普通大蓟马的羽化均结束于第8天或第9天，与不同基质培养条件下普通大蓟马蛹期之间的差异相对应。
表 1 不同基质对普通大蓟马逐日羽化率的影响1)Table 1. Effects of differents substrates on daily eclosion rate of Megalurothrips usitatus% t/d 沙子含水量(w) Water content in sand 蛭石含水量(w) Water content in vermiculite 5% 7% 9% 20% 25% 30% 1 0 0 0 0 0 0 2 1.67±0.42c 0 0 0 0 0 3 1.00±1.68c 0 0 0 0 0 4 1.33±0.67c 5.33±0.33c 0.33±0.33b 0 0 0 5 21.00±3.82a 5.33±2.17b 2.67±1.91b 3.00±2.30bc 10.33±3.48ab 0.33±0.33b 6 14.33±4.66b 17.33±1.76a 2.67±1.91b 11.67±2.09a 14.67±3.33a 7.67±2.22a 7 2.33±0.80c 5.00±0.85b 8.67±1.84a 6.33±2.28b 7.67±1.74bc 6.67±1.52a 8 0.67±0.42c 0.67±0.67c 0.67±0.42b 4.00±1.35bc 4.00±1.37cd 1.67±0.94b 9 0 0 0.33±0.33b 0.67±0.42b 0 0.67±0.42b 10 0 0 0 0 0 0 3. 讨论与结论
化蛹基质的类型对普通大蓟马化蛹具有一定影响，本研究发现锯末和蛭石不适宜于普通大蓟马化蛹，锯末和蛭石不同含水量条件下大蓟马的羽化率都显著低于空白对照。有研究指出土壤中砂土含量低于30%时，蓟马若虫不能化蛹[23]，蓟马在砂壤土中的羽化率也显著高于砂土、黏土、壤土等单一土壤[21]。
化蛹基质的含水量对普通大蓟马化蛹具有显著影响，本研究发现当沙子含水量(w)为5%时，羽化率仅次于厨房用纸，高达44.67%，与孟国玲等[23]关于豆带蓟马Taenithripsglycines在含水量(w)为5.7%时羽化率最高(43.63%)的报道相对一致。韩云等[21]研究发现普通大蓟马在含水量(w)为15%的砂壤土中羽化率最高，为52.08%，而土壤含水量(w)5%时羽化率仅为6.67%。这与本研究结果不符，究其原因可能是不同类型的基质吸水力与保水力不同，导致在相同的绝对含水量下湿度有差异。此外，有研究曾指出高含水量不利于蓟马化蛹[24]，这与本研究结果相一致，沙子含水量(w)5%时的羽化率显著高于含水量(w)7%和10%。
在本研究中，成虫性比普遍低于1∶1，含水量(w)30%的蛭石羽化性比最高，为0.6，含水量(w)30%锯末最低，为0.06，其他处理的性比无显著差异，为0.12~0.48。张念台[8]和谭柯[24]在田间调查的结果也显示其成虫性比低于1∶1，后代总是偏于雌性，谭柯[24]则表示后代偏雌性可能是蓟马暴发的原因之一。这与本研究结果相一致，后代偏于雌性。
本研究发现普通大蓟马在厨房用纸中的羽化率最高，蛹发育历期与其他基质相比无明显差异，且以厨房用纸为化蛹基质时，可以清楚地观察到普通大蓟马蛹期的形态特征变化，可以随时根据试验需求收集不同时期的若虫或成虫。虽然沙子含水量(w)5%时蛹发育历期最短且羽化率也较高，但蓟马一旦入土化蛹便无法继续观察形态或收集虫体。因此，本试验条件下，厨房用纸是最适合室内普通大蓟马大量饲养的化蛹基质。
-
![]()
图 1 PlantVillage部分数据集
1~4 依次为苹果黑星病、黑腐病、松锈病和健康叶；5~8依次为玉米灰斑病、锈病、健康叶和大斑病；9~12依次为葡萄黑腐病、轮斑病、褐斑病和健康叶；13~15依次为马铃薯早疫病、晚疫病和健康叶；16~17 依次为草莓叶焦病和健康叶；18~27 依次为番茄疮痂病、早疫病、晚疫病、叶霉病、斑枯病、红蜘蛛损伤、斑点病、黄叶曲叶病、花叶病毒病和健康叶；28为无叶片背景图
Figure 1. Partial dataset of PlantVillage
1−4 are apple scab, apple black rot, cedar apple rust and apple healthy leaves in turn; 5−8 are corn Cercospora zeaemaydis Tehon and Daniels, corn Puccinia polysora, corn healthy leaves and corn Curvularia leaf spot fungus; 9−12 are grape black rot, grape black measles, grape leaf blight fungus and grape healthy leaves in turn; 13−15 are potato early blight, potato late blight and potato healthy leaves in turn; 16−17 are strawberry leaf scorch and healthy leaves in turn; 18−27 are tomato bacterial spot bacteria, tomato early blight, tomato late blight water mold, tomato leaf mold, tomato septorial leaf spot, tomato spider mite damage, tomato target spot bacteria, tomato YLCV virus, tomato ToMV disease and tomato healthy leaves in turn; 28 is bladeless background image
![]()
图 2 YOLOX-Nano网络结构和改进后的YOLOX-Nano网络结构
Figure 2. Network structure of YOLOX-Nano and improved YOLOX-Nano
![]()
图 4 Mixup数据增强策略示意图(以玉米灰斑病为例)
Figure 4. Schematic diagram of mixup data enhancement strategy(Take corn Cercospora zeaemaydis as an example )
![]()
图 5 α和β相同时的Beta分布概率密度曲线
Figure 5. Probability density curve of beta distribution while α and β were equal
![]()
图 9 Grad-CAM可视化添加CBAM前后玉米叶片特征提取的热力图
图片的颜色由黑到蓝再到黄直到红，依次表示网络对某区域特征关注逐渐增多
Figure 9. Grad-CAM visual characteristic extraction thermal diagram of corn leaf before and after adding CBAM
The color of the image changes from black to blue, then yellow to red, indicating that the network gradually pays more attention to the characteristics of a certain area
![]()
图 10 训练阶段(a)和测试阶段(b)分类损失变化曲线图
Figure 10. Classification loss curve during training(a) and test(b) phases
![]()
图 11 模型改进前后网络精度随迭代次数变化曲线图
Figure 11. Curve of network accuracy changing with number of iterations before and after model improvement
表 1 与主流轻量型网络性能对比
Table 1 Performance of the model versus mainstream lightweight network
模型
Model参数量(×106)
No. of parameters平均精确率/%
Mean average precision单张图片检测时间/s
Detection time of single imageYOLOX-Nano 0.92 97.97 0.176 ResNet-18 11.24 98.60 0.429 MobileNet-v2 3.40 97.33 0.189 YOLOv4-Tiny 6.06 97.42 0.382 YOLOX-Tiny 5.06 98.58 0.286 改进YOLOX-Nano
Improved YOLOX-Nano0.98 99.56 0.187 
下载: 导出CSV
-
[1] 刘翱宇, 吴云志, 朱小宁, 等. 基于深度残差网络的玉米病害识别[J]. 江苏农业学报, 2021, 37(1): 67-74. doi: 10.3969/j.issn.1000-4440.2021.01.009 [2] SRDJAN S, MARKO A, ANDRAS A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016(6): 3289801. doi: 10.1155/2016/3289801.
[3] ALBATTAH W, NAWAZ M, JAVED A, et al. A novel deep learning method for detection and classification of plant diseases[J]. Complex & Intelligent Systems, 2021, 8(2): 507-524.
[4] 刘洋, 冯全, 王书志. 基于轻量级CNN的植物病害识别方法及移动端应用[J]. 农业工程学报, 2019, 35(17): 194-204. doi: 10.11975/j.issn.1002-6819.2019.17.024 [5] SALEEM M H, POTGIETER J, ARIF K M. Plant disease classification: A comparative evaluation of convolutional neural networks and deep learning optimizers[J]. Plants (Basel, Switzerland), 2020, 9(10): 1319. doi: 10.3390/plants9101319.
[6] 孙俊, 谭文军, 毛罕平, 等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报, 2017, 33(19): 209-215. doi: 10.11975/j.issn.1002-6819.2017.19.027 [7] 李书琴, 陈聪, 朱彤, 等. 基于轻量级残差网络的植物叶片病害识别[J]. 农业机械学报, 2022, 53(3): 243-250. doi: 10.6041/j.issn.1000-1298.2022.03.025 [8] GE Z, LIU S T, WANG F, et al. YOLOX: Exceeding YOLO series in 2021[EB/OL]. arXiv: 2107.08430. 2021: https://arxiv.org/abs/2107.08430.
[9] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional block attention module[C]//European Conference on Computer Vision. Cham: Springer, 2018: 3-19.
[10] ZHANG H, CISSE M, DAUPHIN Y N, et al. Mixup: Beyond empirical risk minimization[EB/OL]. 2017: arXiv: 1710.09412. https://arxiv.org/abs/1710.09412.
[11] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017: 2999-3007.
[12] WANG C Y, MARKLAO H Y, WU Y H, et al. CSPNet: A new backbone that can enhance leaming capablity of CNN[C]//2020 IEEE/CVF Conerence on Computer Vsion and Pattern Recognition Workshops(CVPRW). Seattle, WA, USA: IEEE, 2020: 1571-1580.
[13] LIN T, DOLLAR P, GIRSHICK R, et al. Feature pyramid networksifor object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 936-944
[14] LlU S, QI L, QIN H F, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 8759-8768.
[15] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: Common objects in context[C]//European Conference on Computer Vision. Cham: Springer, 2014: 740-755.
[16] EVERINGHAM M, ALIESLAMI S M, VAN GOOL L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136. doi: 10.1007/s11263-014-0733-5
[17] SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2): 336-359.
[18] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2015, 37(9): 1904-1916. doi: 10.1109/TPAMI.2015.2389824
[19] 王立舒, 秦铭霞, 雷洁雅, 等. 基于改进YOLOv4-Nano的蓝莓成熟度识别方法[J]. 农业工程学报, 2021, 37(18): 170-178. [20] 赵志成, 罗泽, 王鹏彦, 等. 基于深度残差网络图像分类算法研究综述[J]. 计算机系统应用, 2020, 28(1): 14-21. doi: 10.15888/j.cnki.csa.007243 [21] 孙云云, 江朝晖, 董伟, 等. 基于卷积神经网络和小样本的茶树病害图像识别[J]. 江苏农业学报, 2019, 35(1): 48-55. doi: 10.3969/j.issn.1000-4440.2019.01.007 [22] 李晓振, 徐岩, 吴作宏, 等. 基于注意力神经网络的番茄叶部病害识别系统[J]. 江苏农业学报, 2020, 36(3): 561-568. doi: 10.3969/j.issn.1000-4440.2020.03.005 [23] 王艳玲, 张宏立, 刘庆飞, 等. 基于迁移学习的番茄叶片病害图像分类[J]中国农业大学学报, 2019, 24(6): 124-130. [24] 邱靖, 刘继荣, 曹志勇, 等. 基于卷积神经网络的水稻病害图像识别研究[J]. 云南农业大学学报(自然科学), 2019, 34(5): 884-888. -
期刊类型引用(8)
1. 樊江川，王源桥，苟文博，蔡双泽，郭新宇，赵春江. 基于实例分割技术的草莓叶龄及冠幅表型快速提取方法. 智慧农业(中英文). 2024(02): 95-106 . 
百度学术
2. 李坤，刘婧，齐赫. 基于分层特征交叉注意力的小样本马铃薯病害叶片识别. 江苏农业科学. 2024(10): 210-216 . 百度学术
3. 冯玉涵，孙剑，张志芳. 基于层间特征蒸馏网络的作物叶片病害检测. 中国农机化学报. 2024(09): 271-277 . 百度学术
4. 李凤妹，龚青松，李奔奔，张敏，丁一，吕军. 基于改进YOLO v5s模型的水稻病虫害监测系统. 农业工程技术. 2024(20): 17-20 . 百度学术
5. 杨欢，王钧，李广，吴江琪，谈燕. 大田环境下青贮玉米枯叶病检测模型. 软件导刊. 2024(09): 193-199 . 百度学术
6. 方晓捷，严李强，张福豪，高心雨. 基于深度学习的农作物图像识别的发展. 江苏农业科学. 2024(20): 18-24 . 百度学术
7. 麻剑钧，刘晓慈，金龙新，熊伟，易森林，封春芳，刘阳，夏先亮. 基于机器视觉的农作物病害识别研究进展. 湖南农业科学. 2023(09): 97-100 . 百度学术
8. 郭文娟，冯全. 基于类激活映射的可解释性方法在农作物检测识别中的发展现状与趋势. 智能化农业装备学报(中英文). 2023(04): 41-48 . 百度学术
其他类型引用(12)
计量
- 文章访问数: 170
- HTML全文浏览量: 19
- PDF下载量: 30
- 被引次数: 20
