Extraction of litchi fruit pericarp defect based on a fully convolutional neural network
-
摘要:目的
增强荔枝表皮缺陷提取效果,满足其品质检测分级准确性要求。
方法采用Tensorflow框架构建基于AlexNet的全卷积神经网络AlexNet-FCN,以ReLU为激活函数,Max-pooling为下采样方法,Softmax回归分类器的损失函数作为优化目标,建立荔枝表皮缺陷提取的全卷积神经网络模型,并用批量随机梯度下降法对模型进行优化。
结果模型收敛后在验证集上裂果交并比 (IoUd) 为0.83,褐变交并比 (IoUb) 为0.60,褐变与裂果的总体交并比 (IoUa) 为0.68;与利用线性SVM、朴素贝叶斯分类器缺陷提取效果相比,该模型的特征提取能力显著提高。
结论全卷积神经网络在水果表面缺陷提取中具有良好的应用前景。
Abstract:ObjectiveTo enhance the effects of litchi fruit pericarp defect extraction and satisfy the accuracy requirements of quality detection and classification.
MethodA fully convolutional neural network was built up based on AlexNet (AlexNet-FCN) using Tensorflow framework, with ReLU as the activation function, Max-pooling as the down-sampling method and loss function of Softmax regression classifier as the optimization target. Mini-batch stochastic gradient descent (Mini-batch SGD) was used to optimize the model.
ResultWhen the model was converged, the intersection-over-union of dehiscent area (IoUd) of litchi fruit cracking was 0.83 for the validation set, the intersection-over-union of brown area (IoUb) was 0.60, and the intersection-over-union of both dehiscent and brown area (IoUa) was 0.68. Compared with linear-support vector machine (SVM) and Naïve Bayes classifier, AlexNet-FCN had a stronger defect extraction ability.
ConclusionFully convolutional networks (FCN) have a good prospect for application of fruit pericarp defect extraction.
-
褐飞虱Nilaparvata lugens(Stål)属半翅目同翅亚目飞虱科(Homoptera: Delphacidae),是典型的r–对策型害虫,具有易暴发、远距离迁飞等特点,自20世纪60年代以来已成为我国水稻Oryza sativa的首要害虫[1-2]。褐飞虱除直接危害水稻外,还可以传播水稻从矮缩病等植物病毒病,引起水稻等作物的大面积受害,造成严重的经济损失[3-4]。化学防治一直是控制褐飞虱的重要途径[5],但长期大面积使用单一农药品种,不仅污染环境,而且会使褐飞虱抗药性水平不断提高,亚洲不少国家和地方的褐飞虱几乎对当前所有常用农药品种均产生了不同程度的抗药性[6-11]。20世纪80年代中后期,噻嗪酮被引入我国用于防治褐飞虱,2005年监测到褐飞虱对噻嗪酮已产生低水平抗性[12],2010监测到褐飞虱对噻嗪酮已产生高水平抗性[10]。新烟碱类杀虫剂吡虫啉1995年被引入我国防治褐飞虱,一直是稻飞虱的主要防治药剂,但在2005年检测到褐飞虱对吡虫啉已产生极高抗性,随后农业部发文要求暂停使用吡虫啉防治高抗褐飞虱,但最近报道发现褐飞虱对吡虫啉抗性依然有上升趋势[8-9, 13-14]。2005年,吡虫啉在褐飞虱的防治上被停用后,噻虫嗪和吡蚜酮成为我国褐飞虱防治的主要药剂[8-9],导致褐飞虱对噻嗪酮和吡蚜酮的抗药性不断上升。
褐飞虱属迁飞性害虫,各地用药水平不同,而广东作为褐飞虱从东南半岛迁入我国的第一站,也是稻飞虱回迁东南半岛的出口,因此,在亚洲稻区褐飞虱的发生和防治上,广东稻区处于极其重要的地理位置。有必要长期、系统地监测广东不同地方褐飞虱种群对常用药剂的抗性水平,为科学指导田间用药和开展褐飞虱抗药性治理提供依据。本研究采用稻苗浸渍法,测定广东省7个不同稻区褐飞虱种群对噻嗪酮、吡虫啉、噻虫嗪和吡蚜酮等4种常用杀虫剂的抗药性。
1. 材料与方法
1.1 材料
2015年10月和2016年8—10月,分别从广东省广州市、雷州市、连州市、南雄市、海丰县、大埔县和怀集县等7个地方稻田采集褐飞虱高龄若虫或成虫,在温室内的人工气候箱中采用未经药剂处理过的水稻(水稻品种为‘TN1’)幼苗饲养,隔离饲养至下一代,然后挑选3龄若虫进行抗药性测定。
96%(w)噻嗪酮原药和96%(w)吡虫啉原药购自广东大丰植保科技有限公司;99.1%(w)噻虫嗪原药购自先正达(中国)投资有限公司;25%(w)吡蚜酮可湿性粉剂购自苏安邦电化有限公司。
1.2 方法
采用稻苗浸渍法测定抗药性。选取‘TN1’种子进行浸泡和催芽处理,在温室内用塑料杯(直径6 cm,高7.5 cm)种植,每杯均匀播种 5~7 粒。20 d后,用剪刀剔除多余的稻苗,每杯留3株生长最为健壮的稻苗待用。在电子天平(精度为万分之一)上准确称取药剂,用丙酮稀释成一定浓度的母液, 用含有φ为0.1%的吐温–80的蒸馏水稀释母液,每种药剂按等比系列稀释成6个浓度,将稻苗分别在不同浓度的药液中浸泡 30 s,以含有φ为0.1%吐温–80的蒸馏水作为对照,每个浓度重复4次,接入3龄若虫,每杯 20 头,罩上纱网罩。静置2 h后,剔除损伤个体,然后将装置放入(26±1) ℃,光周期为 16 h光∶8 h暗的人工气候箱中。4 d后检查若虫死亡数量,以细毛笔触动虫体后不能运动作为死亡标准。对照组死亡率超过20%时试验无效。
1.3 数据处理
根据测定数据计算并得到药剂毒力回归方程、LC50值及95%置信区间和相关系数,利用统计软件DPS处理相关数据。以LC50的95%置信区间是否重叠判断不同来源地褐飞虱种群对同一种杀虫剂的抗性是否差异显著[9]。
抗性倍数(Resistance ratio,RR)=所测种群LC50/敏感种群LC50。
抗性水平按文献[15]分级: RR< 3为敏感阶段; 3.1≤RR<5.0为敏感性下降阶段; 5.1≤RR<10.0为低水平抗性; 10.1≤RR<40.0为中等水平抗性; 40.1≤RR<160.0为高水平抗性; RR>160.1为极高水平抗性。褐飞虱对噻嗪酮、吡虫啉、噻虫嗪和吡蚜酮的敏感基线分别为0.07、0.08、0.11和2.57 mg·L–1[9]。
2. 结果与分析
2.1 广东褐飞虱种群对噻嗪酮的抗性
从表1可以看出,除广州市褐飞虱种群对噻嗪酮抗性倍数为93.4倍,属高水平抗性外,其他6个地方褐飞虱种群对噻嗪酮抗性倍数为324.6~1497.8倍,属极高水平抗性。广东省不同地方褐飞虱种群对噻嗪酮的抗性差异较大,其中大埔县褐飞虱种群对噻嗪酮的抗性为广州市褐飞虱种群对噻嗪酮的抗性的16倍。从LC50置信限来看,广州市褐飞虱种群对噻嗪酮的抗性与广东省其他6个地方褐飞虱对噻嗪酮的抗性差异显著;南雄市、怀集县和海丰县褐飞虱种群对噻嗪酮的抗性差异不显著;连州市、雷州市和大埔县褐飞虱种群对噻嗪酮的抗性差异不显著。
表 1 广东褐飞虱种群对噻嗪酮的抗性Table 1. Resistance of Nilaparvata lugens populations to buprofezin in Guangdong Province种群来源 毒力回归方程1) LC50/(mg·L–1) LC5095%置信限2)/(mg·L–1) 相关系数 抗性倍数 广州市 y=4.502 8+0.609 8x 6.536 4 0.905 6~12.766 2 0.966 4 93.4 南雄市 y=3.434 4+1.154 2x 22.720 6 16.430 1~31.035 8 0.937 2 324.6 怀集县 y=3.784 4+0.856 7x 26.238 9 16.034 9~36.756 4 0.912 8 374.8 海丰县 y=3.954 2+0.735 9x 26.378 2 16.766 2~47.039 7 0.948 2 376.8 连州市 y=3.328 4+0.889 7x 75.650 3 52.998 3~110.365 2 0.946 3 1 080.7 雷州市 y=2.800 5+3.040 9x 77.390 4 55.076 7~103.894 1 0.931 4 1 105.6 大埔县 y=3.593 5+0.696 1x 104.847 8 62.190 5~186.993 5 0.938 1 1 497.8 1) x 表示杀虫剂质量浓度,y 表示峰面积;2) 数据范围有重叠表明不同来源地褐飞虱种群对噻嗪酮的抗性差异不显著 2.2 广东褐飞虱种群对吡虫啉的抗性
表2结果表明,广东省不同地方褐飞虱种群对吡虫啉抗性倍数为161.9~3 576.4倍,均高于160.1倍,属极高水平抗性。广东省不同地方褐飞虱种群对吡虫啉的抗性差异较大,其中连州市褐飞虱种群对吡虫啉的抗性为广州市褐飞虱种群吡虫啉的抗性的22倍。从LC50置信限来看,广州市褐飞虱种群对吡虫啉的抗性与广东省其他6个地方褐飞虱对吡虫啉的抗性差异显著;海丰县、南雄市和雷州市3个地方褐飞虱种群对吡虫啉抗性差异不显著;连州市褐飞虱种群对吡虫啉抗性与大埔县褐飞虱种群对吡虫啉抗性差异不显著,但与广东省其他5个地方褐飞虱种群对吡虫啉的抗性差异显著。
表 2 广东褐飞虱种群对吡虫啉的抗性Table 2. Resistance of Nilaparvata lugens populations to imidacloprid in Guangdong Province种群来源 毒力回归方程1) LC50/(mg·L–1) LC5095%置信限2)/(mg·L–1) 相关系数 抗性倍数 广州市 y=4.161 6+1.850 3x 12.954 6 5.811 5~20.468 0 0.954 6 161.9 海丰县 y=3.877 2+0.305 4x 41.679 0 33.513 0~52.518 0 0.981 1 521.0 南雄市 y=3.710 4+0.761 0x 49.502 8 31.029 9~118.548 1 0.955 3 618.8 雷州市 y=2.114 0+1.609 0x 62.195 1 46.408 8~81.447 1 0.966 7 777.4 怀集县 y=2.487 0+1.283 5x 90.753 1 67.393 7~138.809 9 0.986 6 1 134.4 大埔县 y=3.650 4+0.594 9x 185.682 4 101.728 8~302.342 6 0.943 6 2 321.0 连州市 y=2.863 0+0.869 9x 286.111 9 166.087 2~407.362 6 0.906 7 3 576.4 1) x 表示杀虫剂质量浓度,y 表示峰面积;2) 数据范围有重叠表明不同来源地褐飞虱种群对吡虫啉的抗性差异不显著 2.3 广东褐飞虱种群对噻虫嗪的抗性
从表3可以看出,广州市、南雄市和怀集县褐飞虱种群对噻虫嗪抗性倍数分别为61.0、102.1和122.6倍,属高水平抗性,其他4个地方褐飞虱种群对噻虫嗪抗性倍数为171.0~517.8倍,属极高水平抗性。广东省不同地方褐飞虱种群对噻虫嗪的抗性差异较大,从LC50置信限来看,广州市褐飞虱种群对噻虫嗪的抗性与南雄市褐飞虱种群对噻虫嗪的抗性差异不显著,但与广东省其他5个地方褐飞虱对噻虫嗪的抗性差异显著;南雄市、怀集县、大埔县3个地方褐飞虱种群对噻虫嗪抗性差异不显著;大埔县、海丰县、连州市和雷州市4个地方褐飞虱种群对噻虫嗪抗性差异不显著。
表 3 广东褐飞虱种群对噻虫嗪的抗性Table 3. Resistance of Nilaparvata lugens populations to thiamethoxam in Guangdong Province种群来源 毒力回归方程1) LC50/(mg·L–1) LC5095%置信限2)/(mg·L–1) 相关系数 抗性倍数 广州市 y=3.060 6+2.345 1x 6.714 6 3.870 9~9.367 9 0.928 3 61.0 南雄市 y=2.108 8+2.752 0x 11.235 6 8.444 6~13.788 1 0.953 1 102.1 怀集县 y=2.914 3+1.845 6x 13.490 9 10.691 8~16.249 64 0.962 1 122.6 大埔县 y=3.729 9+0.996 6x 18.812 8 12.372 9~26.429 7 0.976 7 171.0 海丰县 y=3.365 6+1.256 7x 19.978 3 14.592 4~28.888 6 0.984 3 181.6 连州市 y=3.039 2+1.267 4x 35.246 1 26.804 1~49.442 7 0.980 8 320.4 雷州市 y=3.338 4+0.603 0x 56.958 9 15.242 8~168.715 2 0.940 4 517.8 1) x 表示杀虫剂质量浓度,y 表示峰面积;2) 数据范围有重叠表明不同来源地褐飞虱种群对噻虫嗪的抗性差异不显著 2.4 广东褐飞虱种群对吡蚜酮的抗性
从表4可以看出,南雄市褐飞虱种群和广州市褐飞虱种群对吡蚜酮的抗性倍数分别为3.7和4.6倍,说明南雄市褐飞虱种群和广州市褐飞虱种群对吡蚜酮表现为敏感下降;雷州市、海丰县、连州市和怀集县褐飞虱种群对吡蚜酮的抗性倍数为5.5~9.4倍,表明这4个地方褐飞虱种群对吡蚜酮已产生低水平抗性;大埔县褐飞虱种群对吡蚜酮的抗性倍数为11.0倍,说明大埔县褐飞虱种群对吡蚜酮已产生中等抗性水平。从LC50置信限来看,除南雄市褐飞虱种群对吡蚜酮抗性与大埔县褐飞虱种群对吡蚜酮抗性差异显著外,其余6个地方褐飞虱种群对吡蚜酮抗性差异不显著。
表 4 广东褐飞虱种群对吡蚜酮的抗性Table 4. Resistance of Nilaparvata lugens populations to pymetrozine in Guangdong Province种群来源 毒力回归方程1) LC50/(mg·L–1) LC5095%置信限2)/(mg·L–1) 相关系数 抗性倍数 南雄市 y=2.458 3+2.580 8x 9.427 7 6.570 8~12.030 5 0.930 7 3.7 广州市 y=4.143 5+0.798 1x 11.833 6 5.221 6~18.540 6 0.954 4 4.6 雷州市 y=3.998 4+0.871 2x 14.112 7 12.838 0~32.732 6 0.982 8 5.5 海丰县 y=4.482 2+0.442 6x 14.790 2 8.853 2~32.564 6 0.974 0 5.8 连州市 y=2.558 3+1.183 9x 15.439 2 8.483 4~27.066 9 0.990 7 6.0 怀集县 y=3.965 3+0.747 5x 24.229 4 12.758 7~35.849 5 0.975 0 9.4 大埔县 y=4.318 2+0.470 4x 28.149 5 12.481 1~57.011 7 0.938 9 11.0 1)x 表示杀虫剂质量浓度,y 表示峰面积;2) 数据范围有重叠表明不同来源地褐飞虱种群对吡蚜酮的抗性差异不显著 3. 讨论与结论
噻嗪酮是一种通过抑制昆虫几丁质合成和干扰新陈代谢的选择性杀虫剂, 2005 年之前褐飞虱对噻嗪酮依然为敏感至敏感性下降阶段[12];2005 年之后,褐飞虱对噻嗪酮的抗药性快速上升,研究表明已达高至极高的抗性水平[9, 16-18]。褐飞虱对噻嗪酮抗性发展变化,可能与我国防治褐飞虱时使用的农药有关。2005年之前,噻嗪酮先后被吡虫啉、氟虫腈这 2 种药剂所取代[19],药物取代使得噻嗪酮停用,从而延缓了褐飞虱对其抗性的发展。2005年后,随着吡虫啉的被限用和氟虫腈在稻田的禁用,轮换药剂的减少和噻嗪酮用量的增加,致使褐飞虱对噻嗪酮抗性快速上升。本研究结果表明,除广州市褐飞虱对噻嗪酮产生高水平抗性外,广东其余 6 个地方褐飞虱均对噻嗪酮均已产生极高水平抗性。
自 2005 年,我国首次监测到褐飞虱种群对吡虫啉产生高水平抗药性以来,尽管吡虫啉被要求暂停用于防治稻飞虱,但田间褐飞虱种群对吡虫啉抗药性仍处于高到极高水平抗性阶段[9, 17, 20-22]。这可能有以下两方面原因:一是近年来白背飞虱 Sogatella furcifeca 和由白背飞虱传播的水稻南方黑条矮缩病发生越来越严重,吡虫啉对白背飞虱具有极高的敏感性[23-25],而农民通常选择吡虫啉来防治白背飞虱,这就加大了和白背飞虱同时发生的选择压力;二是尽管我国要求暂停使用吡虫啉防治褐飞虱,但我国褐飞虱种群的来源地东南亚国家仍在使用吡虫啉防治褐飞虱[26-27]。本研究结果显示,广东省褐飞虱种群对吡虫啉抗性倍数(161.9~3 576.4 倍) 均高于 100 倍,属极高水平抗性。
刘叙杆等[19]研究发现2005—2009 年大于90%的褐飞虱种群对噻虫嗪的抗性倍数为2.0~15.8 倍,还处于敏感性下降和刚开始产生抗性的阶段,而到了2010 年,45%的褐飞虱监测种群对噻虫嗪的抗性上升到中等水平抗性。李燕芳等[28]2013 年报道广州市钟落潭田间褐飞虱种群对噻虫嗪仍属敏感水平 (2.67 倍),但本文监测到广州市钟落潭田间褐飞虱种群对噻虫嗪抗性为 61.0 倍,已达高水平抗性。噻虫嗪抗药性的快速上升,一方面是随着吡虫啉的限用,噻虫嗪使用量不断增加,加大了其选择压力;另一方面可能与噻虫螓和吡虫啉这 2 种药剂之间具有一定的交互抗性有关。褐飞虱对噻虫嗪的抗性上升明显,应该引起有关部门的重视。广东褐飞虱种群对噻虫嗪的抗性倍数为 61.0~517.8 倍,表明广东褐飞虱种群对噻虫嗪已产生中等水平至高水平抗性。
凌炎等[29]2010年监测了我国和越南14个褐飞虱田间种群,发现褐飞虱对吡蚜酮均处于敏感至低水平抗性阶段(0.17~6.56倍)。王鹏等[9]报道2010年7个监测褐飞虱种群对吡蚜酮的抗性倍数为1.9~5.1倍,属于敏感至低水平抗性,2011年监测的褐飞虱种群对吡蚜酮的抗性倍数为15.7~25.4倍,已达中等水平抗性。康晓霞等[22]报道邗江地方2012和2013年褐飞虱种群对吡蚜酮已达中等至高水平抗性(25.9和71.0倍)。不同地方褐飞虱种群对吡蚜酮抗性水平不同,说明不同地方的用药水平不同。广东褐飞虱种群对吡蚜酮抗性处于敏感至中等水平抗性。
褐飞虱抗药性的产生严重影响其防治效果,褐飞虱种群抗药性的监测及治理就显得尤为重要。根据本文的监测结果,建议在广东省水稻褐飞虱种群防治中,暂时停止使用吡虫啉、噻嗪酮和噻虫嗪,交替轮流使用吡蚜酮、烯定虫胺和呋虫胺等不同作用机理的药剂,以延缓褐飞虱抗药性的产生。
-
表 1 几种算法与AlexNet-FCN模型的总体交并比
Table 1 IoUa of AlexNet-FCN and several other methods
样本类型 AlexNet-FCN 线性 SVM 朴素贝叶斯分类器 无缺陷 1.00 0.00 0.00 裂果 0.91 0.68 0.81 褐变 0.70 0.38 0.46 裂果和褐变 0.78 0.44 0.55 -
[1] 杨松夏, 陆华忠, 吕恩利, 等. 球形水果机械式大小分级技术研究现状[J]. 农机化研究, 2012, 34(8): 235-239. [2] 赵茂程, 侯文军. 我国基于机器视觉的水果自动分级技术及研究进展[J]. 包装与食品机械, 2007(5): 5-8. [3] 饶秀勤. 基于机器视觉的水果品质实时检测与分级生产线的关键技术研究[D]. 杭州: 浙江大学, 2007. [4] CEN H Y, LU R F, ZHU Q B, et al. Nondestructive detection of chilling injury in cucumber fruit using hyperspectral imaging with feature selection and supervised classification[J]. Postharvest Biol Tec, 2016, 111: 352-361.
[5] 熊俊涛, 邹湘军, 刘念, 等. 基于机器视觉的荔枝果实采摘时品质检测技术[J]. 农业机械学报, 2014, 45(7): 54-60. [6] 杜永忠, 平雪良, 何佳唯. 圣女果表面缺陷检测与分级系统研究[J]. 农业机械学报, 2013, 44(S1): 194-199. [7] 赵娟, 彭彦昆, SAGAR D, 等. 基于机器视觉的苹果外观缺陷在线检测[J]. 农业机械学报, 2013, 44(S1): 260-263. [8] 李江波, 饶秀勤, 应义斌. 基于照度–反射模型的脐橙表面缺陷检测[J]. 农业工程学报, 2011, 27(7): 338-342. [9] MILLER B. Peach defect detection with machine vision[J]. Trans Asae, 1991, 34(6): 2588-2597.
[10] 田杰, 韩冬, 胡秋霞, 等. 基于PCA和高斯混合模型的小麦病害彩色图像分割[J]. 农业机械学报, 2014, 45(7): 267-271. [11] LEEMANS V, MAGEIN H, DESTAIN M F. Defect segmentation on ‘Jonagold’ apples using colour vision and a Bayesian classification method[J]. Comput Electron Agr, 1999, 23(1): 43-53.
[12] MIZUSHIMA A, LU R. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Comput Electron Agr, 2013, 94: 29-37.
[13] YANG W, JIN L, TAO D, et al. Dropsample: A new training method to enhance deep convolutional neural networks for large-scale unconstrained handwritten Chinese character recognition[J]. Pattern Recogn, 2016, 58(4): 190-203.
[14] ALBU R D. Human face recognition using convolutional neural networks[J]. JEEE, 2009(2): 110-113.
[15] RAMAIAH N P, IJJINA E P, MOHAN C K. Illumination invariant face recognition using convolutional neural networks[C]// IEEE International Conference on Signal Processing, US: IEEE Xplore, 2015: 1-4.
[16] SINGH R, OM H. Newborn face recognition using deep convolutional neural network[J]. Multimed Tools Appl, 2017, 76(18): 1-11.
[17] 高震宇, 王安, 刘勇, 等. 基于卷积神经网络的鲜茶叶智能分选系统研究[J]. 农业机械学报, 2017, 48(7): 53-58. [18] 马晓丹, 关海鸥, 祁广云, 等. 基于改进级联神经网络的大豆叶部病害诊断模型[J]. 农业机械学报, 2017, 48(1): 163-168. [19] 谭文学, 赵春江, 吴华瑞, 等. 基于弹性动量深度学习神经网络的果体病理图像识别[J]. 农业机械学报, 2015, 46(1): 20-25. [20] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[J]. TPAMI, 2014, 39(4): 640-651.
[21] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]// Proceedings of the 15th International Conference on Neural Information Processing Systems. Cambridge: Mit Press, 2012: 1097-1105.
[22] 陈石榕. 国际鲜荔枝标准[J]. 标准化信息, 1997(4): 11-12. [23] 周先治, 陈阳, 唐建阳, 等. 荔枝褐变损失估计研究[J]. 热带作物学报, 2012, 33(8): 1403-1408. [24] ZEILER M D, KRISHNAN D, TAYLOR G W, et al. Deconvolutional networks[C]//Computer Vision and Pattern Recognition. US: IEEE Computer Science, 2010: 2528-2535.