Recognition of mango skin defect based on semantic segmentation
-
摘要:目的
运用语义分割技术自动识别芒果及其表皮缺陷，实现芒果的质量评估及分选，为芒果质量快速无损检测提供参考。
方法采集自然环境下的多场景芒果表皮缺陷图像用于模型的训练与测试，将联合上采样金字塔(Joint pyramid upsampling，JPU)结构替换DeepLabV3+中空洞空间卷积池化金字塔(Atrous spatial pyramid pooling，ASPP)，将Atrous-ResNet模型替换DeepLabV3+中Xception模型，采用类别像素准确率(Class pixel accuracy，CPA)、平均像素准确率(Mean pixel accuracy，MPA)、平均交并比 (Mean intersection over union，MIoU)作为模型的精度评价指标。
结果采用JPU模块替换ASPP模块，在ResNet网络中运用扩张卷积有利于增大模型的感受野，总体上预测的边界更加平滑，且对细小缺陷的识别更精确；与SegNet、LinkNet算法的对比验证表明，Atrous-ResNet模型具备更高的精度，CPA小幅提升，MPA提升3.79个百分点，MIoU提升4.57个百分点，Atrous-ResNet模型具有更好的识别效果。
结论基于语义分割的方法应用于芒果表皮缺陷识别是可行的，Atrous-ResNet模型较SegNet以及LinkNet算法比较具有更高的识别精度。
-
关键词:
- 语义分割 /
- DeepLabV3+ /
- 联合上采样金字塔 /
- 缺陷检测 /
- 芒果表皮
Abstract:ObjectiveThe semantic segmentation technology was used to automatically identify mango and its skin defects, to realize the quality evaluation and sorting of mango and provide a reference for the rapid and nondestructive testing of mango quality.
MethodMango skin defect images in multi-scene of natural environment were collected for model training and testing. Atrous spatial pyramid pooling (ASPP) in DeepLabV3+ was replaced by joint pyramid upsampling (JPU) structure, and Xception model in DeepLabV3+ was replaced by Atrous-ResNet model. Class pixel accuracy (CPA), mean pixel accuracy (MPA) and mean intersection over union (MIoU) were used as the accuracy evaluation indexes of each model.
ResultJPU module was used to replace ASPP module, and Atrous convolution was applied to ResNet network which was conductive to increase the receptive field of the model. In general, the predicted boundary was smoother, and the identification of small defects was more accurate. The comparison with SegNet and LinkNet algorithms showed that Atrous-ResNet model had higher accuracy, with CPA slightly improved, MPA was up 3.79 percent point and MIoU was up 4.57 percent. Atrous-ResNet model had better identification effects.
ConclusionThe method based on semantic segmentation is feasible for mango skin defect recognition. Compared with SegNet and LinkNet algorithms, Atrous-ResNet model has higher recognition accuracy.
-
Keywords:
- Semantic segmentation /
- DeepLabV3+ /
- Joint pyramid upsampling /
- Defect recognition /
- Mango skin
-
氯虫苯甲酰胺属于新型邻氨基苯甲酰胺类杀虫剂，其选择性地与鳞翅目昆虫受体鱼尼丁结合，并打开钙离子通道，使贮存在胞内的钙离子持续释放到肌浆中，导致肌肉细胞丧失收缩功能[1-4]，从而使昆虫表现为取食停止、乏力、反胃和肌肉瘫痪，直至死亡[5-7]。氯虫苯甲酰胺不仅可经茎、叶表面渗透到植物体内，还可通过根部吸收并在木质部移动[8]，具有良好的植物传导特性、耐雨水冲刷能力和抗光解性能及持效性[9]，因其杀虫谱广、对哺乳动物毒性低、对非靶标生物(如鸟、鱼、蚯蚓以及微生物等)影响较小等优点[9-11]，成为近年防治我国水稻害虫的主力品种之一。
2007年氯虫苯甲酰胺在菲律宾获准登记并销售，后在美国、澳大利亚、印度尼西亚、中国、韩国、巴西等50多个国家获准登记。氯虫苯甲酰胺200SC于2007年在中国获临时登记，用于防治稻纵卷叶螟Cnaphalocrocis medinalis Guenée[12]。田间应用表明，氯虫苯甲酰胺不仅对稻纵卷叶螟具有优异的防治效果，还对部分水稻品种具有促生长和增产作用。研究报道氯虫苯甲酰胺对水稻品种冈优881和高粱品种泸糯8号具有一定的增产作用[13-14]，而对武运粳23号增产不明显[15]。
笔者在湖北水稻主要种植区黄冈和仙桃2地4点，进行了大田示范试验，旨在验证氯虫苯甲酰胺200SC对湖北主要水稻种植品种鄂中5号稻纵卷叶螟的防效以及对水稻植株生长和产量的影响，为其大面积示范和推广应用提供科学依据。
1. 材料与方法
1.1 材料
供试水稻Oryza sativa L.品种为鄂中5号，插秧种植。氯虫苯甲酰胺200SC，上海杜邦农化有限公司生产，用药量为30 g·hm-2；阿维菌素18EC，河北威远生物化工股份有限公司生产，用药量为27 g·hm-2。
1.2 方法
1.2.1 试验设计
田间试验在湖北省仙桃市和黄冈市试验点进行，试验点1：仙桃谢场镇新洲村；试验点2：仙桃海口镇陈家村；试验点3：黄冈麻城杨家冲村；试验点4：黄冈麻城刘角林村。各试验点选取一块100~150 m2的水稻田作为大区，大区周围设保护行，每大区分成3个处理区，各处理区之间设保护行并筑20~30 cm宽的田埂。试验区地势平整，水稻长势均匀，肥水管理一致。各试验点基本情况如表 1所示。
表 1 试验点基本情况Table 1. Background of the test sites
1.2.2 施药方法
各处理将氯虫苯甲酰胺200SC和阿维菌素18EC(阳性对照)按药剂试验设计用量兑水配成药液，以水稻常规防治稻纵卷叶螟方法对水稻植株进行茎叶喷雾处理。每平方米喷药液0.045 L，并按每平方米0.045 L用水量计算各处理区的用水量，空白对照区喷等量清水。
1.2.3 试验处理及调查
喷药前进行虫口基数调查，第1次药后14 d，第2次药后14 d进行药效调查，试验期间共调查3次。将各处理区分为2个部分：一部分用于对害虫的药效调查，每试验点各处理调查100蔸水稻，记录稻纵卷叶螟为害卷叶株数；另一部分用于产量的测定。
在施药前，调查卷叶株数、水稻叶色、分蘖数和长势。第1次药后14 d，调查卷叶数和水稻长势。第2次药后14 d，调查卷叶数、水稻叶色、分蘖数和长势。到收获期时，调查水稻无效穗数、每穗粒数、每穗的有效结实粒、千粒质量以及产量。
叶色：用国际水稻研究所LCC比色板为标准，评估每蔸水稻的颜色分级，每种处理随机抽取40蔸水稻，计算4个试验点平均叶色级别和平均长势。
分蘖数：每种处理随机抽取40蔸水稻，分别于药前调查并记录每蔸水稻株数和第2次药后14 d调查并记录每蔸水稻分蘖数，计算4个试验点平均分蘖数和增加率。在同一处理前期没调查过的另一半区域，随机抽取40蔸水稻，调查并记录有效分蘖数、无效分蘖数，计算4个试验点有效分蘖数的增加率和无效分蘖数的减少率。
每穗粒数及结实率：从调查有效穗数项目中的40蔸水稻里，随机抽取10个稻穗进行考种，调查并记录每穗粒数及有效粒数，计算4个试验点每穗粒数和每穗结实粒增加率。
千粒质量：从调查有效穗数项目中的40蔸水稻谷粒里，随机抽点1 000粒稻谷，抽取3次，干燥，直至谷粒含水量(w)为13%时称质量。
测产：用农业部规定的方法进行产量测定，每大区随机验收收割测规(20 m2)水稻，对其进行测产，并把亩产量转化成每公顷的产量，单位为t·hm-2，计算4个试验点增产率。
1.2.4 药效计算
2. 结果与分析
2.1 氯虫苯甲酰胺200SC的保叶效果
在本试验实施期间，氯虫苯甲酰胺200SC对稻纵卷叶螟药效试验调查结果见表 2。由表 2可知：第1次施药后14 d和第2次施药后14 d氯虫苯甲酰胺200SC的保叶效果分别为85.71%和69.69%，明显优于对照药剂阿维菌素18EC的67.21%和48.20%。
表 2 氯虫苯甲酰胺200SC对稻纵卷叶螟的药效1)Table 2. Effects of chlorantraniliprole 200SC on rice leaf roller
2.2 氯虫苯甲酰胺200SC对水稻生长及产量的影响
2.2.1 对水稻叶色及长势的影响
氯虫苯甲酰胺200SC对水稻叶色及长势的影响调查结果见表 3。从表 3可以看出：4个试验点2个处理，药前4个试验点长势一致；第2次药后14 d，氯虫苯甲酰胺200SC处理叶色优于空白对照，与阳性对照阿维菌素18EC差异不显著；氯虫苯甲酰胺200SC处理作物长势优于阳性对照阿维菌素18EC和空白对照。
表 3 氯虫苯甲酰胺200SC对水稻叶色及作物长势的影响1)Table 3. Influence of chlorantraniliprole 200SC on rice leaf color and crop vigor
2.2.2 对水稻分蘖的影响
氯虫苯甲酰胺200SC对水稻分蘖的影响调查结果显示第2次药后14 d，氯虫苯甲酰胺200SC处理4个试验点水稻分蘖数为10.49苗·蔸-1，阿维菌素18EC处理为9.40苗·蔸-1，与空白对照8.45苗·蔸-1相比，分别增加24.14%和11.24%。氯虫苯甲酰胺200SC对水稻分蘖有较明显的促进作用，并明显优于阳性对照药剂阿维菌素18EC。
氯虫苯甲酰胺200SC和阿维菌素18EC处理，4个试验点平均水稻有效分蘖分别为19.79和20.50株·蔸-1，比对照(19.40株·蔸-1)分别增加2.01%和3.35%，对照药剂阿维菌素18EC优于处理药剂氯虫苯甲酰胺200SC；无效分蘖分别为0.83和0.80株·蔸-1，分别比对照(1.34株·蔸-1)减少38.06%和40.30%，2种药剂间差异不显著。试验结果表明氯虫苯甲酰胺200SC可提高水稻有效分蘖和减少无效分蘖数。
2.2.3 对水稻每穗粒数及结实率的影响
4个试验点平均水稻每穗粒数和每穗结实粒数，氯虫苯甲酰胺200SC处理分别为177.00和133.10粒·穗-1，比对照(160.58和126.78粒·穗-1)分别增加10.23%和4.99%；对照药剂阿维菌素18EC分别为167.65和133.10粒·穗-1，比对照分别增加4.49%和4.99%。氯虫苯甲酰胺200SC处理每穗粒数增加效果优于对照药剂阿维菌素18EC；而每穗结实粒数与对照药剂阿维菌素18EC相当。但各药剂处理的4个试验点的每穗粒数和结实粒数差异显著，这可能与不同试验点药剂对稻纵卷叶螟防治效果相关。
2.2.4 对水稻千粒质量及产量的影响
氯虫苯甲酰胺200SC对水稻千粒质量及产量的影响调查结果见表 4。从表 4可以看出：氯虫苯甲酰胺200SC和阿维菌素18EC处理千粒质量分别为17.63和17.49 g，对照为17.17 g，氯虫苯甲酰胺200SC处理千粒质量增加效果优于对照药剂阿维菌素18EC；20 m2水稻产量分别为8.85和8.48 kg，对照为7.85 kg，与对照相比，氯虫苯甲酰胺200SC处理增产率为12.72%优于对照药剂阿维菌素18EC处理的7.89%。试验结果表明2种药剂处理均可增加水稻产量和千粒质量，且处理药剂氯虫苯甲酰胺200SC优于对照药剂阿维菌素18EC。
表 4 氯虫苯甲酰胺200SC对水稻千粒质量及产量的影响1)Table 4. Influence of chlorantraniliprole 200SC on thousand-grain weight and rice yield
3. 结论
4个试验点第1次施药后14 d和第2次施药后14 d氯虫苯甲酰胺200SC对稻纵卷叶螟防效分别为85.71%和69.69%，明显优于对照药剂阿维菌素18EC的67.21%和48.20%。与董波等[15]和赵阳等[16]研究结果基本一致，而保叶率效果低于束兆林等[17]和张志东等[13]报道的防效，这可能与稻纵卷叶螟产生抗药性有关。
氯虫苯甲酰胺200SC对水稻叶色和长势与对照药剂差异不显著。但第2次施药后14天，水稻分蘖数比空白对照平均增加2.04苗·蔸-1，每蔸水稻分蘖数平均增加了24.14%，而对照药阿维菌素18EC分蘖数增加0.95苗·蔸-1，每蔸水稻分蘖数平均增加了11.24%。因此，氯虫苯甲酰胺200SC对水稻分蘖有较明显的促进作用，并优于对照药剂。
氯虫苯甲酰胺200SC和阿维菌素18EC处理水稻有效分蘖数分别增加2.01%和3.35%，对照药剂阿维菌素18EC处理优于处理药剂氯虫苯甲酰胺200SC处理；无效分蘖数分别减少38.06%和40.30%，处理药剂之间差异不显著；而每穗粒数分别增加10.23%和4.40%，氯虫苯甲酰胺200SC处理优于对照药剂阿维菌素18EC处理；结实率分别增加4.49%和4.49%，处理药剂之间差异不显著；千粒质量分别增加2.68%和1.86%，每667 m2产量分别增加12.72%和7.89%，处理药剂氯虫苯甲酰胺200SC优于对照药剂阿维菌素18EC，与张志东等[13]报道一致，这可能与氯虫苯甲酰胺200SC诱导水稻每蔸分蘖数增加2.04棵苗，每穗粒数增加16.42粒和千粒质量增加0.46 g相关，因此，氯虫苯甲酰胺可诱导水稻分蘖数，每穗粒数和千粒质量增加，从而提高水稻的亩产量，其增产机理有待进一步的研究。
-
![]()
图 2 联合上采样金字塔结构
a表示3个特征图作为输入参数；b表示上采样后的特征图并行经过不同膨胀率和分离卷积后再融合；c表示经过卷积生成最终的特征图
Figure 2. The structure of joint pyramid upsampling
a represents the three feature maps as input parameters, b represents the upsampled feature maps undergoing parallel operations of different expansion rates and separate convolution followed by concat, c represents the final feature map generated by convolution
![]()
图 6 LinkNet、SegNet及Atrous-ResNet模型在不同场景下的识别效果对比
Figure 6. Comparison of recognition performance among LinkNe, SegNet and Atrous-ResNet model in multi-scenarios
表 1 DeepLabV3+与Atrous-ResNet模型的评价指标比较
Table 1 Comparison of evaluation indexes between DeepLabV3+ and Atrous-ResNet model
% 模型 Model 类别像素准确率 Class pixel accuracy 平均像素准确率 Mean pixel accuracy 平均交并比 Mean intersection over union 芒果 Mango 缺陷 Defect 茎梗 Stalk DeepLabV3+ 92.03 91.29 88.74 90.69 89.56 Atrous-ResNet 94.16 95.32 93.95 94.48 94.13 
下载: 导出CSV
表 2 不同算法的评价指标的比较
Table 2 Comparison of evaluation indexes of different algorithms
% 模型 Model 类别像素准确率 Class pixel accuracy 平均像素准确率 Mean pixel accuracy 平均交并比 Mean intersection over union 芒果 Mango 缺陷 Defect 茎梗 Stalk LinkNet 82.72 81.17 78.94 80.94 77.37 SegNet 80.49 77.14 75.68 77.77 72.69 Atrous-ResNet 94.27 94.58 93.03 93.96 92.65
下载: 导出CSV
-
[1] DEEPA M, PUSHPA B, UDAYKUMAR K. Physicochemical properties, nutritional and antinutritional composition of pulp and peel of three mango varieties[J]. International Journal of Educational Science and Research, 2017, 7(3): 81-94.
[2] KANGD, WANGY, FANY, et al. Research and development of Camellia oleifera fruit sheller and sorting machine[J]. Earth and Environmental Science, 2018, 108: 042051. doi: 10.1088/1755-1315/108/4/042051.
[3] SIHOMBING P, TOMMY F, SEMBIRING S, et al. The Citrus fruit sorting device automatically based on color method by using tcs320 color sensor and arduino uno microcontroller[J]. Journal of Physics: Conference Series, 2019, 1235: 012064. doi: 10.1088/1742-6596/1235/1/012064.
[4] 邓继忠, 任高生, 兰玉彬, 等. 基于可见光波段的无人机超低空遥感图像处理[J]. 华南农业大学学报, 2016, 37(6): 16-22. doi: 10.7671/j.issn.1001-411X.2016.06.003 [5] 戴泽翰, 郑正, 黄莉舒, 等. 基于深度卷积神经网络的柑橘黄龙病症状识别[J]. 华南农业大学学报, 2020, 41(4): 111-119. doi: 10.7671/j.issn.1001-411X.201909031 [6] 赵德安, 吴任迪, 刘晓洋, 等. 基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 农业工程学报, 2019, 35(3): 164-173. doi: 10.11975/j.issn.1002-6819.2019.03.021 [7] 刘小刚, 范诚, 李加念, 等. 基于卷积神经网络的草莓识别方法[J]. 农业机械学报, 2020, 51(2): 237-244. doi: 10.6041/j.issn.1000-1298.2020.02.026 [8] XING S L, LEE M. Classification accuracy improvement for small-size Citrus pests and diseases using bridge connections in deep neural networks[J]. Sensors, 2020, 20(17): 4992. doi: 10.3390/s20174992.
[9] SELVARAJ M G, VERGARA A, RUIZ H, et al. AI-powered banana diseases and pest detection[J]. Plant Methods, 2019, 15(1): 92. doi: 10.1186/s13007-018-0385-5
[10] PATEL K K, KAR A, KHAN M A. Common external defect detection of mangoes using color computer vision[J]. Journal of the Institution of Engineers: Series A, 2019, 100(4): 559-568. doi: 10.1007/s40030-019-00396-6
[11] 刘平, 朱衍俊, 张同勋, 等. 自然环境下贴叠葡萄串的识别与图像分割算法[J]. 农业工程学报, 2020, 36(6): 161-169. doi: 10.11975/j.issn.1002-6819.2020.06.019 [12] 李江波, 彭彦昆, 黄文倩, 等. 桃子表面缺陷分水岭分割方法研究[J]. 农业机械学报, 2014, 45(8): 288-293. doi: 10.6041/j.issn.1000-1298.2014.08.046 [13] 张德军, 周学成, 杨旭东. 基于图像处理和深度迁移学习的芒果果实病状识别[J]. 华南农业大学学报, 2021, 42(4): 113-124. doi: 10.7671/j.issn.1001-411X.202011002 [14] 袁培森, 黎薇, 任守纲, 等. 基于卷积神经网络的菊花花型和品种识别[J]. 农业工程学报, 2018, 34(5): 152-158. doi: 10.11975/j.issn.1002-6819.2018.05.020 [15] 尚增强, 杨东福, 马质璞. 基于深度卷积神经网络的大豆叶片多种病害分类识别[J]. 大豆科学, 2021, 40(5): 662-668. [16] 程曦, 吴云志, 张友华, 等. 基于深度卷积神经网络的储粮害虫图像识别[J]. 中国农学通报, 2018, 34(1): 154-158. doi: 10.11924/j.issn.1000-6850.casb16110146 [17] JHURIA M, KUMAR A, BORSE R. Image processing for smart farming: Detection of disease and fruit grading[C]//IEEE 20th International Conference on Image Information Processing. Shimla, India: IEEE, 2013: 521-526.
[18] BASAVARAJ T, BHAVANA S. Banana plant disease detection and grading using image processing[J]. International Journal of Engineering Science and Computing, 2016: 6512-6516.
[19] SAHU D, POTDAR M. Defect identification and maturity detection of mango fruits using image analysis[J]. American Journal of Artificial Intelligence, 2017, 1(1): 5-14.
[20] HUANG X Y, LÜ R Q, WANG S, et al. Integration of computer vision and colorimetric sensor array for nondestructive detection of mango quality[J]. Journal of Food Process Engineering, 2018, 41(8): 1-9.
[21] SUDARJAT, KUSUMIYATI, HASANUDDIN, et al. Rapid and non-destructive detection of insect infestations on intact mango by means of near infrared spectroscopy[J]. IPO Conference Series: Earth and Environmental Science, 2019, 365(1): 012037. doi: 10.1088/1755-1315/365/1/012037.
[22] KESTUR R, MEDURI A, NARASIPURA O. MangoNet: A deep semantic segmentation architecture for a method to detect and count mangoes in an open orchard[J]. Engineering Applications of Artificial Intelligence, 2018, 77: 59-69.
[23] SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. Proceedings of the IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651. doi: 10.1109/TPAMI.2016.2572683
[24] CHOLLET F. Xception: Deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017: 1800-1807
[25] WU H K, ZHANG J G, HUANG K Q, et al. FastFCN: Rethinking dilated convolution in the backbone for semantic segmentation[EB/OL]. ArXiv preprint arXiv, 2019: 1903.11816. (2019-03-28)[2022-03-20]. https://ariv.org/abs/1903.11816.
[26] CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[M]//Computer Vision ECCV. Cham: Springer, 2018: 833-851
[27] CHAURASIA A, CULURCIELLO E. LinkNet: Exploiting encoder representations for efficient semantic segmentation[J]. IEEE Visual Communications and Image Processing (VCIP), 2017: 1-4. doi: 10.1109/VCIP.2017.8305148.
[28] BADRINARAYANAN V, KENDALL A, CIPOLLA R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. Proceedings of the IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495. doi: 10.1109/TPAMI.2016.2644615
