• 《中国科学引文数据库(CSCD)》来源期刊
  • 中国科技期刊引证报告(核心版)期刊
  • 《中文核心期刊要目总览》核心期刊
  • RCCSE中国核心学术期刊

基于图像处理和深度迁移学习的芒果果实病状识别

张德军, 周学成, 杨旭东

张德军, 周学成, 杨旭东. 基于图像处理和深度迁移学习的芒果果实病状识别[J]. 华南农业大学学报, 2021, 42(4): 113-124. DOI: 10.7671/j.issn.1001-411X.202011002
引用本文: 张德军, 周学成, 杨旭东. 基于图像处理和深度迁移学习的芒果果实病状识别[J]. 华南农业大学学报, 2021, 42(4): 113-124. DOI: 10.7671/j.issn.1001-411X.202011002
ZHANG Dejun, ZHOU Xuecheng, YANG Xudong. Recognition of mango fruit diseases based on image processing and deep transfer learning[J]. Journal of South China Agricultural University, 2021, 42(4): 113-124. DOI: 10.7671/j.issn.1001-411X.202011002
Citation: ZHANG Dejun, ZHOU Xuecheng, YANG Xudong. Recognition of mango fruit diseases based on image processing and deep transfer learning[J]. Journal of South China Agricultural University, 2021, 42(4): 113-124. DOI: 10.7671/j.issn.1001-411X.202011002

基于图像处理和深度迁移学习的芒果果实病状识别

基金项目: 国家自然科学基金(31271609);国家重点研发计划子课题(2017YFD0700602)
详细信息
    作者简介:

    张德军(1991—),男,硕士研究生,E-mail: sunfreescau@163.com

    通讯作者:

    周学成(1968—),男,教授,博士,E-mail: josuns@126.com

  • 中图分类号: TP391

Recognition of mango fruit diseases based on image processing and deep transfer learning

  • 摘要:
    目的 

    基于计算机层析成像(Computed tomography, CT)设备所得芒果CT序列图像,实现芒果内部品质的无损检测和病状识别分类。

    方法 

    利用分段函数法、中值滤波结合双边滤波,实现芒果图像增强;采用局部自适应阈值法,实现二值化处理;采用种子填充法进行区域填充;最后通过差影法准确提取芒果果实内部组织的坏损区域。基于深度迁移学习模型,对未处理和已处理的芒果图像数据开展训练和测试,通过AlexNet和GoogLeNet深度学习网络开展迁移学习,调整超参数完成训练过程的网络微调,在不同模型中对比未处理和已处理的芒果测试集在模型上的分类结果。

    结果 

    基于未处理数据集,GoogLeNet模型在学习率为0.0002下训练,Accuracy和Macro-average指标分别为98.79%和98.41%。基于已处理数据集,GoogLeNet模型在学习率为0.0002下训练,Accuracy和Macro-average指标分别为100%和100%。深度迁移学习模型在已处理数据集下的模型分类指标较未处理的数据集下有较大的提升。基于同一数据集且超参数一致时,GoogLeNet网络的分类效果明显优于AlexNet网络。

    结论 

    设定学习率为0.0002、迭代轮数为3、最小批值为64,基于GoogLeNet网络开展深度迁移学习训练,将所得模型作为最终的分类模型。

    Abstract:
    Objective 

    To realize non-destructive detection of the internal quality of mangoes and disease identification and classification based on the CT sequence images of mangoes obtained by computed tomography (CT) equipment.

    Method 

    We used piecewise function method and median filter combined with bilateral filter to achieve image enhancement, used local adaptive threshold method to achieve binarization processing, used seed filling method to perform area filling, and used the image difference method to accurately extract the damaged area in inner tissue of mango fruit. Based on the deep transfer learning model, training and testing were carried out on unprocessed and processed mango image data. Transfer learning was carried out through the AlexNet and GoogLeNet deep learning networks, and hyperparameters were adjusted to complete the network fine-tuning of the training process. Under different models, the classification results of unprocessed and processed mango test sets on the model were compared.

    Result 

    Based on the unprocessed data set, the GoogLeNet model was trained at a learning rate of 0.0002, and the Accuracy and Macro-average were 98.79% and 98.41% respectively. Based on the processed data set, the GoogLeNet model was trained at a learning rate of 0.0002, and the Accuracy and Macro-average were 100% and 100% respectively. The deep transfer learning model had a greater improvement in the model classification index of the processed data set than the unprocessed data set. Based on the same data set and consistent hyperparameters, the classification effect of the GoogLeNet network was significantly better than that of the AlexNet network.

    Conclusion 

    While learning rate is set to 0.0002, the Epoch value is 3, and the Mini Batch value is 64, deep transfer learning training is carried out based on the GoogLeNet network, and the resulting model is used as the final classification model.

  • 氟苯尼考(Florfenicol,FF)属于酰胺醇类动物专用广谱抗生素,广泛用于防治畜禽消化道和呼吸道感染性疾病[1],氟苯尼考经动物摄入后随排泄物进入环境中,造成潜在的环境生态风险[2-3]。呼秀智等[4]研究表明,氟苯尼考对土壤微生物的抑制作用随浓度增加而增强。硫酸铜(CuSO4)作为一种促生长、防腹泻的添加剂用于养殖业,并发挥细胞电子传递、氧化还原等重要生理作用[5],但动物摄入后随排泄物进入环境中的高含量Cu可影响土壤微生物丰度、群落结构及功能多样性,导致土壤生态结构破坏[6]。许多报道指出金属与抗生素联用后存在协同或拮抗作用,如:与单一处理相比,土霉素与铅的交互作用使土壤细菌蔗糖酶活性明显下降,表现为协同效应[7];Fe(II)通过与土霉素形成复合物,降低其生物利用度,从而降低水稻对土霉素的吸收,表现为拮抗作用[8]。二者联用效果与相关酶活性变化、是否形成复合物以及目标物对重金属耐受性差异等因素均相关。Wang等[9]报道,动物粪便中氟苯尼考和Cu残留不仅阻碍环境中细菌正常代谢,还可能增加细菌耐药基因(Antibiotic resistance genes,ARGs)传播到人类的风险。

    土壤中固氮菌介导的生物固氮作用是生态系统中氮元素输入土壤的主要过程,是全球氮循环至关重要的一步,兽用抗生素和重金属残留可能对固氮菌产生潜在影响[10]。本文对优势固氮菌RpEC2071进行氟苯尼考联合Cu胁迫处理,研究胁迫条件下对固氮菌胞外多糖产生及生物膜形成的影响,并分析固氮酶结构基因、氮代谢调控基因以及生物膜基因mRNA表达水平,将为评估兽药及添加剂的生态风险提供依据。

    固氮菌从华南农业大学广东生物防治教育部工程研究中心无抗生素污染的花生根部附近土壤中分离纯化后得到。

    氟苯尼考原料药购自大连美伦生物技术有限公司,纯度99.5%; LB肉汤、LB琼脂均购自广州环凯微生物有限公司;硫酸铜、异丙醇、NaOH、浓硫酸、葡萄糖、无水乙醇等均购自广州普智生物仪器有限公司,纯度均为分析纯;革兰氏染色液购自广州翔博生物科技有限公司。

    称5.0 g花生根围土壤,加入50 mL无菌水振荡摇匀,取10 mL悬浊液进行梯度稀释后分别取10−3、10−4、10−5 g/mL土壤悬液0.1 mL均匀涂布于LB琼脂培养基,28 ℃培养5~7 d后进行纯化,将纯化菌株加入φ为10%的甘油水中,−20 ℃条件下保存。

    制备固氮菌革兰氏染色涂片,油镜(100×)观察染色后细菌形态。提取固氮菌DNA模板,采用细菌16S rDNA通用引物27F/1492R进行PCR扩增,产物经15 g/L琼脂糖凝胶电泳检测后,送样广州擎科生物技术有限公司进行DNA测序。

    供试菌活化:取保存的固氮菌划线接种LB板,经28 ℃培养48 h后纯化2次备用。

    生物膜生长情况观察:挑取固氮菌单菌落于5 mL改良LB肉汤,设置3个重复,28 ℃培养,记录0、12 、24 、36 、72 、120 、132 、144 、156 和168 h时的试管生物膜生长情况。

    96孔板内设置4组处理:空白组(CK)、氟苯尼考组(FF)、铜组(Cu)及混合组(FF+Cu),各处理组组分添加量见表1,28 ℃条件下孵育120 、132 、144 、156和168 h进行采样。样品采用结晶紫法进行处理[11],每组3个重复,使用酶标仪测定孔中溶液D590 nm。另外,以未接种供试菌的改良肉汤作为阴性对照,以阴性对照D590 nm(Dc)的2倍作为界限值,根据D590 nm进行生物膜形成能力结果判断:生物膜形成力强(D590 nm>2Dc);生物膜形成力弱(Dc<D590 nm≤2Dc);没有生物膜形成(D590 nmDc)。

    表  1  96孔板中处理组各组分添加量
    Table  1.  Addition of each component in a 96-well plate of treatment group μL
    组别 Group 改良肉汤 Improved broth 菌液 Bacterial solution 甲醇 Methanol 氟苯尼考1)Florfenicol CuSO42)
    空白组 Blank(CK) 170 20 10 0 0
    氟苯尼考组 Florfenicol(FF) 170 20 0 10 0
    铜组 Cu(Cu) 160 20 10 0 10
    混合组 Mixed(FF+Cu) 160 20 0 10 10
     1) ρ (氟苯尼考) =0.8 mg/mL;2) ρ (CuSO4) = 4 mg/mL  1)ρ (Florfenicol) = 0.8 mg/mL; 2) ρ (CuSO4) = 4 mg/mL
    下载: 导出CSV 
    | 显示表格

    设置4组处理:空白组(CK)、氟苯尼考组(FF)、铜组(Cu)及混合组(FF+Cu),各处理组组分添加量见表2,每组3个重复,于给药后0、12、24、36、72、120、132、144、156和168 h测定各组菌液的D600 nm,并采集后5个时间点的细菌沉淀和上清液于–80 ℃保存,用于后续测定固氮菌胞外多糖含量。

    表  2  胁迫模型组各组分添加量
    Table  2.  Addition of each component in stress model groups mL
    组别 Group 改良肉汤 Improved broth 菌液 Bacterial solution 甲醇 Methanol 氟苯尼考1)Florfenicol CuSO42)
    空白组 Blank(CK) 40.1 0.1 0.1 0 0
    氟苯尼考组 Florfenicol(FF) 40.1 0.1 0 0.1 0
    铜组 Cu(Cu) 40.0 0.1 0.1 0 0.1
    混合组 Mixed(FF+Cu) 40.0 0.1 0 0.1 0.1
     1) ρ (氟苯尼考)=16 mg/mL;2) ρ (CuSO4)= 80 mg/mL  1) ρ (Florfenicol) = 16 mg/mL; 2) ρ (CuSO4) = 80 mg/mL
    下载: 导出CSV 
    | 显示表格

    分别取“1.5”各样品上清液2 mL至离心管中,加入乙醇,4 ℃条件下静置24 h后离心,洗涤沉淀后60 ℃干燥至恒质量。将各组干燥样品溶于2 mL蒸馏水中,另以蒸馏水作为阴性对照,使用苯酚硫酸法及紫外分光光度计估算胞外多糖浓度[12]

    采用TRIzol法[13]抽提固氮菌样品RNA后反转录合成cDNA。参考全基因组测序结果设计引物,引物序列见表3,引物由生工生物工程(上海)股份有限公司合成。以获得的cDNA为模板,16S rDNA为内参基因,采用Bio-Rad CFX96检测系统进行实时荧光定量PCR (Quantitative real-time PCR,qRT-PCR)试验,所得数据运用2−△△Ct法进行分析计算。

    表  3  引物序列
    Table  3.  Primer sequences
    基因名称 Gene name 引物序列(5′→3′) Primer sequence 基因名称 Gene name 引物序列(5′→3′) Primer sequence
    flaF F: GCGAGCGACAGGCGTTGA R: TGATTATCCGGCTGCTTGAGATC ntrX F: ACTTGTCGGTGCGTCACTTGC R: GATGGGCTTCTTCCAGTGCG
    fliL F: AAAACGAACAGGCAGAGGGC R: GGGAAACGGTGCGGACATAG glnK F: TGACCGTGACCGAAGTAAAGGG R: TGCCGTCGCCGATCTGCC
    flhA F: ACCACCAGTCATTTCCTTGCCC R: CCGCCGTCGGACCCTCAT nnrR F: GCTGGACGGATTGCTGACCC R: GCCACCCGACGCTCTACCTC
    fliQ F: ATCGTCGGTGTCGCCATCG R: CGTCATTTCCTGAACCTGCGTC nifH F: CGGATTATCGCAGTAGCAAACC R: TCTGTCGTCTCCATCGCTTCAC
    ntrY F: CGCTGACACCAAGTTCACGACG R: GCATCATGGAGTTCCAGATACCC Rp16S-1 F: AGATGCTCTACCTTGATGTCCCTG R: AGATGCGTTGCGCCACCT
    下载: 导出CSV 
    | 显示表格

    用Excel对数据进行初步整理,用SPSS 25.0软件进行数据分析和统计,GraphPad Prism 7.0软件绘图,各指标用One-way ANOVA进行显著性分析,结果采用平均数±SD表示,P <0.05为差异显著性标准。所有数据均为3次或3次以上试验的结果。

    经革兰氏染色后,染色结果如图1,在100倍光学显微镜下镜检细菌呈红色、棒状,判定该菌为革兰阴性菌。

    图  1  菌株RpEC2071的革兰氏染色结果(×100光学显微镜)
    Figure  1.  Gram stain results of strain RpEC2071 (×100 light microscope)

    将分离得到的菌株序列上传至NCBI数据库进行比对,发现其与固氮菌的匹配度最高,将该菌命名为RpEC2071。绘制系统发育树(图2),发现固氮菌RpEC2071与根瘤菌NRCPB10相似度高达99%,进一步鉴定其属于根瘤菌。

    图  2  菌株RpEC2071的16S rDNA系统发育树
    Figure  2.  Phylogenetic tree of strain RpEC2071 16S rDNA

    根据生物膜试管形成试验结果(图3),发现0~36 h未能明显观察到生物膜,表明分离菌株在前36 h生物膜形成能力弱;培养至72 h时开始出现较为明显的生物膜,且生物膜形成能力随培养时长增加而逐渐增强。

    图  3  菌株RpEC2071的生物膜试管形成试验
    Figure  3.  Biofilm formation experiment of strain RpEC2071 in test tube

    采集4种胁迫条件下RpEC2071菌液,测定D600 nm得到生长曲线,如图4所示,4组模型均表现为前期生长较为缓慢,在120 h处生长速度明显加快,之后逐渐趋于稳定,最终呈现衰退现象,故选取后面5个时间点做进一步分析。

    图  4  胁迫模型下的菌株RpEC2071生长曲线
    Figure  4.  Growth curve of strain RpEC2071 under stress model

    96孔板内生物膜形成能力定量测定结果如图5所示。在156 h时,FF+Cu组的生物膜形成能力最低,CK组的生物膜形成能力最强,是FF+Cu组的3.1倍;在168 h时,FF+Cu组生物膜形成能力最低,FF组生物膜形成能力最强,是FF+Cu组的3.1倍。进一步分析发现,FF组和CK组生物膜形成能力均在156 h时急剧增强,Cu组在168 h时急剧增强,而FF+Cu组变化稳定且生物膜形成能力最低。综上生物膜的形成能力:FF组 > Cu组 > CK组 > FF+Cu组。

    图  5  菌株RpEC2071的生物膜形成能力测定结果
    Figure  5.  Test results of biofilm formation capacity of strain RpEC2071

    根据“2.3”生长曲线选择的5个时间点对胞外多糖含量进行定量测定,结果如图6所示。由图6可得,4个试验组在5个时间点的胞外多糖平均分泌量表现为:FF组 > CK组 > Cu组 > FF+Cu组。表明Cu的添加对固氮菌存在抑制作用,且氟苯尼考能促进Cu的抑制作用。

    图  6  菌株RpEC2071胞外多糖含量测定分析图
    Figure  6.  Analysis chart for determination of extracellular polysaccharide content of strain RpEC2071

    基于全基因组测序结果,定量测定固氮基因nifH、4个氮代谢调控基因ntrY、ntrX、glnK、nnrR及7个生物膜相关功能基因flaF、fliL、flhA、fliP、fliQ、fliR、flbT,并进行相关性分析。结果显示,flaF、fliL、flhA、fliQ这4种生物膜相关基因分别与固氮基因nifH、氮代谢调控基因ntrX呈现正相关(r=0.548~0.832,P<0.05);另外发现nifH基因的表达可能受到ntrY、ntrX、glnK、nnrR这4种调控因子的调控(r =0.590~0.827,P<0.01)。

    基因荧光定量表达差异分析比较发现,生物膜相关基因表达受Cu的影响不大,然而其中的fliQ基因在混合或者Cu单独施压作用下,与氟苯尼考单独施压作用下存在显著的差异(图7 D),但均与CK组无明显差异。而在氮代谢相关基因的分析中,发现氟苯尼考与Cu混合后显著促进了nnrR基因的表达(图8 D),表明Cu与氟苯尼考对该调控基因存在协同作用,然而它们对ntrX存在拮抗作用。

    图  7  菌株RpEC2071的生物膜基因表达比较
    各图中,柱子上方凡是具有一个相同小写字母者,表示差异不显著(P >0.05,单因素方差分析)
    Figure  7.  Expression comparison of biofilm gene of strain RpEC2071
    In each figure, the same lowercase letters above the column indicate that the difference is not significant (P >0.05, one-way ANOVA)
    图  8  菌株RpEC2071的氮代谢调控基因表达比较
    各图中,柱子上方凡是具有一个相同小写字母者,表示差异不显著(P >0.05, 单因素方差分析)
    Figure  8.  Expression comparison of nitrogen metabolism regulation gene of strain RpEC2071
    In each figure, the same lowercase letters above the column indicate that the difference is not significant (P >0.05, one-way ANOVA)

    对固氮菌中重要固氮酶的代表基因nifH进行差异性分析,结果如图9所示。其中Cu的添加显著升高了nifH基因的表达,而Cu与氟苯尼考联用时又减弱该过程。

    图  9  菌株RpEC2071的固氮基因nifH表达比较
    图中柱子上方凡是具有一个相同小写字母者,表示差异不显著(P >0.05,单因素方差分析)
    Figure  9.  Expression comparison of nitrogen fixation gene nifH of strain RpEC2071
    In the figure, the same lowercase letters above the column indicate that the difference is not significant (P >0.05, one-way ANOVA)

    生物膜有助于细菌承受饥饿、干燥等恶劣环境条件,使其能够适应变化的条件,在其面对环境压力、免疫反应和抗生素时提供保护性环境[14]。本研究结果表明,4种不同处理对生物膜的影响不同,FF组生物膜形成能力最强,Cu组次之,说明在氟苯尼考和Cu单独加入时,均对固氮菌产生压力,且氟苯尼考对固氮菌的胁迫压力较大,使固氮菌在胁迫环境下形成生物膜以保护自身,与冯世文等[15]的研究结果相符,而在氟苯尼考和Cu混合添加时则会抑制固氮菌生物膜的形成,其原因本试验没有阐明,可以做进一步的深入研究。与此同时,结果显示随胁迫时间增加固氮菌生物膜形成能力也逐步增强,说明细菌在暴露于压力条件下会产生更多的生物膜。

    在4种不同处理下,固氮菌胞外多糖的分泌量明显不同,氟苯尼考组最高,混合组最低,与生物膜测定结果基本吻合,亦与杜心恬等[16]的研究结果相符,说明胞外多糖是生物膜重要组成部分[17],并与生物膜形成紧密相关。进一步分析Cu组发现,由于胞外多糖形成是细菌的主要防御机制之一[18],固氮菌在Cu的单一胁迫下会对胞外多糖的合成产生轻微抑制作用,但不对生物膜的形成能力产生抑制作用,此现象可从另一个方面说明,胞外多糖的分泌会影响生物膜的形成,但不是其决定性因素,可能与载体表面性质及环境因素等因素相关。

    对4种不同处理下不同类型基因的表达进行相关性分析,结果表明,生物膜与胞外多糖无明显的相关性,再次验证胞外多糖对生物膜的形成有影响作用,但不是其决定性因素这一观点。进一步分析发现固氮酶基因nifH的表达可能受到ntrY、ntrX、glnK、nnrR这4种调控因子的调控,并与flaF、fliL、flhA、fliQ这4种生物膜相关基因呈现正相关。此外,4种生物膜相关基因还与氮代谢调控基因ntrX呈现显著正相关,这与Li等[19]的研究结果相符。说明氮循环功能跟生物膜形成之间有明显的相关性,故评价氮循环的功能过程不仅应关注其遗传潜力,还应关注其生物膜的生理活性。

    差异性分析中,与Ⅲ型分泌系统中鞭毛蛋白转运有关的生物膜相关基因fliQ[20],在氟苯尼考和Cu混合作用或者Cu单独作用下,与氟苯尼考单独作用存在显著的差异,说明氟苯尼考与Cu对该基因表达的影响差异较大,且对其表达存在明显拮抗作用。Cu2+可能使固氮菌鞭毛组成紊乱,进而削弱RpoN2因子功能,导致fliQ基因表达下降[21];而氟苯尼考对固氮菌的胁迫使得其鞭毛运动增强,进而使得fliQ基因表达上升。同理,二者对参与控制鞭毛和胞外多糖的ntrX基因的表达同样存在拮抗作用[22]nifH是负责编码固氮酶铁蛋白的基因[23],Cu的添加显著提高了nifH的表达,而氟苯尼考会削弱这一过程,存在拮抗作用。Cu蓄积对固氮菌产生不利影响,脱毒过程会增加能源消耗和氮需求,从而可能通过其共生作用促进nifH表达;而氟苯尼考可能与Cu形成络合物,降低Cu浓度,故相较于Cu组,FF+Cu组nifH表达减弱。与之相反,分析氮代谢相关基因发现,氟苯尼考与Cu混合后显著促进了反硝化作用中负责催化NO转化为N2O的反硝化酶的调控基因nnrR的表达,表明Cu与氟苯尼考对该调控基因存在协同作用,可能是由于在氟苯尼考联合Cu的双重胁迫下迫使固氮菌需要更加快速地进行反硝化作用以保护自身,进而使得nnrR的表达增加[24-25]

    本文通过从花生根围土中分离出一株优势固氮菌,以养殖业中被广泛使用的广谱类抗菌药物氟苯尼考和饲料添加剂Cu作为胁迫因子,分别从表型水平和基因水平探究二者单独或联合处理对优势固氮菌产生的影响以及生物固氮主要功能基因分子响应特征。发现二者单独使用均会使固氮菌生物膜形成能力增强,但联用时产生拮抗作用;二者对胞外多糖形成的影响与生物膜测定结果基本一致;二者单独或联用均改变相关功能基因表达水平,且对fliQ、nifH基因产生拮抗作用、对nnrR基因产生协同作用。氟苯尼考及Cu均影响着固氮菌生物膜的形成,说明二者的存在威胁着土壤中固氮菌的生存,长期以往将破坏环境土壤生态系统。

  • 图  1   基于平板探测器的计算机层析成像(CT)系统

    Figure  1.   Computer tomography (CT) system based on flat panel detector

    图  2   海绵组织病芒果和空心病芒果

    Figure  2.   Mango with spongy tissue disease and mango with hollow disease

    图  3   海绵组织病芒果和空心病芒果CT图像灰度值分布

    Figure  3.   Gray value distribution in CT images of mango with spongy tissue disease and mango with hollow disease

    图  4   海绵组织病芒果图像采用分段函数法变换

    Figure  4.   Piecewise function to transform image of mango with spongy tissue disease

    图  5   空心病芒果图像采用分段函数法变换

    Figure  5.   Piecewise function to transform image of mango with hollow disease

    图  6   芒果CT图像椒盐噪声分布

    Figure  6.   Distribution of salt and pepper noise in mango CT image

    图  7   芒果CT图像多方案滤波效果对比

    Figure  7.   Effect comparison of several filtering schemes in mango CT images

    图  8   芒果CT图像多方案滤波效果细节放大对比

    Figure  8.   Effect comparison of several filtering schemes with detail amplification in mango CT images

    图  9   均值滤波器和高斯滤波器模板

    Figure  9.   Mean filter and Gaussian filter templates

    图  10   海绵组织病芒果二值化序列图像

    a、b、c、d、e、f、g、h分别是芒果的第300、304、308、312、500、504、508、512层二值化图像

    Figure  10.   Binary sequence images of mangoes with spongy tissue disease

    a, b, c, d, e, f, g, h are binary images for the 300th, 304th, 308th, 312th, 500th, 504th, 508th and 512th  layers  of mango, respectively

    图  11   空心病芒果图像差影法分割效果(第300层)

    Figure  11.   Image segmentation effect of mango with hollow disease using background subtraction (The 300th layer)

    图  12   海绵组织病芒果图像差影法分割效果(第300层)

    Figure  12.   Image segmentation effect of mango with spongy tissue disease using background subtraction (The 300th layer)

    图  13   深度迁移学习算法流程图

    Figure  13.   Flow chart of deep transfer learning algorithm

    图  14   未处理芒果图像

    Figure  14.   Unprocessed mango image

    图  15   处理后的图像

    Figure  15.   Mango image after image processing

    表  1   深度迁移学习模型性能参数(未处理图像)

    Table  1   Performance parameters of deep transfer learning model (Unprocessed image)

    模型
    Model
    学习速率
    Learning rate
    图片类型
    Image type
    精准率/%
    Precision
    召回率/%
    Recall
    F1分值/%
    F1-score
    模型准确率/%
    Accuracy of model
    AlexNet 0.0008 无病症芒果 Healthy mango 87.58 92.63 90.03 84.88
    海绵组织病芒果
    Mango with spongy tissue disease
    94.90 77.40 85.26
    空心病芒果 Mango with hollow disease 64.84 82.08 72.45
    0.0005 无病症芒果 Healthy mango 96.02 94.47 95.24 90.22
    海绵组织病芒果
    Mango with spongy tissue disease
    93.71 85.19 89.25
    空心病芒果 Mango with hollow disease 73.02 90.75 80.93
    0.0002 无病症芒果 Healthy mango 97.22 96.77 97.00 94.15
    海绵组织病芒果
    Mango with spongy tissue disease
    96.70 91.43 93.99
    空心病芒果 Mango with hollow disease 82.63 93.64 87.80
    GoogLeNet 0.0008 无病症芒果 Healthy mango 95.55 94.01 94.77 90.73
    海绵组织病芒果
    Mango with spongy tissue disease
    95.40 86.23 90.59
    空心病芒果 Mango with hollow disease 82.05 92.49 82.05
    0.0005 无病症芒果 Healthy mango 98.12 93.61 97.21 95.36
    海绵组织病芒果
    Mango with spongy tissue disease
    97.32 94.29 95.78
    空心病芒果 Mango with hollow disease 85.49 95..38 90.16
    0.0002 无病症芒果 Healthy mango 99.77 99.08 99.42 98.79
    海绵组织病芒果
    Mango with spongy tissue disease
    98.96 98.96 98.96
    空心病芒果 Mango with hollow disease 96.02 97.69 96.85
    下载: 导出CSV

    表  2   深度迁移学习模型性能参数(处理图像)

    Table  2   Deep transfer learning model performance parameters (Processed image)

    模型
    Model
    学习速率
    Learning rate
    图片类型
    Image type
    精准率/%
    Precision
    召回率/%
    Recall
    F1分值/%
    F1-score
    模型准确率/%
    Accuracy of model
    AlexNet 0.0008 无病症芒果 Healthy mango 100 96.48 98.21 95.39
    海绵组织病坏损区域
    Damaged area from spongy tissue disease
    96.16 97.92 97.03
    空心病坏损区域
    Damaged area from hollow disease
    86.46 95.95 90.96
    海绵组织病芒果 Mango with spongy tissue disease 93.67 96.10 94.87
    空心病芒果 Mango with hollow disease 96.71 84.97 90.46
    0.0005 无病症芒果 Healthy mango 97.42 97.42 98.57 97.40
    海绵组织病坏损区域
    Damaged area from spongy tissue disease
    98.44 98.44 98.44
    空心病坏损区域
    Damaged area from hollow disease
    100 100 95.58
    海绵组织病芒果 Mango with spongy tissue disease 98.18 98.18 96.92
    空心病芒果 Mango with hollow disease 90.75 90.75 95.15
    0.0002 无病症芒果 Healthy mango 100 100 100 100
    海绵组织病坏损区域
    Damaged area from spongy tissue disease
    100 100 100
    空心病坏损区域
    Damaged area from hollow disease
    100 100 100
    海绵组织病芒果 Mango with spongy tissue disease 100 100 100
    空心病芒果 Mango with hollow disease 100 100 100
    GoogLeNet 0.0008 无病症芒果 Healthy mango 97.93 99.77 98.84 98.05
    海绵组织病坏损区域
    Damaged area from spongy tissue disease
    99.21 98.70 98.96
    空心病坏损区域
    Damaged area from hollow disease
    93.51 100 96.63
    海绵组织病芒果 Mango with spongy tissue disease 98.42 96.88 97.64
    空心病芒果 Mango with hollow disease 100 93.06 96.41
    0.0005 无病症芒果 Healthy mango 100 100 100 100
    海绵组织病坏损区域
    Damaged area from spongy tissue disease
    100 100 100
    空心病坏损区域
    Damaged area from hollow disease
    100 100 100
    海绵组织病芒果 Mango with spongy tissue disease 100 100 100
    空心病芒果 Mango with hollow disease 100 100 100
    0.0002 无病症芒果 Healthy mango 100 100 100 100
    海绵组织病坏损区域
    Damaged area from spongy tissue disease
    100 100 100
    空心病坏损区域
    Damaged area from hollow disease
    100 100 100
    海绵组织病芒果 Mango with spongy tissue disease 100 100 100
    空心病芒果 Mango with hollow disease 100 100 100
    下载: 导出CSV
  • [1] 曹霞, 周学成, 范品良. 基于近红外漫反射光谱技术的芒果糖度无损检测方法研究[J]. 农机化研究, 2013(1): 177-180.
    [2] 郭辉. 基于机器视觉的蜜柚品质检测方法研究[D]. 北京: 中国农业大学, 2015.
    [3] 黄滔滔, 孙腾, 张京平. 基于CT图像的苹果内部品质无损检测[J]. 浙江大学学报(农业与生命科学版), 2013, 39(1): 92-97.
    [4] 曹霞. 核桃果实内部品质的无损检测技术研究[D]. 广州: 华南农业大学, 2013.
    [5] 孙腾. CT技术及图像变换对苹果内部品质的无损检测模型研究[D]. 杭州: 浙江大学, 2013.
    [6] 郭文川, 孔繁荣, 王转卫, 等. 梨生长发育后期介电特性、生理特性和内部品质的关系[J]. 现代食品科技, 2015, 31(11): 56-61.
    [7] 吴迪, 杨万能, 牛智有, 等. 小麦分蘖形态学特征X射线−CT无损检测[J]. 农业工程学报, 2017, 33(14): 196-201.
    [8] 王转卫, 赵春江, 商亮, 等. 基于介电频谱技术的甜瓜品种无损检测[J]. 农业工程学报, 2017, 33(9): 290-295.
    [9] 张京平, 彭争, 汪剑. 苹果水分与CT值相关性的研究[J]. 农业工程学报, 2003, 19(3): 180-182.
    [10] 余心杰. 农产品无损检测中的模式识别问题研究[D]. 杭州: 浙江大学, 2018.
    [11]

    NASIRI A, TAHERI-GARAVAND A , ZHANG Y D. Image-based deep learning automated sorting of date fruit[J]. Postharvest Biology and Technology, 2019, 153: 133-141. doi: 10.1016/j.postharvbio.2019.04.003

    [12]

    WAN S H, GOUDOS S. Faster R-CNN for multi-class fruit detection using a robotic vision system[J]. Computer Networks, 2020(168): 107036. doi: 10.1016/j.comnet.2019.107036.

    [13]

    OSAKO Y, YAMANE H, LIN S Y, et al. Cultivar discrimination of litchi fruit images using deep learning[J]. Scientia Horticulturae, 2020, 269: 109360. doi: 10.1016/j.scienta.2020.109360.

    [14]

    OQUAB M, BOTTOU L, LAPTEV I, et al. Learning and transferring mid-level image representations using convolutional neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Columbus: IEEE, 2014: 1122-1129.

    [15]

    GE W, YU Y. Borrowing treasures from the wealthy: Deep transfer learning through selective joint fine-tuning[C]//IEEE Conference on Computer Vision and Pattern Recognition, Hawaii: IEEE, 2017: 2102-2113.

    [16]

    PAN S, YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. doi: 10.1109/TKDE.2009.191

    [17]

    SUN C, SHRIVASTAVA A, SINGH S, et al. Revisiting unreasonable effectiveness of data in deep learning era[C]//IEEE. IEEE International Conference on Computer Vision, Venice: IEEE, 2017: 843-852.

    [18]

    ROJAS-CARULLA M, SCHOLKOPF B, TURNER R, et al. Invariant models for causal transfer learning[J]. Journal of Machine Learning Research, 2018, 19(36): 1-34.

    [19]

    CORTES C, MOHRI M, MEDINA A M. Adaptation based on generalized discrepancy[J]. Journal of Machine Learning Research, 2019, 20(1): 1-30.

    [20]

    MOHRI M, ROSTAMIZADEH A, TALWALKAR A. Foundations of Machine Learning[M]. Cambridge: MIT Press, 2012.

    [21] 刘慧力, 贾洪雷, 王刚, 等. 基于深度学习与图像处理的玉米茎秆识别方法与试验[J]. 农业机械学报, 2020, 51(4): 207-215.
    [22] 马金林, 魏萌, 马自萍. 基于深度迁移学习的肺结节分割方法[J]. 计算机应用, 2020(7): 2117-2125.
    [23] 罗琪. 基于深度学习的水果图像识别系统[J]. 农业工程, 2018, 8(10): 31-34.
    [24] 岑冠军, 华俊达, 高燕. 基于深度学习芒果图像在线识别与计数方法研究[J]. 热带作物学报, 2020, 41(3): 425-432.
    [25] 廉小亲, 成开元, 安飒, 等. 基于深度学习和迁移学习的水果图像分类[J]. 测控技术, 2019, 38(6): 15-18.
    [26]

    SMIRNOV E A, TIMOSHENKO D M, ANDRIANOV S N. Comparison of regularization methods for ImageNet classification with deep convolutional neural networks[J]. AASRI Procedia, 2014, 6: 89-94. doi: 10.1016/j.aasri.2014.05.013

    [27]

    KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 1: 1097-1105.

    [28]

    WAN L, ZEILER M, ZHANG S, et al. Regularization of neural networks using DropConnect[C]//ICML. Proceedings of The 30th International Conference on Machine Learning, Atlanta: ICML, 2013.

    [29] 李一海. 植物根系三维矢量模型的构建与分析方法[D]. 广州: 华南农业大学, 2016.
    [30] 陈郁淦, 周学成, 乐凯. 根系CT序列图像区域生长分割的新方法[J]. 计算机工程与应用, 2011, 47(28): 158-161.
  • 期刊类型引用(1)

    1. 张润钊,邵继海,洪美灵,李好. 类珠藻对硝化抑制剂3, 4-二甲基吡唑磷酸盐胁迫的生理响应. 湖南生态科学学报. 2025(01): 24-33 . 百度学术

    其他类型引用(1)

图(15)  /  表(2)
计量
  • 文章访问数:  1205
  • HTML全文浏览量:  12
  • PDF下载量:  887
  • 被引次数: 2
出版历程
  • 收稿日期:  2020-11-03
  • 网络出版日期:  2023-05-17
  • 刊出日期:  2021-07-09

目录

/

返回文章
返回