Recognition of mango fruit diseases based on image processing and deep transfer learning
-
摘要:目的
基于计算机层析成像(Computed tomography, CT)设备所得芒果CT序列图像，实现芒果内部品质的无损检测和病状识别分类。
方法利用分段函数法、中值滤波结合双边滤波，实现芒果图像增强；采用局部自适应阈值法，实现二值化处理；采用种子填充法进行区域填充；最后通过差影法准确提取芒果果实内部组织的坏损区域。基于深度迁移学习模型，对未处理和已处理的芒果图像数据开展训练和测试，通过AlexNet和GoogLeNet深度学习网络开展迁移学习，调整超参数完成训练过程的网络微调，在不同模型中对比未处理和已处理的芒果测试集在模型上的分类结果。
结果基于未处理数据集，GoogLeNet模型在学习率为0.0002下训练，Accuracy和Macro-average指标分别为98.79%和98.41%。基于已处理数据集，GoogLeNet模型在学习率为0.0002下训练，Accuracy和Macro-average指标分别为100%和100%。深度迁移学习模型在已处理数据集下的模型分类指标较未处理的数据集下有较大的提升。基于同一数据集且超参数一致时，GoogLeNet网络的分类效果明显优于AlexNet网络。
结论设定学习率为0.0002、迭代轮数为3、最小批值为64，基于GoogLeNet网络开展深度迁移学习训练，将所得模型作为最终的分类模型。
Abstract:ObjectiveTo realize non-destructive detection of the internal quality of mangoes and disease identification and classification based on the CT sequence images of mangoes obtained by computed tomography (CT) equipment.
MethodWe used piecewise function method and median filter combined with bilateral filter to achieve image enhancement, used local adaptive threshold method to achieve binarization processing, used seed filling method to perform area filling, and used the image difference method to accurately extract the damaged area in inner tissue of mango fruit. Based on the deep transfer learning model, training and testing were carried out on unprocessed and processed mango image data. Transfer learning was carried out through the AlexNet and GoogLeNet deep learning networks, and hyperparameters were adjusted to complete the network fine-tuning of the training process. Under different models, the classification results of unprocessed and processed mango test sets on the model were compared.
ResultBased on the unprocessed data set, the GoogLeNet model was trained at a learning rate of 0.0002, and the Accuracy and Macro-average were 98.79% and 98.41% respectively. Based on the processed data set, the GoogLeNet model was trained at a learning rate of 0.0002, and the Accuracy and Macro-average were 100% and 100% respectively. The deep transfer learning model had a greater improvement in the model classification index of the processed data set than the unprocessed data set. Based on the same data set and consistent hyperparameters, the classification effect of the GoogLeNet network was significantly better than that of the AlexNet network.
ConclusionWhile learning rate is set to 0.0002, the Epoch value is 3, and the Mini Batch value is 64, deep transfer learning training is carried out based on the GoogLeNet network, and the resulting model is used as the final classification model.
-
Keywords:
- mango /
- disease recognition /
- CT imaging /
- damaged area extraction /
- deep transfer learning /
- image classification
-
奶牛养殖业在畜牧业发展中具有极其重要的地位[1]。集成化、智能化和标准化养殖已成为保证奶牛进食量、提高牛奶产量及保障乳制品品质的必然选择[2]。对于奶牛饲养，自由采食能提高饲料摄入量和牛奶产量，但奶牛进食时易将饲料拱出饲喂区，造成饲料的分散，不利于奶牛的进食。这样不仅浪费饲料，最重要的是影响奶牛的营养摄入量，最终影响产奶量和产奶质量[3-4]。目前，国外很多牛场采用以Lely、Valmetal公司的PRO-FEED为代表的推料机器人，Lely推料机器人[5]通过旋转的圆柱形外壳将饲料推回到栏杆下，PRO-FEED推料机器人[6]是螺旋式结构，通过滚动的螺旋式叶片将饲料推回到栏杆下。这两种机器人在推进过程中能对饲料进行一定的搅拌，推料效果较好，但结构复杂、加工难度大。现如今国内牛场养殖的推料方式有三种，一是人工扫料，二是人工驾驶的刮板式推料车，三是自走式推料机器人[7]。3种推料工作中，传统的人工扫料方式劳动强度大，需要投入大量的人力[8]。张勤等[9]研发的基于信息融合的智能推料机器人是采用刮板的推料方式，虽然刮板式推料车刮板小、结构简单、便于操作，但推料效果一般，且在纵向方向上有推料现象，影响奶牛采食。现有的自旋式推料机器人[5]推料效果较好，没有漏料情况，但推料效率较低；螺旋式推料机器人推料效率较高，但推料效果不好，有漏料现象。
对于皮带式推料机，具有代表性的是德国RMH-futterschieber皮带式推料机，针对含水率高、撒料量和撒料面积大的青饲料的推料效果较好。因此，本文对皮带式推料机结构进行设计，并对其推料过程进行仿真试验，为自动推料机实际推料作业参数提供参考。该研究利用离散元软件EDEM创建颗粒实体的参数化模型，此外，将材料力学特性和其他物理特性添加到EDEM中，形成颗粒模型和力学分析过程；基于Design-Expert软件进行正交试验设计，运用EDEM在不同试验条件下对皮带式推料机进行虚拟试验仿真和分析，探究推料机推料过程中物料颗粒群的运动规律，分析推料机不同推料角度、皮带速度、前进速度3个试验因素对推送率和推送效率的影响，以期为寻求推料机推料最优参数组合提供一定的指导。
1. 推料机器人结构及工作原理
1.1 整机结构
可变角度皮带式推料机器人主要由大容量锂电池、机器人主体部分、控制系统、精料抛撒装置、TMR搅拌撒料装置、激光雷达、RGB相机和IMU以及皮带式推料机组成，整机结构如图1所示。
![]()
图 1 推料机器人结构简图1：机器人主体部分，2：控制系统，3：精料抛撒装置，4：TMR饲料搅拌装置，5：RGB相机和IMU，6：激光雷达，7：皮带式推料机Figure 1. Structure sketch of pushing robot1: The main part of the robot, 2: Control system, 3: Concentrate throwing device, 4: TMR feed stirring device, 5: RGB camera and IMU, 6: LiDAR, 7: Belt type pusher工作时，首先，推料机器人融合RGB和雷达信息智能识别牛舍饲料带，控制机器人沿着饲料带自主行走；其次，根据饲料带是否存在饲料，机器人控制推料电机带动推料皮带转动，皮带上的推板将草料推回饲料带，从而完成推料作业。
1.2 皮带式推料机结构
皮带式推料机采用的是立式结构，外形尺寸长×宽×高为1 000 mm × 460 mm × 550 mm。如图2所示，皮带式推料机主要由1个伺服电机、2个滚筒、软质PVC带、推料机支撑架和可变角度连接架组成。
![]()
图 2 皮带式推料机结构图1：滚筒，2：皮带，3：伺服电机，4：张紧装置，5：皮带机支撑架Figure 2. Structure sketch of belt pusher1: Roller, 2: Belt, 3: Servo motor, 4: Tensioning device, 5: Belt conveyor support frame其中，滚筒的尺寸直接影响其与皮带的接触面积与摩擦力，这将影响皮带推料效率。滚筒的直径越大，皮带与滚筒的接触面积越大，两者之间的摩擦力越大，皮带运动越稳定。然而，滚筒直径过大会导致设备整机尺寸增大，增大能量消耗。因此，本设计选用的滚筒直径为155 mm、高度为450 mm、材质为碳钢、壁厚为2.5 mm，滚筒表面采用车床粗加工，以增加表面的摩擦力，满足推料作业的实际需求，三维模型如图3所示。
2. TMR饲料特性参数测量与接触参数仿真标定
2.1 试验材料
TMR饲料于2024年4月取自山东省泰安市岱岳区满庄镇泥沟村的金兰奶牛养殖牧场，分别在撒料1、2、3 h后进行取料，含水率(w)为55%~70%。
2.2 饲料特性参数测量
2.2.1 TMR饲料休止角测量
利用TMR饲料休止角对饲料间的恢复系数进行仿真标定试验，间接得出饲料间的恢复系数。采用排出法对TMR饲料的休止角进行测定，如图4所示。将一定量的饲料装入无底圆筒中，向上提升圆筒使饲料缓慢排出，待料堆稳定后，测量料堆竖直高度(h)与底面直径(d)的尺寸大小，通过公式(1)计算其休止角[10]，试验重复3次取平均值，测得休止角为45°~47°，平均46.75°。为降低摩擦因数对测量结果的影响，圆筒材质选用钢制。
![]()
图 4 休止角测定h：料堆竖直高度，d：料堆底面直径Figure 4. Determination of rest angleh: Vertical height of feed pile, d: Basal diameter of feed pile休止角计算公式：
$$ \varphi = {\tan ^{ - 1}}\dfrac{{2h}}{d} 。 $$ (1) 2.2.2 滑动摩擦角测量
通过饲料与皮带、饲料与地面间的滑动摩擦角，可以仿真标定饲料与皮带、饲料与瓷砖地面间的恢复系数。饲料滑动摩擦角测量所用仪器为斜面仪，摩擦面材料为PVC皮带和瓷砖。将所取饲料样本放置在水平摩擦面上，缓慢匀速转动手柄，使摩擦面一端缓慢上升，避免振动。如图5所示，当饲料试样开始向下滑动时，记录此时的摩擦面倾角，即为饲料滑动摩擦角(θ)。测得饲料与皮带间的滑动摩擦角平均值为37°，饲料与瓷砖间的滑动摩擦角平均值为42°。
![]()
图 5 滑动摩擦角测量θ：饲料滑动摩擦角Figure 5. Measurement of sliding friction angleθ: Sliding friction angle of feed2.2.3 摩擦系数测定
使用MXD-2型摩擦因数试验仪，测定饲料之间、饲料与皮带之间以及饲料与瓷砖地面之间的动、静摩擦系数，如图6所示。测定饲料之间的动、静摩擦系数时，将饲料用胶水平整均匀地固定在水平试验台上，并在试验仪滑块底面也均匀粘固一层饲料，使2个面上的饲料平整接触，启动试验仪后2个接触面上的饲料产生相对移动，滑块产生一定距离的相对移动后，仪器根据摩擦力的大小自动计算摩擦系数。试验重复5次取平均值，结果如表1所示。
表 1 试验测定摩擦系数Table 1. Determination of friction coefficient by tests参数
Parameter饲料与饲料
Feed and
feed饲料与皮带
Feed and
belt饲料与地面
Feed and
ground静摩擦系数
Static friction
coefficient0.54 0.75 0.80 滚动摩擦系数
Rolling friction
coefficient0.85 0.40 0.48 2.3 TMR饲料接触参数仿真标定
采用试验测试与离散元仿真相结合的方法对饲料进行仿真参数标定及优化。试验时，以实测的休止角、滑动摩擦角为响应值设计中心组合试验方案，利用Design-Expert软件分析各因素的编码值和数据，对各项进行方差分析和回归系数显著性检验，分析仿真参数对仿真结果的影响，确定饲料EDEM的最优参数。TMR饲料仿真离散元模型建立方法如下。
1)TMR饲料模型。由作物秸秆、球形米粒和青贮块组成奶牛饲料，并进行仿真建模。采用理想球形颗粒组合法对实际物料进行替代。对混合物料几何尺寸进行实测并取平均值[11]，3种球形填充物料颗粒的直径分别设为12、10和8 mm。物料离散元模型如图7a~7c所示。
2)接触模型。利用EDEM软件对推料作业进行仿真。由于不考虑传热及磨损等问题，选用Hertz Mindlin(no slip)模型作为离散元仿真中饲料颗粒与皮带的接触模型[12]。
3)碰撞恢复系数仿真标定试验。利用EDEM离散元参数标定对饲料堆积过程进行仿真，如图8所示；对饲料滑动摩擦角测定过程进行仿真，如图9所示。通过优化碰撞恢复系数，使饲料仿真堆积过程的休止角与实际休止角一致，以及饲料仿真过程的滑动摩擦角与实际滑动摩擦角一致，从而预测碰撞恢复系数，为推料仿真分析提供基础数据[13]。
![]()
图 9 TMR饲料滑动摩擦角测定过程模拟θ：饲料滑动摩擦角Figure 9. Simulation of TMR feed sliding friction angle measurement processθ: Sliding friction angle of feed4)仿真参数。TMR饲料模型参数包括材料参数和接触参数。其中，材料参数包括TMR饲料、皮带、地面的密度、泊松比、剪切模量等[5, 10, 14-15]，具体数值如表2所示。
表 2 物料特性参数Table 2. Property parameters of materials材料
Material密度/(kg·m−3)
Density泊松比
Poisson’s ratio剪切模量/Pa
Shear modulus饲料 Feed 700 0.30 2.30×107 皮带 Belt 1 380 0.45 2.40×108 地面 Ground 1 500 0.20 1.25×1010 通过以上测量试验、仿真测定及查阅相关文献，得到饲料与饲料之间、饲料与推料皮带装置之间、饲料与瓷砖地面之间的碰撞恢复系数均为0.30。
3. EDEM推料仿真试验
3.1 EDEM推料仿真模型及参数设置
为便于推料仿真的计算，本研究去除了与物料运动无接触关系的部件。推料机的皮带与饲料直接接触，其材质为软质PVC材料，将其导入EDEM中，如图10所示。
根据表1、2和标定的碰撞恢复系数设置仿真参数，通过动态生成的方式在颗粒工厂中生成物料颗粒，设定颗粒总质量为180 kg，作物秸秆、球形米粒、青贮块的质量比为35∶10∶55。
根据相关文献[14]可知，推送率随着饲料含水率的增加而增大。本研究推料机皮带速度、推料角度以及前进速度的定义图如图11所示。
在推料机构作用下，饲料颗粒间相互作用，饲料颗粒沿着皮带表面速度方向运动。如图12所示，当推料角度为0°时，饲料运动轨迹垂直运动方向，若运动速度增大会将未及时推送到饲喂区的饲料向斜前方推送，出现饲料分布不均匀现象；随着推送角度增大，饲料运动轨迹开始向斜后方运动，在一定前进速度下，饲料可以更好地被推到原位置；但当推料角度超过30°时，会出现将已推过去的饲料带到皮带后面的现象。
![]()
图 12 物料颗粒在各个角度的运动方向各小图中的箭头指饲料运动方向Figure 12. Movement direction of the material particles at various anglesThe arrows in each figure indicate the movement direction of feed选取推送率(Y1)和推送效率(Y2)作为推料效果的评价指标，计算方式如公式(2)和(3)。设置图13中阴影区域的颗粒质量为150 kg，仿真完成后对未被推到撒料带的饲料进行统计。
$$ {Y}_{1}=\dfrac{m-{m}_{_{{0}}}}{m}\times 100{\text{%}} \text{，} $$ (2) $$ {Y}_{2}=\dfrac{m-{m}_{_{{0}}}}{{t}} \text{，} $$ (3) 式中，m：推送前阴影区域饲料的质量，kg；
$m_{_{{0}}} $ ：推送后未推到撒料带饲料的质量，kg；t：推料时间，min。3.2 推料试验仿真分析
以推料机推料角度(x1)、皮带速度(x2)和前进速度(x3)为研究因素，设计三因素三水平试验表，如表3所示。
表 3 试验因素水平表1)Table 3. Table of test factor and level水平
Levelx1/(°) x2/(m·s−1) x3/(m·s−1) −1 0 1 0.5 0 15 2 1.0 1 30 3 1.5 1)x1：推料角度，x2：皮带速度，x3：前进速度
1) x1: Pushing angle, x2: Belt speed, x3: Forward speed以各因素编码值x1、x2、x3为自变量，Y1和Y2为目标值，试验设计与结果如表4所示。
表 4 推料仿真试验设计与结果1)Table 4. Design and results of pushing simulation experiment序号
Serial numberx1 x2 x3 Y1/% Y2/(kg·min−1) 1 0 1 1 92.6 833.4 2 1 1 0 96.5 579.0 3 −1 0 1 91.8 826.2 4 1 −1 0 93.3 559.8 5 1 0 1 92.0 828.0 6 −1 1 0 94.8 568.8 7 0 0 0 93.5 561.0 8 0 −1 −1 93.9 281.7 9 −1 −1 0 91.1 546.6 10 1 0 −1 95.8 287.4 11 0 0 0 94.0 564.0 12 −1 0 −1 95.1 285.3 13 0 −1 1 89.7 807.3 14 0 0 0 93.9 563.4 15 0 0 0 94.3 565.8 16 0 1 −1 98.1 294.3 17 0 0 0 95.0 570.0 1) x1：推料角度，x2：皮带速度，x3：前进速度，Y1：推送率，Y2：推送效率
1) x1: Pushing angle, x2: Belt speed, x3: Forward speed, Y1: Pushing rate, Y2: Pushing efficiency对各因素与推送率和推送效率的关系进行方差分析和回归系数显著性检验，结果如表5、6所示。依据表5，利用响应面法建立推送率与试验因素编码值的关系模型为
表 5 推料仿真试验推送率响应面方差分析Table 5. Variance analysis of response surface of pushing rate in material pushing simulation test来源
Source平方和
Square
sum自由度
Freedom
degree均方
Mean
squareF P1) 模型
Model64.08 9 7.12 15.44 0.000 8** x1 2.88 1 2.88 6.25 0.042 0* x2 24.50 1 24.50 53.15 0.000 2** x3 35.28 1 35.28 76.53 <0.000 1** x1x2 0.06 1 0.06 0.14 0.723 6 x1x3 0.06 1 0.06 0.14 0.723 6 x2x3 0.42 1 0.42 0.92 0.370 3 x12 0.01 1 0.01 0.03 0.867 0 x22 0.10 1 0.10 0.23 0.648 6 x32 0.70 1 0.70 1.52 0.257 9 残差
Residual error3.23 7 0.46 失拟项
Misfit term1.98 3 0.66 2.10 0.240 0 纯误差
Pure error1.30 4 0.31 总和
Sum67.30 16 1)“*”“**”分别表示在P<0.05和P<0.01水平影响显著(方差分析)
1) “*” and “**” indicate significant effects at P<0.05 and P<0.01 levels, respectively (Analysis of variance)Y1=94.140 0+0.600 0x1+1.750.0 x2−2.100 0x3−0.125 0x1x2−0.125 0x1x3+0.325 0x2x3−0.057 5x12−0.157 5x22−0.408 0x32。
由表5可知，推送率与试验因素编码值之间的关系是极显著的(P<0.01)，失拟项影响不显著(P>0.05)，表示模型合理。其中x1对推料率影响显著，x2和x3对推送率影响极显著，其余各项都影响不显著。从单因素分析来看，各因素对推送率的影响由大到小为x3>x2>x1。从各因素交互作用来看，交互作用项对推送率的影响由大到小为x2x3>x1x3>x1x2。
各因素的交互作用对推送率的响应面如图14。当推料角度在中间水平时，推送率随皮带速度增加而增大；当皮带速度在中间水平时，推送率随推料角度增加而增大。当推料角度在中间水平时，推送率随前进速度增加而明显降低；当前进速度在中间水平时，推送率随推送角度增加而增加。当前进速度在中间水平时，推送率随皮带速度增加而明显增高。
![]()
图 14 各因素对推送率的响应面图Figure 14. Response surface graph of various factors to pushing rate依据表6，利用响应面法建立推送效率与试验因素编码值之间的关系模型为
表 6 推料仿真试验推送效率响应面方差分析Table 6. Variance analysis of response surface of pushing efficiency in material pushing simulation test来源
Source平方和
Square
sum自由度
Freedom
degree均方
Mean
squareF P1) 模型
Model5.77×105 9 64 117 3 484 <0.000 1** x1 93.16 1 93.16 5.06 0.060 0 x2 802.00 1 802.00 43.60 0.000 3** x3 5.76×105 1 5.76×105 31 293 <0.000 1** x1x2 2.25 1 2.25 0.12 0.736 9 x1x3 0.02 1 0.02 0.00 0.973 1 x2x3 45.56 1 45.56 2.48 0.159 6 x12 1.67 1 1.67 0.09 0.771 9 x22 15.52 1 15.52 0.84 0.388 9 x32 322.00 1 322.00 17.50 0.004 1** 残差
Residual error128.79 7 18.40 失拟项
Misfit term83.72 3 27.91 2.48 0.200 8 纯误差
Pure error45.07 4 11.27 总和
Sum5.77×105 16 1)“**”表示在P<0.01水平影响显著(方差分析)
1) “**” indicates significant effect at P<0.01 level (Analysis of variance)Y2=564.840+3.410x1+10.010x2+268.280x3−0.750x1x2−0.075x1x3+3.380x2x3+0.630x12−1.920x22−8.740x32。
由表6可知，推送效率与试验因素编码值之间的关系是极显著的(P<0.01)，失拟项影响不显著(P>0.05)；这表明模型合理，可以用来预测推料机推送效率。其中，x2、x3和x32对推料机推送效率影响极显著，其余各项均不显著。从单因素分析来看，各因素对推送效率的影响由大到小为x3>x2>x1。从各因素交互作用来看，交互作用项对推送效率的影响由大到小为x2x3>x1x2>x1x3。
各因素的交互作用对推送效率的响应面如图15。推料角度和皮带速度对推料效率的影响不明显。当推料角度和皮带速度分别在中间水平时，推料效率都会随着前进速度增加而明显增高。
![]()
图 15 各因素对推送效率的响应面图Figure 15. Response surface graph of various factors to pushing efficiency以推料机的推送率和推料效率最大为目标值，通过响应面法进行优化求解，得到推料机理论最优作业参数水平组合：推料角度30°、皮带速度2.99 m/s、前进速度0.83 m/s。在此作业参数下，推送率和推送效率分别为94.6%、724.5 kg/min。
4. 样机的推料试验
4.1 试验方案
如图16所示，在泰安市金兰奶牛场进行试验，选取推料机理论最优作业参数水平组合和仿真结果较好的2组试验参数进行试验。每次推料前对图13阴影区域TMR饲料的质量进行记录，推料作业完成后收集未推到撒料区的TMR饲料并称质量，推料过程中TMR饲料水分损失忽略不计，每组试验重复3次。选取推送率和推送效率作为推料效果的评价指标，将结果与EDEM仿真试验结果做对比，测试皮带式推料机器人在真实工作情况下的推料效果。
4.2 试验结果与分析
利用TMR饲料进行试验，推料机器人3次推料试验推送率为91%~96%，推送效率为720~820 kg/min。当推料前进速度为1.5 m/s时，机器人推料效率最高；但是当皮带速度低于2 m/s时，皮带无法及时完成推料作业，导致大量饲料堆积在皮带前方。当推料机器人推送到位的饲料较少，剩余饲料会导致饲料流反向运动，造成饲料分布不均匀。前进速度和皮带速度一定时，当推料角度为0°时，饲料运动轨迹是斜前方，当推送角度逐渐增大时，饲料运动轨迹逐渐向斜后方运动，但是推送角度过大会导致出现将已推过去的饲料带到皮带后面的现象，即漏料现象。当皮带速度为3 m/s时，无论推料机器人的前进速度是高速还是低速，在3个工作角度下的推料效果都是良好的；在皮带高速转动的情况下，皮带通过摩擦力和皮带表面凸起将饲料从一侧带动到另一侧，高速转动的皮带能快速地将饲料推送到指定位置，从而验证了本文的推料机推料效果可以满足牧场需求。实际试验结果与仿真结果基本一致，验证了推料机结构和作业参数的合理性。
5. 结论
针对目前国内采用螺旋式推料机器人对含水率高、撒料量多的TMR饲料推料效果不好等问题，研制了一种皮带式推料机，采用旋转的皮带将饲料推回到奶牛采食区域。皮带式推料机试验表明，推送效率达到牧场的要求，仿真模拟结果为皮带式推料机的动力学分析和参数优化提供了参考。
-
![]()
图 1 基于平板探测器的计算机层析成像(CT)系统
Figure 1. Computer tomography (CT) system based on flat panel detector
![]()
图 2 海绵组织病芒果和空心病芒果
Figure 2. Mango with spongy tissue disease and mango with hollow disease
![]()
图 3 海绵组织病芒果和空心病芒果CT图像灰度值分布
Figure 3. Gray value distribution in CT images of mango with spongy tissue disease and mango with hollow disease
![]()
图 4 海绵组织病芒果图像采用分段函数法变换
Figure 4. Piecewise function to transform image of mango with spongy tissue disease
![]()
图 5 空心病芒果图像采用分段函数法变换
Figure 5. Piecewise function to transform image of mango with hollow disease
![]()
图 7 芒果CT图像多方案滤波效果对比
Figure 7. Effect comparison of several filtering schemes in mango CT images
![]()
图 8 芒果CT图像多方案滤波效果细节放大对比
Figure 8. Effect comparison of several filtering schemes with detail amplification in mango CT images
![]()
图 10 海绵组织病芒果二值化序列图像
a、b、c、d、e、f、g、h分别是芒果的第300、304、308、312、500、504、508、512层二值化图像
Figure 10. Binary sequence images of mangoes with spongy tissue disease
a, b, c, d, e, f, g, h are binary images for the 300th, 304th, 308th, 312th, 500th, 504th, 508th and 512th layers of mango, respectively
![]()
图 11 空心病芒果图像差影法分割效果(第300层)
Figure 11. Image segmentation effect of mango with hollow disease using background subtraction (The 300th layer)
![]()
图 12 海绵组织病芒果图像差影法分割效果(第300层)
Figure 12. Image segmentation effect of mango with spongy tissue disease using background subtraction (The 300th layer)
表 1 深度迁移学习模型性能参数(未处理图像)
Table 1 Performance parameters of deep transfer learning model (Unprocessed image)
模型
Model学习速率
Learning rate图片类型
Image type精准率/%
Precision召回率/%
RecallF1分值/%
F1-score模型准确率/%
Accuracy of modelAlexNet 0.0008 无病症芒果 Healthy mango 87.58 92.63 90.03 84.88 海绵组织病芒果
Mango with spongy tissue disease94.90 77.40 85.26 空心病芒果 Mango with hollow disease 64.84 82.08 72.45 0.0005 无病症芒果 Healthy mango 96.02 94.47 95.24 90.22 海绵组织病芒果
Mango with spongy tissue disease93.71 85.19 89.25 空心病芒果 Mango with hollow disease 73.02 90.75 80.93 0.0002 无病症芒果 Healthy mango 97.22 96.77 97.00 94.15 海绵组织病芒果
Mango with spongy tissue disease96.70 91.43 93.99 空心病芒果 Mango with hollow disease 82.63 93.64 87.80 GoogLeNet 0.0008 无病症芒果 Healthy mango 95.55 94.01 94.77 90.73 海绵组织病芒果
Mango with spongy tissue disease95.40 86.23 90.59 空心病芒果 Mango with hollow disease 82.05 92.49 82.05 0.0005 无病症芒果 Healthy mango 98.12 93.61 97.21 95.36 海绵组织病芒果
Mango with spongy tissue disease97.32 94.29 95.78 空心病芒果 Mango with hollow disease 85.49 95..38 90.16 0.0002 无病症芒果 Healthy mango 99.77 99.08 99.42 98.79 海绵组织病芒果
Mango with spongy tissue disease98.96 98.96 98.96 空心病芒果 Mango with hollow disease 96.02 97.69 96.85 
下载: 导出CSV
表 2 深度迁移学习模型性能参数(处理图像)
Table 2 Deep transfer learning model performance parameters (Processed image)
模型
Model学习速率
Learning rate图片类型
Image type精准率/%
Precision召回率/%
RecallF1分值/%
F1-score模型准确率/%
Accuracy of modelAlexNet 0.0008 无病症芒果 Healthy mango 100 96.48 98.21 95.39 海绵组织病坏损区域
Damaged area from spongy tissue disease96.16 97.92 97.03 空心病坏损区域
Damaged area from hollow disease86.46 95.95 90.96 海绵组织病芒果 Mango with spongy tissue disease 93.67 96.10 94.87 空心病芒果 Mango with hollow disease 96.71 84.97 90.46 0.0005 无病症芒果 Healthy mango 97.42 97.42 98.57 97.40 海绵组织病坏损区域
Damaged area from spongy tissue disease98.44 98.44 98.44 空心病坏损区域
Damaged area from hollow disease100 100 95.58 海绵组织病芒果 Mango with spongy tissue disease 98.18 98.18 96.92 空心病芒果 Mango with hollow disease 90.75 90.75 95.15 0.0002 无病症芒果 Healthy mango 100 100 100 100 海绵组织病坏损区域
Damaged area from spongy tissue disease100 100 100 空心病坏损区域
Damaged area from hollow disease100 100 100 海绵组织病芒果 Mango with spongy tissue disease 100 100 100 空心病芒果 Mango with hollow disease 100 100 100 GoogLeNet 0.0008 无病症芒果 Healthy mango 97.93 99.77 98.84 98.05 海绵组织病坏损区域
Damaged area from spongy tissue disease99.21 98.70 98.96 空心病坏损区域
Damaged area from hollow disease93.51 100 96.63 海绵组织病芒果 Mango with spongy tissue disease 98.42 96.88 97.64 空心病芒果 Mango with hollow disease 100 93.06 96.41 0.0005 无病症芒果 Healthy mango 100 100 100 100 海绵组织病坏损区域
Damaged area from spongy tissue disease100 100 100 空心病坏损区域
Damaged area from hollow disease100 100 100 海绵组织病芒果 Mango with spongy tissue disease 100 100 100 空心病芒果 Mango with hollow disease 100 100 100 0.0002 无病症芒果 Healthy mango 100 100 100 100 海绵组织病坏损区域
Damaged area from spongy tissue disease100 100 100 空心病坏损区域
Damaged area from hollow disease100 100 100 海绵组织病芒果 Mango with spongy tissue disease 100 100 100 空心病芒果 Mango with hollow disease 100 100 100
下载: 导出CSV
-
[1] 曹霞, 周学成, 范品良. 基于近红外漫反射光谱技术的芒果糖度无损检测方法研究[J]. 农机化研究, 2013(1): 177-180. [2] 郭辉. 基于机器视觉的蜜柚品质检测方法研究[D]. 北京: 中国农业大学, 2015. [3] 黄滔滔, 孙腾, 张京平. 基于CT图像的苹果内部品质无损检测[J]. 浙江大学学报(农业与生命科学版), 2013, 39(1): 92-97. [4] 曹霞. 核桃果实内部品质的无损检测技术研究[D]. 广州: 华南农业大学, 2013. [5] 孙腾. CT技术及图像变换对苹果内部品质的无损检测模型研究[D]. 杭州: 浙江大学, 2013. [6] 郭文川, 孔繁荣, 王转卫, 等. 梨生长发育后期介电特性、生理特性和内部品质的关系[J]. 现代食品科技, 2015, 31(11): 56-61. [7] 吴迪, 杨万能, 牛智有, 等. 小麦分蘖形态学特征X射线−CT无损检测[J]. 农业工程学报, 2017, 33(14): 196-201. [8] 王转卫, 赵春江, 商亮, 等. 基于介电频谱技术的甜瓜品种无损检测[J]. 农业工程学报, 2017, 33(9): 290-295. [9] 张京平, 彭争, 汪剑. 苹果水分与CT值相关性的研究[J]. 农业工程学报, 2003, 19(3): 180-182. [10] 余心杰. 农产品无损检测中的模式识别问题研究[D]. 杭州: 浙江大学, 2018. [11] NASIRI A, TAHERI-GARAVAND A , ZHANG Y D. Image-based deep learning automated sorting of date fruit[J]. Postharvest Biology and Technology, 2019, 153: 133-141. doi: 10.1016/j.postharvbio.2019.04.003
[12] WAN S H, GOUDOS S. Faster R-CNN for multi-class fruit detection using a robotic vision system[J]. Computer Networks, 2020(168): 107036. doi: 10.1016/j.comnet.2019.107036.
[13] OSAKO Y, YAMANE H, LIN S Y, et al. Cultivar discrimination of litchi fruit images using deep learning[J]. Scientia Horticulturae, 2020, 269: 109360. doi: 10.1016/j.scienta.2020.109360.
[14] OQUAB M, BOTTOU L, LAPTEV I, et al. Learning and transferring mid-level image representations using convolutional neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Columbus: IEEE, 2014: 1122-1129.
[15] GE W, YU Y. Borrowing treasures from the wealthy: Deep transfer learning through selective joint fine-tuning[C]//IEEE Conference on Computer Vision and Pattern Recognition, Hawaii: IEEE, 2017: 2102-2113.
[16] PAN S, YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. doi: 10.1109/TKDE.2009.191
[17] SUN C, SHRIVASTAVA A, SINGH S, et al. Revisiting unreasonable effectiveness of data in deep learning era[C]//IEEE. IEEE International Conference on Computer Vision, Venice: IEEE, 2017: 843-852.
[18] ROJAS-CARULLA M, SCHOLKOPF B, TURNER R, et al. Invariant models for causal transfer learning[J]. Journal of Machine Learning Research, 2018, 19(36): 1-34.
[19] CORTES C, MOHRI M, MEDINA A M. Adaptation based on generalized discrepancy[J]. Journal of Machine Learning Research, 2019, 20(1): 1-30.
[20] MOHRI M, ROSTAMIZADEH A, TALWALKAR A. Foundations of Machine Learning[M]. Cambridge: MIT Press, 2012.
[21] 刘慧力, 贾洪雷, 王刚, 等. 基于深度学习与图像处理的玉米茎秆识别方法与试验[J]. 农业机械学报, 2020, 51(4): 207-215. [22] 马金林, 魏萌, 马自萍. 基于深度迁移学习的肺结节分割方法[J]. 计算机应用, 2020(7): 2117-2125. [23] 罗琪. 基于深度学习的水果图像识别系统[J]. 农业工程, 2018, 8(10): 31-34. [24] 岑冠军, 华俊达, 高燕. 基于深度学习芒果图像在线识别与计数方法研究[J]. 热带作物学报, 2020, 41(3): 425-432. [25] 廉小亲, 成开元, 安飒, 等. 基于深度学习和迁移学习的水果图像分类[J]. 测控技术, 2019, 38(6): 15-18. [26] SMIRNOV E A, TIMOSHENKO D M, ANDRIANOV S N. Comparison of regularization methods for ImageNet classification with deep convolutional neural networks[J]. AASRI Procedia, 2014, 6: 89-94. doi: 10.1016/j.aasri.2014.05.013
[27] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 1: 1097-1105.
[28] WAN L, ZEILER M, ZHANG S, et al. Regularization of neural networks using DropConnect[C]//ICML. Proceedings of The 30th International Conference on Machine Learning, Atlanta: ICML, 2013.
[29] 李一海. 植物根系三维矢量模型的构建与分析方法[D]. 广州: 华南农业大学, 2016. [30] 陈郁淦, 周学成, 乐凯. 根系CT序列图像区域生长分割的新方法[J]. 计算机工程与应用, 2011, 47(28): 158-161.
计量
- 文章访问数: 1219
- HTML全文浏览量: 20
- PDF下载量: 889
