Identification of bergamot pests and diseases using YOLOv5-C algorithm
-
摘要:目的
为实现复杂背景下广佛手发病早期的病虫害快速精准识别，提出一种基于YOLOv5-C的广佛手病虫害识别方法。
方法使用YOLOv5s网络模型作为基础网络，通过引入所提出的多尺度特征融合模块，提高网络模型的特征提取与特征融合能力，均衡提高每一类广佛手病虫害的识别准确率；使用注意力机制模块提高网络模型对病虫害目标特征信息的关注度，弱化复杂背景的干扰信息，提高网络模型的识别准确率；利用改进的C3-SC模块替换PANet结构中的C3模块，在不影响网络模型识别性能的条件下减少网络模型的参数。
结果基于YOLOv5-C的复杂背景下的广佛手病虫害识别，F1分数为90.95%，平均精度均值为93.06%，网络模型大小为14.1 Mb，在GPU上每张图像平均检测时间为0.01 s。与基础网络YOLOv5s相比，平均精度均值提高了2.45个百分点，7个类别识别的平均准确率的标准差由7.14减少为3.13，变异系数由7.88%减少为3.36%。平均精度均值比RetinaNet、SSD、Efficientdet和YOLOv4模型分别高22.30、20.65、4.84和2.36个百分点。
结论该方法能快速准确地识别复杂背景下广佛手病虫害目标，可为广佛手种植产业的智能化管理提供参考。
Abstract:ObjectiveIn order to achieve rapid and accurate identification of pests and diseases in the early disease stage of bergamot in complex background, we proposes a YOLOv5-C-based method for the identification of bergamot pests and diseases.
MethodThe YOLOv5s network model was used as the base network. The multi-scale feature fusion module was proposed and introduced to improve the feature extraction and feature fusion capability of the network model, and to improve the recognition accuracies of different bergamot pests and diseases in a balanced manner. The attention mechanism module was used to upgrade the attention degree of the network model to the information of target features of pests and diseases, weaken the interference information of complex background, and raise the recognition accuracy of the network model. An improved C3-SC module was used to replace the C3 module in the PANet structure to decrease the number of parameters in the network model without lowering the network model recognition performance.
ResultF1 score of 90.95% and mean average precision of 93.06% were achieved when identifying the bergamot pests and diseases under a complex background using the YOLOv5-C method. The size of network model was 14.1 Mb, and the average detection time was 0.01 s per image on the GPU. Comparing with the original YOLOv5s, the mean accuracy of YOLOv5-C increased by 2.45 percentage point, the standard deviation of the average precision for seven categories was reduced from 7.14 to 3.13, and the coefficient of variation decreased from 7.88% to 3.36%. Moreover, the mean average accuracy was 22.30, 20.65, 4.84 and 2.36 percentage point higher than those of RetinaNet, SSD, Efficientdet and YOLOv4, respectively.
ConclusionThe method can quickly and accurately identify bergamot pests and diseases under complex background, and provide a reference for intelligent management of bergamot cultivation industry.
-
广佛手是首批受法律保护的8种岭南中药材之一，其根、茎、叶、花、果均可入药，具有疏肝理气、和胃止痛、燥湿化痰的功效[1]。除药用外，广佛手提取出的精油，气味清香淡雅，具有舒缓压力、提神解乏的作用，被广泛应用于食品、药品、化妆品等行业[2]。广佛手的种植规范要求严格，禁止滥用农药和化学药剂，因此，对广佛手早期的病虫害进行精准识别与防治，是提高广佛手产量与质量的关键。
随着农业机械化与信息化的快速发展，农作物病虫害识别的方法由传统的人工识别方法，发展为基于深度学习技术的识别方法[3-5]。Yuan等[6]将迁移学习与2种深度学习结构相结合，对8种作物病害图像进行分类，准确率为 95.93%。Chen等[7]利用VGGNet增强模型，对水稻病虫害进行分类，准确率为92.00%。Lü等[8]基于AlexNet网络，从不同角度验证了特征增强算法能有效提高网络识别能力，所提出的方法能准确识别自然环境中采集的玉米病害图像。陆健强等[9]提出一种基于Mixup算法和卷积神经网络的柑橘黄龙病果实识别模型，最终模型的准确率达到94.29%。Hassan等[10]提出了一种用于植物病虫害识别的新型深度学习模型，并在3个公开的植物病虫害数据集上进行验证，均取得了良好的识别效果。上述基于深度学习的农作物病虫害叶片分类研究，为深度学习技术应用于农作物病虫害识别提供了参考。
随着深度学习的快速发展，基于深度学习的目标检测算法被广泛应用于农作物病虫害识别，该方法不仅能快速识别病虫害的类别，还能准确定位病斑、害虫在图像中的位置，进一步促进了精准农业的发展[11]。常用的目标检测网络有Faster RCNN[12]、SSD[13]、YOLO系列[14-17]等，可用于识别农作物病虫害[12-21]。其中，YOLO 网络模型是一种one-stage的目标检测算法，基于回归分析可直接获得目标分类结果与目标定位信息，具有结构简单、计算量小、运算速度快等特点，被广泛应用于农作物病虫害识别研究[21-23]。Mamdouh等[21]提出了改进的YOLOv4模型，利用数据增强和加入负样本的方法提高橄榄果蝇的检测精度，最终的识别准确率为96.68%。张博等[22]提出了一种基于改进YOLOv3的农作物害虫识别算法，平均识别准确率为88.07%。胡嘉沛等[23]提出了一种改进YOLO4-tiny模型的柑橘木虱识别方法，平均识别精度为 96.16%。YOLOv5s是YOLO系列网络的最新模型，具有检测精度高、推理速度快等特点，能有效识别小目标或被遮挡目标。
自然环境下拍摄的广佛手早期病虫害图像背景复杂，部分病斑与枝干和光斑相似，且病斑、病虫体积较小，易造成病虫害目标的误检与漏检。为提高广佛手病虫害的识别准确率，结合SqueezeNet网络[24]以及YOLO系列网络的优点，提出一种轻量级目标检测模型YOLOv5-C，以期为实现田间快速精准监测广佛手早期病虫害提供参考。
1. 材料与方法
1.1 试验数据采集
试验数据采集于广东省肇庆乐城镇广佛手园，采集时间为2021年8月和10月。使用手持式Nikon单反相机D3100和高清手机，对自然环境下的广佛手幼苗盆栽和成熟植株叶片上早期的病斑、病虫进行拍摄，拍摄时相机距离病斑叶片约0.5 m，图像分辨率为4608×3072和3000×3000。为真实还原田间复杂环境，本研究的试验数据采集天气包括晴天、阴天和雨后，采集时间为08:30—12:00和14:00—18:00，拍摄角度包括东、南、西、北4个方向。在自然环境下采集的广佛手早期病虫害图像中，病虫害类别包括褐斑病、溃疡病、煤烟病、附生绿球藻、潜叶蛾、双钩巢粉虱和玉带凤蝶，共7类，最终数据集共5969张原始图像。
1.2 构建广佛手病虫害数据集
使用labelImg工具对5969张原始图像中的广佛手病虫害目标进行标注，并将构建的广佛手发病早期的病虫害数据集，按照72%、18%和10%的比例随机划分为训练集(4292张)、验证集(1076张)和测试集(601张)。数据集的基本信息如表1所示。
表 1 广佛手病虫害数据集基本信息Table 1. Basic information of bergamot pest and disease dataset类别 Category 原始图像 Original image 褐斑病病斑 Labeled brown spot 溃疡病病斑 Labeled canker 煤烟病病斑 Labeled dark mildew 附生绿球藻 Labeled chlorococcum 潜叶蛾 Leaf miner 玉带凤蝶 Papilio polytes 双钩巢粉虱 Mealworm 训练集 Training set 4292 608 1150 1654 638 1463 1258 740 验证集 Validation set 1076 145 272 438 155 348 301 200 测试集 Test set 601 91 155 214 90 200 200 91 合计 Total 5969 844 1577 2306 883 2011 1759 1031 1.3 构建广佛手病虫害识别网络
针对在自然环境下，广佛手早期病斑和幼虫体积较小、田间拍摄的图像背景复杂、病变叶片褶皱导致部分病斑特征被破坏等问题，本研究提出了能快速、准确地检测田间广佛手病虫害的YOLOv5-C目标检测模型。根据广佛手病虫害数据集的实际情况，参照SqueezeNet网络的模型压缩思想对网络模型结构进行压缩，降低模型的复杂度。同时，参照不同的多尺度特征融合思想[25-27]，添加改进的多尺度特征融合模块，进一步提升网络模型的识别准确率。
1.3.1 YOLOv5网络模型
YOLOv5网络模型检测精度高、推理速度快，能够有效识别小目标和被遮挡的目标。该网络包含4种基础架构，根据网络特定位置的特征提取不同数量的模块和卷积核，将网络分为YOLOv5s、YOLOv5m、YOLOv5l 和 YOLOv5x，对应的网络参数量依次为7.08×106、2.11×107、4.67×107、8.73×107，模型大小依次为14.4、42.5、93.8、175.2 Mb。随着网络模型参数的增加，基础网络模型的复杂度随之增加，虽然网络模型的准确率有所提升，但需要消耗更多的计算资源及硬件资源，网络模型的实时性也随之降低。为实现广佛手病虫害的快速精准识别，选择实时性最优、权重文件最小、最适合部署至嵌入式设备的YOLOv5s网络作为基础网络。YOLOv5s的主干网络为Darknet-53，颈网络为PANet路径聚合网络[27]，主干网络由Focus模块、卷积单元、C3模块(含有3个卷积模块的CSP模块[28])以及SPP模块[29]组成。本研究使用YOLOv5s作为基础网络，网络结构如图1所示。
1.3.2 多尺度特征融合模块
广佛手早期病虫害的病斑、病虫体积较小，为有效提高广佛手病虫害目标的识别准确率，本研究针对广佛手病虫害数据集的特点，提出了一种多尺度特征融合模块(Multi-scale feature fusion module，MSFFM)，以提高网络模型特征提取、特征融合的能力。该模块在骨干网络中选定3个特征图，包括顶层特征图U1、中层特征图U2和足够低层特征图U3。其中，顶层特征图U1通过上采样操作使得特征图尺寸、通道数与中层特征图保持一致，得到特征图U12；低层特征图通过下采样操作同样将特征图尺寸、通道数与中层特征图保持一致，得到特征图U32。将特征图U12、U2、U32进行融合，获得信息更丰富的特征图U0，将融合后的特征图U0与YOLOv5s的颈网络PANet路径聚合网络相结合使用，进一步提高网络模型的识别准确率。图2为MSFFM的多尺度特征融合示意图。
![]()
图 2 MSFFM的多尺度特征融合示意图Figure 2. Schematic diagram of multi-scale feature fusion of MSFFM1.3.3 注意力机制模块
针对广佛手病虫害目标体积较小、形状多变且部分病斑和病虫与光斑、背景枝干相似等问题，本研究在网络模型中添加了注意力机制模块(Convolutional Block Attention Module，CBAM)[30]，该模块由通道注意力模块和空间注意力模块组成，输入特征图依次经过通道注意力模块和空间注意力模块，获得通道维度和空间维度的注意力图，将输入特征图与获得的注意力图相乘以实现特征图的自适应优化，使得网络模型更加关注于目标的特征信息，弱化图像中的背景信息，提高网络模型的识别性能。
其中，通道注意力模块通过探索不同通道间特征图的关系，选择目标特征的关键信息并提高这部分信息的表达能力，使得网络模型更加关注目标相关的特征信息，更有效地提取目标特征。
1.3.4 C3模块的改进
由于广佛手病虫害的类别相对较少，在不影响网络识别准确率的前提下，可适当对YOLOv5s 网络模型结构进行压缩剪枝。其中，YOLOv5s中的C3模块由3个卷积模块和1个Bottleneck模块构成，C3_X表示C3模块中的Bottleneck模块数量为X个。Bottleneck模块和C3模块的结构分别如图3a、3b所示。
![]()
图 3 Bottleneck瓶颈模块(a)和C3模块(b)的结构示意图卷积单元Conv模块括号内的参数依次表示输入通道数、输出通道数、卷积核大小和步长Figure 3. Structural diagram of the Bottleneck module (a) and C3 module (b)The number of input channels, output channels, the size of the convolution kernel and the step size are indicated by the parameters in parentheses of Conv module本研究借鉴SqueezeNet网络的模型压缩思想，对C3模块进行改进，提出了C3-S模块。C3-S模块中的Bottleneck-S瓶颈模块，由2个1×1卷积模块和1个3×3卷积模块构成，首先通过1×1卷积模块Conv1将输入特征图的通道数Cin压缩至输入的四分之一，即Cin/4；将压缩后的特征图分别传入1×1卷积模块Conv2和3×3卷积模块Conv3，得到两个通道数都为Co/2的特征图；将2个特征图进行维度拼接，所获得的便是Bottleneck-S瓶颈模块的输出特征图。Bottleneck-S模块和C3-S模块的结构分别如图4a、4b所示。
![]()
图 4 Bottleneck-S瓶颈模块(a)和C3-S模块(b)的结构示意图Figure 4. Structural diagram of Bottleneck-S module (a) and C3-S module (b)在卷积神经网络模型中，无偏置情况下，每个卷积层的参数数量计算如下：
$$ \begin{split}&\;\\ &\mathrm{p}\mathrm{a}\mathrm{r}\mathrm{a}\mathrm{m}\mathrm{s}={C}_{\mathrm{o}}\times \left({k}_{\mathrm{w}}\times {k}_{\mathrm{h}}\times {C}_{\mathrm{i}\mathrm{n}}\right)， \end{split} $$ (1) 式中，params表示卷积层的参数数量，Co表示输出通道数，kw表示卷积核宽，kh表示卷积核高，Cin表示输入通道数。
原始C3模块中的Bottleneck瓶颈模块，由1个1×1卷积模块和1个3×3卷积模块构成，2个卷积模块的输入和输出通道数量相同，均为C，则Bottleneck瓶颈模块的2个卷积层所需的参数数量P1如式(2)所示：
$$ {P}_{1}=C\times (1 \times 1 \times C)+C\times \left(3 \times 3 \times C\right)= 10{C}^{2}， $$ (2) 式中，P1表示所需的参数数量，C表示2个卷积层的输入和输出通道数。
使用C3-S模块替换C3模块，在网络模型相同位置的Bottleneck-S瓶颈模块中，3个卷积层所需的参数量为P2，计算如式(3)所示：
$$ \begin{split} {P}_{2}=&\dfrac{C}{4}\times \left(1 \times 1 \times C\right)+\dfrac{C}{2}\times \left(1 \times 1 \times \dfrac{C}{4}\right)+\\ &\dfrac{C}{2}\times \left(3 \times 3 \times \dfrac{C}{4}\right)=\dfrac{3}{2}{C}^{2}， \end{split} $$ (3) 式中，P2表示所需的参数数量，C表示Bottleneck-S瓶颈模块的输入和输出通道数量。
虽然在卷积模块中还包含了批量归一化操作，需要少量的参数，但是在改进的YOLOv5-C模型中，使用C3-S模块替换C3模块的部分，卷积层的参数远远多于批量归一化操作所需的参数，故直接使用卷积层的参数近似代表2个瓶颈模块所需的参数。根据式(2)和式(3)所得的参数数量P1和P2，可知Bottleneck-S瓶颈模块的参数数量约为Bottleneck瓶颈模块的参数数量的15%。
为进一步提高网络模型的特征提取能力，将CBAM模块与C3-S模块相结合，构成C3-SC模块，结构如图5所示。
1.3.5 YOLOv5-C广佛手病虫害识别网络
以YOLOv5s网络模型为基础网络，使用所提出的C3-SC模块替换颈网络PANet中的C3模块，有效减少网络模型参数的同时，增强网络模型对广佛手病虫害目标的特征提取能力、弱化干扰背景特征；在PANet结构中添加MSFFM，提高网络模型的特征融合能力，进一步提高网络模型在复杂自然环境下对广佛手病虫害目标的识别准确率。YOLOv5-C网络模型结构参数如表2所示。
表 2 YOLOv5-C网络模型结构参数1)Table 2. Structural parameters of YOLOv5-C network model序列号 Serial No. 当前层的输 入来源 Input source of current layer 网络层 Network layer 输入尺寸 Input size 通道数 No. of channels 0 −1 Focus 640×640×3 32 1 −1 Conv3×3 320×320×32 64 2 −1 C3_1 160×160×64 64 3 −1 Conv3×3 160×160×64 128 4 −1 C3_3 80×80×128 128 5 −1 Conv3×3 80×80×128 256 6 −1 C3_3 40×40×256 256 7 −1 Conv3×3 40×40×256 512 8 −1 SPP 20×20×512 512 9 −1 C3_1 20×20×512 512 10 [−1, 6, 4] MSFFM 256 11 −1 C3-SC 40×40×256 256 12 9 Conv1×1 20×20×512 256 13 −1 Upsample 20×20×256 14 [−1, 6, 11] Concat 15 −1 C3-SC 40×40×768 256 16 −1 Conv1×1 40×40×256 128 17 −1 Upsample 40×40×128 18 [−1, 4, 11] Concat1 19 −1 C3-SC 80×80×512 128 20 −1 Conv3×3 80×80×128 128 21 [−1, 16] Concat 22 −1 C3-SC 40×40×256 256 23 −1 Conv3×3 40×40×256 256 24 [−1, 12] Concat 25 −1 C3-SC 20×20×512 512 26 [19, 22, 25] Detect 1)序列号10为多尺度特征融合模块，序列号11、15、19、22、25为C3-SC模块，序列号18为多尺度维度拼接模块；C3_X表示C3模块中串联的瓶颈模块为X个 1) Serial number 10 is the proposed multi-scale feature fusion module, serial number 11, 15, 19, 22, 25 are the proposed C3-SC modules, serial number 18 is the multi-scale dimension module; C3_X represents the number of bottleneck modules in series of C3 module is X 1.4 试验参数设置与评价指标
1.4.1 试验平台与模型参数设置
在Windows 10操作系统下，基于Python3.8.1和Pytorch1.8.0搭建的深度学习框架进行网络模型的训练与测试。试验所采用的CPU为Intel Xeon Glod 6240@2.60 GHz，192 Gb RAM，GPU为NVIDIA GeForce GTX 3090Ti×2，使用CUDA 11.1版本并行计算框架配合CuDNN 8.0.5版本的深度神经网络加速库。YOLOv5-C模型训练时输入图像大小为640×640，采用Adam优化器，训练批次为16，训练迭代次数为300。在网络模型的训练阶段，设置初始学习率为0.001，使用余弦退火衰减策略更新学习率，目标类别数为7。
1.4.2 网络模型评价指标
本研究使用准确率(Precision)、召回率(Recall)、F1分数、平均准确率(Average precision，AP)、平均精度均值(Mean of average precision，mAP)、模型大小和检测速度作为网络模型的评价指标。其中，准确率、召回率、F1分数及平均准确率的计算如式(4)~(7)所示。
$$ \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}=\dfrac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}\times 100{\text{%}}， $$ (4) $$ \mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}=\dfrac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\times 100{\text{%}}， $$ (5) $$ F1 =\dfrac{2\times \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\times \mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}+\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}\times 100{\text{%}}， $$ (6) $$ \mathrm{A}\mathrm{P}={\displaystyle\int }_{0}^{1}\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\left(\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}\right)\mathrm{d}\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}\times 100{\text{%}}， $$ (7) 式中，TP表示被正确检测到的病虫害目标数量，FP表示被网络错误认为是病虫害目标的数量，FN表示漏检的病虫害目标数量。
2. 结果与分析
2.1 YOLOv5-C与YOLOv5s检测结果对比
为了直观地体现改进的YOLOv5-C网络模型的性能，分别使用YOLOv5s和YOLOv5-C网络模型对测试集图像进行检测，图6对比展示了这2种网络模型对不同天气拍摄的不同病虫害图像的检测效果，图7对比展示了2种网络模型对与枝干或光斑相似的病斑的检测效果。
![]()
图 6 不同天气情况下YOLOv5-C和YOLOv5s检测结果图中数据为置信度；图中红色框为网络模型的检测结果，黄色框为人工标注的被网络模型漏检或误检的目标Figure 6. Detection results of YOLOv5-C and YOLOv5s under different weather conditionsThe data in figures represent confidence levels; The red box in the figure is the detection result of network model, the yellow box is the artificially labeled target that is missed or misdetected by the network model![]()
图 7 与枝干或光斑相似的病虫害目标的检测效果图中数据为置信度；图中红色框为网络模型的检测结果，黄色框为人工标注的被网络模型漏检或误检的目标Figure 7. The detection effect of pests and diseases similar to branches or spotsThe data in figures represent confidence levels; The red box in the figure is the detection result of network model, the yellow box is the artificially labeled target that is missed or misdetected by the network model如图6所示，2种网络模型均能准确识别阳光直射和非阳光直射的广佛手病虫害图像。通过对比图6a、6c、6e和6g可知，YOLOv5-C网络模型识别的目标置信度更高。雨后拍摄的潜叶蛾图像中，叶片和枝干均有水珠，增加了目标检测的难度，通过对比图6d和6h可知，YOLOv5s网络模型存在误检的病虫害目标，即图6d中黄色框内的红色目标框，误将水珠识别为潜叶蛾病虫，而YOLOv5-C网络模型能准确识别病虫害目标，抗干扰能力更强。
部分广佛手病虫害的病斑与枝干或光斑相似，直接使用YOLOv5s网络模型进行检测易造成病虫害目标的误检或漏检，YOLOv5s网络模型的检测结果如图7中的a~c所示，其中，图7a中存在重复框选同一目标的情况，图7b中误将枝干上的光斑检测为褐斑病目标，图7c中漏检了枝干处的玉带凤蝶目标。YOLOv5-C网络模型能有效抑制环境干扰，准确识别与枝干或光斑相似的广佛手病虫害目标，检测结果如图7d~7f所示。由图6、7可知，YOLOv5-C网络模型具有更优的抗干扰能力，能更准确地识别复杂背景下广佛手病虫害目标。
2.2 消融试验
为验证所提出的各种改进策略的有效性，本研究进行了一系列消融试验，在同一平台同一试验框架，使用相同的训练参数对网络模型进行训练，在测试集中分别验证了所提出的改进模块对网络模型性能的影响，以及多个模块共同作用对网络模型性能的改进效果，结果如表3所示。
表 3 各个模块消融试验Table 3. Ablation experiments for each module网络 模型 Model 准确 率/% Precision 召回 率/% Recall F1 分数/% F1 score 精度 均值/% Mean average precision 模型大 小/Mb Model size YOLOv5s 90.82 86.50 88.61 90.61 14.4 YOLOv5s+MSFFM 92.31 86.43 89.27 91.93 15.8 YOLOv5s+C3-S 92.62 86.41 89.41 91.20 12.7 YOLOv5s+C3-SC 93.41 88.06 90.66 92.32 12.7 YOLOv5-C 93.00 88.99 90.95 93.06 14.1 从表3可以看出，添加了MSFFM模块的网络模型，相比于原始的YOLOv5s网络模型，准确率提高了1.49个百分点，平均精度均值提高了1.32个百分点，说明MSFFM模块能提高网络模型的特征提取和特征融合能力，丰富所提取的特征信息，提高网络模型的识别准确率。使用C3-S模块替换YOLOv5s原始网络中PANet结构中的C3模块，使网络模型减小了1.7 Mb，小幅度提高了网络检测效果，进一步说明了C3-S模块能在不影响网络模型识别性能的基础上，使网络模型轻量化。C3-SC模块是在C3-S模块中添加CBAM注意力机制模块，使用C3-SC模块替换原始YOLOv5s网络模型PANet结构中的C3模块，相较于原始YOLOv5s网络模型，准确率提高了2.56个百分点，召回率提高了1.56个百分点，说明C3-SC模块能提高检测目标的特征提取能力，抑制背景干扰，提高网络模型的识别准确率；F1分数提高了2.05个百分点，说明C3-SC模块能提高网络模型的综合性能，使网络模型更稳健；由于CBAM模块的参数少，所以网络模型的大小仍保持为12.7 Mb。
试验结果表明，本研究所提出的每个改进策略均能提高网络模型的性能。相比原始的YOLOv5s网络模型，YOLOv5-C网络模型具有更好的识别性能，mAP提高了2.45个百分点，F1分数提高了2.34个百分点，网络模型减小了0.3 Mb。
2.3 消融试验中各个类别的平均准确率对比
为进一步分析所提出的网络模型对各个病虫害类别识别准确率的影响，消融试验中广佛手潜叶蛾虫害、双钩巢粉虱虫害、玉带凤蝶虫害、褐斑病、附生绿球藻病、溃疡病和煤烟病的AP如图8所示。
![]()
图 8 消融试验中各个类别识别的平均准确率Figure 8. Average accuracy of each category in ablation experiments观察图8可知，原始的YOLOv5s网络模型，呈现出各个病虫害类别的AP差异较大，所提出的MSFFM模块和CBAM模块能改善这一情况。经计算，原始YOLOv5s网络模型各个类别AP的标准差为7.14，变异系数为7.88%；所提出的YOLOv5-C网络模型各个类别AP的标准差为3.13，变异系数为3.36%，各个病虫害类别的AP更均衡。
所提出的YOLOv5-C网络模型，在提高网络模型识别准确率的同时，综合考虑了各个病虫害类别的识别效果，该网络模型的平均精度均值为93.06%。相比于原始的YOLOv5s网络模型，潜叶蛾病虫害和煤烟病的平均准确率分别提高了14.17和2.71个百分点。所提出的YOLOv5-C网络模型各个类别的AP情况，更符合广佛手病虫害识别的实际应用需求。
2.4 不同检测模型性能对比
将本文所提出的算法与RetinaNet、SSD、Efficientdet-D1、YOLOv4、主干网络为MobilenetV1的YOLOv4、YOLOv4-tiny和YOLOv5s目标检测网络进行对比，不同网络的检测结果如表4所示。由表4数据可知，YOLOv5-C算法获得了最高的召回率、F1分数、平均精度均值，其中平均精度均值比RetinaNet、Efficientdet-D1、SSD、YOLOv4的分别高22.30、20.65、4.84和2.36个百分点，其中，所提出的YOLOv5-C网络模型大小仅为YOLOv4网络模型的5.77%。相比于轻量级结构YOLOv4-mobilenet和YOLOV4-tiny，YOLOv5-C的平均精度均值分别高了7.43和24.06个百分点。本研究所构建的广佛手病虫害数据集，是由自然环境下拍摄的发病早期的病虫害目标构成，图像背景复杂，病斑、虫体的体积较小，且形态多变，常用的目标检测网络易产生漏检、误检，检测精度不高。
表 4 不同网络的检测结果对比Table 4. The detection results of different network网络模型 Network model 骨干网络 Backbone network 准确率/% Precision 召回率/% Recall F1分数/% F1 score 精度均值/% Mean average precision 模型大小/Mb Model size 检测时间/s Test time RetinaNet ResNet-50 89.13 63.49 74.16 70.76 139.4 0.037 SSD VGG16 91.59 76.71 83.49 88.22 93.7 0.018 Efficientdet-D1 EfficientNet 93.85 63.77 75.94 72.41 25.7 0.084 YOLOv4 CSPDarknet53 90.55 87.28 88.88 90.70 244.5 0.042 YOLOv4-mobilenet MobileNetV1 85.61 80.60 83.03 85.63 51.2 0.026 YOLOV4-tiny CSPDarknet53-tiny 90.50 63.50 74.63 69.00 22.5 0.012 YOLOv5s CSPDarknet53 90.82 86.50 88.61 90.61 14.4 0.010 YOLOv5-C CSPDarknet53 93.00 88.99 90.95 93.06 14.1 0.010 相较于上述常用的目标检测算法，本研究所提出的YOLOv5-C网络模型具有更优的识别性能，其中，F1分数为90.95%，平均精度均值为93.61%，网络模型大小仅为14.1Mb，每张图像的平均检测时间仅为0.01s，YOLOv5-C网络模型更适合完成在自然环境下对广佛手病虫害的识别任务。
3. 结论
本研究提出了1种基于YOLOv5-C目标检测网络的复杂背景下广佛手病虫害识别方法。为均衡提高每一类广佛手病虫害的识别准确率，提出了一种多尺度特征融合模块MSFFM，该模块与CBAM注意力机制模块共同作用，使得每一类广佛手病虫害的平均识别准确率均高于89.11%。在保障每一个病虫害类别都有较高识别准确率的前提下，综合提高网络模型的识别准确率。
本研究为减少网络模型的参数，提出了一种改进的C3-SC模块，在不影响网络模型识别性能的前提下，将该模块与MSFFM、CBAM模型相结合，构建了轻量级目标检测网络YOLOv5-C，网络模型大小为14.1Mb。
本研究构建了自然环境下的广佛手病虫害数据集用于网络模型的训练与测试，试验结果表明，所提出的YOLOv5-C网络模型的检测准确率为93%，召回率为88.99%，F1分数为90.95%，平均精度均值为93.06，在GPU上每张图像的平均检测时间为0.01 s，本研究所提出的网络模型的各项性能均高于常用的目标检测算法，具有较高的应用价值，可为后续自然场景下农作物病虫害的精准识别研究提供参考。
本研究仍存在一定的局限性，广佛手病虫害的数据采集与标注需要耗费大量时间和精力，今后将进一步研究病虫害数据集的智能构建，促进智慧农业的发展。 -
![]()
图 2 MSFFM的多尺度特征融合示意图
Figure 2. Schematic diagram of multi-scale feature fusion of MSFFM
![]()
图 3 Bottleneck瓶颈模块(a)和C3模块(b)的结构示意图
卷积单元Conv模块括号内的参数依次表示输入通道数、输出通道数、卷积核大小和步长
Figure 3. Structural diagram of the Bottleneck module (a) and C3 module (b)
The number of input channels, output channels, the size of the convolution kernel and the step size are indicated by the parameters in parentheses of Conv module
![]()
图 4 Bottleneck-S瓶颈模块(a)和C3-S模块(b)的结构示意图
Figure 4. Structural diagram of Bottleneck-S module (a) and C3-S module (b)
![]()
图 6 不同天气情况下YOLOv5-C和YOLOv5s检测结果
图中数据为置信度；图中红色框为网络模型的检测结果，黄色框为人工标注的被网络模型漏检或误检的目标
Figure 6. Detection results of YOLOv5-C and YOLOv5s under different weather conditions
The data in figures represent confidence levels; The red box in the figure is the detection result of network model, the yellow box is the artificially labeled target that is missed or misdetected by the network model
![]()
图 7 与枝干或光斑相似的病虫害目标的检测效果
图中数据为置信度；图中红色框为网络模型的检测结果，黄色框为人工标注的被网络模型漏检或误检的目标
Figure 7. The detection effect of pests and diseases similar to branches or spots
The data in figures represent confidence levels; The red box in the figure is the detection result of network model, the yellow box is the artificially labeled target that is missed or misdetected by the network model
![]()
图 8 消融试验中各个类别识别的平均准确率
Figure 8. Average accuracy of each category in ablation experiments
表 1 广佛手病虫害数据集基本信息
Table 1 Basic information of bergamot pest and disease dataset
类别 Category 原始图像 Original image 褐斑病病斑 Labeled brown spot 溃疡病病斑 Labeled canker 煤烟病病斑 Labeled dark mildew 附生绿球藻 Labeled chlorococcum 潜叶蛾 Leaf miner 玉带凤蝶 Papilio polytes 双钩巢粉虱 Mealworm 训练集 Training set 4292 608 1150 1654 638 1463 1258 740 验证集 Validation set 1076 145 272 438 155 348 301 200 测试集 Test set 601 91 155 214 90 200 200 91 合计 Total 5969 844 1577 2306 883 2011 1759 1031 
下载: 导出CSV
表 2 YOLOv5-C网络模型结构参数1)
Table 2 Structural parameters of YOLOv5-C network model
序列号 Serial No. 当前层的输 入来源 Input source of current layer 网络层 Network layer 输入尺寸 Input size 通道数 No. of channels 0 −1 Focus 640×640×3 32 1 −1 Conv3×3 320×320×32 64 2 −1 C3_1 160×160×64 64 3 −1 Conv3×3 160×160×64 128 4 −1 C3_3 80×80×128 128 5 −1 Conv3×3 80×80×128 256 6 −1 C3_3 40×40×256 256 7 −1 Conv3×3 40×40×256 512 8 −1 SPP 20×20×512 512 9 −1 C3_1 20×20×512 512 10 [−1, 6, 4] MSFFM 256 11 −1 C3-SC 40×40×256 256 12 9 Conv1×1 20×20×512 256 13 −1 Upsample 20×20×256 14 [−1, 6, 11] Concat 15 −1 C3-SC 40×40×768 256 16 −1 Conv1×1 40×40×256 128 17 −1 Upsample 40×40×128 18 [−1, 4, 11] Concat1 19 −1 C3-SC 80×80×512 128 20 −1 Conv3×3 80×80×128 128 21 [−1, 16] Concat 22 −1 C3-SC 40×40×256 256 23 −1 Conv3×3 40×40×256 256 24 [−1, 12] Concat 25 −1 C3-SC 20×20×512 512 26 [19, 22, 25] Detect 1)序列号10为多尺度特征融合模块，序列号11、15、19、22、25为C3-SC模块，序列号18为多尺度维度拼接模块；C3_X表示C3模块中串联的瓶颈模块为X个 1) Serial number 10 is the proposed multi-scale feature fusion module, serial number 11, 15, 19, 22, 25 are the proposed C3-SC modules, serial number 18 is the multi-scale dimension module; C3_X represents the number of bottleneck modules in series of C3 module is X
下载: 导出CSV
表 3 各个模块消融试验
Table 3 Ablation experiments for each module
网络 模型 Model 准确 率/% Precision 召回 率/% Recall F1 分数/% F1 score 精度 均值/% Mean average precision 模型大 小/Mb Model size YOLOv5s 90.82 86.50 88.61 90.61 14.4 YOLOv5s+MSFFM 92.31 86.43 89.27 91.93 15.8 YOLOv5s+C3-S 92.62 86.41 89.41 91.20 12.7 YOLOv5s+C3-SC 93.41 88.06 90.66 92.32 12.7 YOLOv5-C 93.00 88.99 90.95 93.06 14.1
下载: 导出CSV
表 4 不同网络的检测结果对比
Table 4 The detection results of different network
网络模型 Network model 骨干网络 Backbone network 准确率/% Precision 召回率/% Recall F1分数/% F1 score 精度均值/% Mean average precision 模型大小/Mb Model size 检测时间/s Test time RetinaNet ResNet-50 89.13 63.49 74.16 70.76 139.4 0.037 SSD VGG16 91.59 76.71 83.49 88.22 93.7 0.018 Efficientdet-D1 EfficientNet 93.85 63.77 75.94 72.41 25.7 0.084 YOLOv4 CSPDarknet53 90.55 87.28 88.88 90.70 244.5 0.042 YOLOv4-mobilenet MobileNetV1 85.61 80.60 83.03 85.63 51.2 0.026 YOLOV4-tiny CSPDarknet53-tiny 90.50 63.50 74.63 69.00 22.5 0.012 YOLOv5s CSPDarknet53 90.82 86.50 88.61 90.61 14.4 0.010 YOLOv5-C CSPDarknet53 93.00 88.99 90.95 93.06 14.1 0.010
下载: 导出CSV
-
[1] 曹瑞, 郝二伟, 杜正彩, 等. 广佛手化学成分、药理作用的研究进展及质量标志物的预测分析[J/OL]. [2022-02-11]. https://kns.cnki.net/kcms/detail/21.1546.r.20220210.1726.076.html. [2] 张思荻, 杨海燕, 曾俊, 等. 佛手的研究进展[J]. 中华中医药杂志, 2018, 33(8): 3510-3514. [3] 翟肇裕, 曹益飞, 徐焕良, 等. 农作物病虫害识别关键技术研究综述[J]. 农业机械学报, 2021, 52(7): 1-18. doi: 10.6041/j.issn.1000-1298.2021.07.001 [4] LI L, ZHANG S, WANG B. Plant disease detection and classification by deep learning: A review[J]. IEEE Access, 2021, 9: 56683-56698. doi: 10.1109/ACCESS.2021.3069646
[5] 兰玉彬, 王天伟, 陈盛德, 等. 农业人工智能技术: 现代农业科技的翅膀[J]. 华南农业大学学报, 2020, 41(6): 1-13. doi: 10.7671/j.issn.1001-411X.202008045 [6] YUAN Y, FANG S, CHEN L. Crop disease image classification based on transfer learning with DCNNs[C]// Pattern Recognition and Computer Vision. Cham: Springer, 2018: 457-468.
[7] CHEN J, CHEN J, ZHANG D, et al. Using deep transfer learning for image-based plant disease identification[J]. Computers and Electronics in Agriculture, 2020, 173: 105393. doi: 10.1016/j.compag.2020.105393
[8] LÜ M, ZHOU G, HE M, et al. Maize leaf disease identification based on feature enhancement and dms-robust alexnet[J]. IEEE Access, 2020, 8: 57952-57966. doi: 10.1109/ACCESS.2020.2982443
[9] 陆健强, 林佳翰, 黄仲强, 等. 基于Mixup算法和卷积神经网络的柑橘黄龙病果实识别研究[J]. 华南农业大学学报, 2021, 42(3): 94-101. doi: 10.7671/j.issn.1001-411X.202008041 [10] HASSAN S M, MAJI A K. Plant disease identification using a novel convolutional neural network[J]. IEEE Access, 2022, 10: 5390-5401. doi: 10.1109/ACCESS.2022.3141371
[11] ZOU Z, SHI Z, GUO Y, et al. Object detection in 20 years: A survey[EB/OL]. 2019, arXiv: 1905.05055. https://arxiv.org/abs/1905.05055.
[12] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. Advances in Neural Information Processing Systems, 2015, 28: 91-99.
[13] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision. Cham: Springer, 2016: 21-37.
[14] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas: IEEE, 2016: 779-788.
[15] REDMON J, FARHADI A. YOLO9000: Better, faster, stronger[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 7263-7271
[16] REDMON J, FARHADI A. Yolov3: An incremental improvement[EB/OL]. 2018, arXiv: 1804.02767. http://arxiv.org/abs/1804.02767.
[17] BOCHKOVSKIY A, WANG C, LIAO H M. Yolov4: Optimal speed and accuracy of object detection[EB/OL]. 2020, arXiv: 2004.10934. https://arxiv.org/abs/2004.10934.
[18] ZHOU G, ZHANG W, CHEN A, et al. Rapid detection of rice disease based on FCM-KM and faster R-CNN fusion[J]. IEEE access, 2019, 7: 143190-143206. doi: 10.1109/ACCESS.2019.2943454
[19] SUN J, YANG Y, HE X, et al. Northern maize leaf blight detection under complex field environment based on deep learning[J]. IEEE Access, 2020, 8: 33679-33688. doi: 10.1109/ACCESS.2020.2973658
[20] LÜ Z, JIN H, ZHEN T, et al. Small object recognition algorithm of grain pests based on SSD feature fusion[J]. IEEE Access, 2021, 9: 43202-43213. doi: 10.1109/ACCESS.2021.3066510
[21] MAMDOUH N, KHATTAB A. YOLO-based deep learning framework for olive fruit fly detection and counting[J]. IEEE Access, 2021, 9: 84252-84262. doi: 10.1109/ACCESS.2021.3088075
[22] 张博, 张苗辉, 陈运忠. 基于空间金字塔池化和深度卷积神经网络的作物害虫识别[J]. 农业工程学报, 2019, 35(19): 209-215. doi: 10.11975/j.issn.1002-6819.2019.19.025 [23] 胡嘉沛, 李震, 黄河清, 等. 采用改进YOLOv4-Tiny模型的柑橘木虱识别[J]. 农业工程学报, 2021, 37(17): 197-203. doi: 10.11975/j.issn.1002-6819.2021.17.022 [24] IANDOLA F N, HAN S, MOSKEWICZ M W, et al. SqueezeNet: AlexNet-level accuracy with 50× fewer parameters and <0.5 MB model size[EB/OL]. 2016, arXiv: 1602.07360. https://arxiv.org/abs/1602.07360.
[25] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with Convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Boston: IEEE, 2015: 1-9.
[26] LIN T, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2117-2125.
[27] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 8759-8768.
[28] WANG C, LIAO H M, WU Y, et al. CSPNet: A new backbone that can enhance learning capability of CNN[C/OL]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society, 2020: 390-391.
[29] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. doi: 10.1109/TPAMI.2015.2389824
[30] WOO S, PARK J, LEE J, et al. CBAM: Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). Cham: Springer, 2018: 3-19.
-
期刊类型引用(15)
1. 梁凯博，孙立，汪禹治，靳龙豪，燕雪倩，曾旺. 基于超轻量化卷积神经网络的番茄病虫害诊断. 江苏农业学报. 2024(03): 438-449 . 
百度学术
2. 石放，王莹，王新法，马玉琨. 基于RegNet网络的马铃薯病害识别研究. 中国农机化学报. 2024(06): 229-234 . 百度学术
3. 黄尧，何敬，付饶，刘刚，林远杨. YOLOv5s-CBAM算法在福寿螺虫卵识别中的应用分析. 中国农机化学报. 2024(06): 223-228 . 百度学术
4. 丁士宁，姜明富. 基于改进FCOS的水稻叶片病害检测模型. 江苏农业科学. 2024(12): 232-238 . 百度学术
5. 宋江，赵伟. 基于YOLOv5的平贝母检测装置试验研究. 农机使用与维修. 2024(08): 1-7 . 百度学术
6. 陈星月，郭宇轩，张兵. 基于视觉识别的一体化虫害通信监测. 电子制作. 2024(22): 70-74 . 百度学术
7. 承达瑜，赵伟，何伟德，武择鹏，王建东. 基于改进YOLOv5n模型的农作物病虫害识别方法. 江苏农业学报. 2024(11): 2021-2031 . 百度学术
8. 李季，杨淑婷，张学俭，周慧，冶鑫，梁爱银. 基于深度学习的枸杞病虫害识别研究. 宁夏农林科技. 2024(12): 78-82+95 . 百度学术
9. 黄静，张晋. 基于YOLOv5的目标识别相机. 计算机时代. 2023(01): 91-94 . 百度学术
10. 沈永健，李育恒，张鹏宇，蔡敏康，李景文. 基于YOLOv5网络的复杂雷达脉内调制类型快速识别方法. 应用科技. 2023(01): 118-126 . 百度学术
11. 尹翰，张园园，张睿. 基于图像识别的农林自动化巡检管理研究. 自动化与仪器仪表. 2023(08): 190-194+199 . 百度学术
12. 钟海敏，马旭，李泽华，王曦成，刘赛赛，刘伟文，王承恩，林泳达. 基于YOLOv5改进模型的杂交稻芽种快速分级检测. 华南农业大学学报. 2023(06): 960-967 . 本站查看
13. 刘拥民，胡魁，聂佳伟，谢铁强. 基于MSDB-ResNet的水稻病虫害识别. 华南农业大学学报. 2023(06): 978-985 . 本站查看
14. 项新建，王科宇，丁祎，郑永平，胡万里. 基于AM-YOLOX的草莓病虫害检测算法研究. 实验室研究与探索. 2023(10): 35-42+60 . 百度学术
15. 冶晓文，买买提·沙吾提，李荣鹏，何旭刚. 改进YOLOv5的无人机影像果树检测方法研究. 测绘科学. 2023(11): 200-210 . 百度学术
其他类型引用(14)
计量
- 文章访问数: 640
- HTML全文浏览量: 31
- PDF下载量: 342
- 被引次数: 29
