• 《中国科学引文数据库(CSCD)》来源期刊
  • 中国科技期刊引证报告(核心版)期刊
  • 《中文核心期刊要目总览》核心期刊
  • RCCSE中国核心学术期刊

基于改进YOLOv5l的田间水稻稻穗识别

蔡竹轩, 蔡雨霖, 曾凡国, 岳学军

蔡竹轩, 蔡雨霖, 曾凡国, 等. 基于改进YOLOv5l的田间水稻稻穗识别[J]. 华南农业大学学报, 2024, 45(1): 108-115. DOI: 10.7671/j.issn.1001-411X.202209029
引用本文: 蔡竹轩, 蔡雨霖, 曾凡国, 等. 基于改进YOLOv5l的田间水稻稻穗识别[J]. 华南农业大学学报, 2024, 45(1): 108-115. DOI: 10.7671/j.issn.1001-411X.202209029
CAI Zhuxuan, CAI Yulin, ZENG Fanguo, et al. Rice panicle recognition in field based on improved YOLOv5l model[J]. Journal of South China Agricultural University, 2024, 45(1): 108-115. DOI: 10.7671/j.issn.1001-411X.202209029
Citation: CAI Zhuxuan, CAI Yulin, ZENG Fanguo, et al. Rice panicle recognition in field based on improved YOLOv5l model[J]. Journal of South China Agricultural University, 2024, 45(1): 108-115. DOI: 10.7671/j.issn.1001-411X.202209029

基于改进YOLOv5l的田间水稻稻穗识别

基金项目: 广州市科技计划(202206010088);省级大学生创新创业训练计划(S202210564011)
详细信息
    作者简介:

    蔡竹轩,硕士研究生,主要从事农业计算机应用技术研究,E-mail: czlanzhu@163.com

    通讯作者:

    岳学军,教授,博士,主要从事农业物联网、农业计算机应用技术研究,E-mail: yuexuejun@scau.edu.cn

  • 中图分类号: S511;TP391.4

Rice panicle recognition in field based on improved YOLOv5l model

  • 摘要:
    目的 

    引入YOLOv5l算法模型并对其进行改进,以实现大田环境下水稻稻穗的精准、高效、无损检测。

    方法 

    以田间水稻为研究对象,通过数码单镜反光相机采集水稻图像样本,人工标注后对原始图像进行离线数据增强扩充,构建田间水稻图像数据集;对YOLOv5l算法进行适应性改进,在空间金字塔池化(Spatial pyramid pooling,SPP)层前以及Cross-stage-sartial-connections (CSP) 层中置入有效通道注意力(Efficient channel attention,ECA)机制,并进行对比试验。选取最优算法作为基准模型进行注意力机制和数据增强消融试验,并测试得到性能最优模型。将改进YOLOv5l与YOLOv5l、YOLOv5x、SSD和Faster R-CNN进行对比试验。

    结果 

    在改进YOLOv5l的水稻识别框架中,将ECA置入网络SPP层前有更出色的性能。利用测试集图像检验模型,识别结果的平均精确率为93.63%,平均召回率为90.94%,总体平均精度可达95.05%。与未融合YOLOv5l算法相比,改进的YOLOv5l算法平均精度高3.03个百分点,图像的检测速率快8.20帧/ms;与YOLOv5x算法相比,改进的YOLOv5l算法平均精度提高0.62个百分点,图像的检测速率快5.41帧/ms,内存占用减少74.1MB,在田间水稻稻穗检测方面,改进YOLOv5l算法的综合性能优于其他算法。

    结论 

    将改进后的YOLOv5l算法引入大田环境下的水稻稻穗检测是可行的,具有较高的精确率、较快的检测速度和较小的内存占用,能够避免传统人工检测的主观性,对稻穗检测和水稻的无损估产具有重要意义。

    Abstract:
    Objective 

    YOLOv5l algorithm model was introduced and improved to realize accurate, efficient and nondestructive detection of rice panicles in field environment.

    Method 

    Taking rice in the field as the research object, rice image samples were collected by digital single-mirror reflex camera. The original image data were augmented and expanded offline after manual labeling, so as to construct an image data set for field rice. The YOLOv5l algorithm was improved adaptively, the effective channel attention (ECA) mechanism was put in front of the spatial pyramid pooling (SPP) layer and in the cross-stage-partial-connections (CSP) layer, and a comparative experiment was conducted. The optimal algorithm was selected as the benchmark model to carry out attention mechanism and data-enhanced ablation experiments, and the optimal performance model was obtained by testing. The improved YOLOv5l was compared with YOLOv5l, YOLOv5x, SSD and Faster R-CNN.

    Result 

    In the improved rice recognition framework of YOLOv5l, placing ECA before the network SPP layer resulted in better performance. Using test set images to verify the model, the average accuracy of recognition results was 93.63%, the average recall rate was 90.94%, and the overall average accuracy reached 95.05%. Compared with the non-fused YOLOv5l algorithm, the average accuracy of the improved YOLOv5l algorithm was 3.03 percent higher and the detection rate was 8.20 frames per ms faster. Compared with the YOLOv5x algorithm, the average precision of the improved YOLOv5l algorithm was improved by 0.62 percent, the detection rate was faster by 5.41 frames per ms, and the memory occupation was reduced by 74.1 MB. The results showed that the comprehensive performance of the improved YOLOv5l algorithm was better than other algorithms in rice panicle detection in the field.

    Conclusion 

    It is feasible to introduce the improved YOLOv5l algorithm into rice panicle detection in field environment. The algorithm has high accuracy, fast detection speed and small memory occupation, which can avoid the subjectivity of traditional manual detection and is of great significance for rice panicle detection and non-destructive yield estimation.

  • 农业是第一产业,也是我国经济建设和社会发展的保障性产业[1-2]。作为粮食作物中最主要的种类之一,水稻在2011年的消费量已占中国人口总口粮全年消费量的55%,全国有超过60%的人口以稻米为主食[3]。随着我国人口不断增长,对水稻的需求量也不断攀升,如何快速准确地对水稻的产量进行预估变得尤为重要。传统田间水稻的估产一般采用的是有损的方法,即在大田中按面积等距或者按组平均抽样的原则,选取一些小田块作为样本,水稻收获后对其脱粒、晒干、扬净、称质量后、利用水分测定仪测定含水量,并按粕稻比例13.5%,粳稻比例14.5%来计算出最终的水稻产量[4]。稻穗是水稻重要的营养生殖器官,是谷粒着生的部位,其数量不仅与水稻产量直接相关[5],而且在水稻病虫害检测[6]、营养诊断[7]及生育期检测[8]等方面也有着十分重要的作用。过去检测稻穗主要依靠人工识别,这严重依赖于从业人员的技术经验,不仅费时费力,而且主观性较强。

    随着计算机信息技术的发展,机器视觉技术也随之飞速发展并被广泛应用到农业实际生产中。赵锋等[9]利用麦穗颜色信息去除图片中的田间背景等干扰信息,训练AdaBoost分类器对麦穗区域进行识别,对随机选择的100个样本取得了88.7%的识别准确率。范梦扬等[10]利用浅层学习方法,针对局部小范围内的田间小麦低分辨率群体图像,提取麦穗的颜色和纹理特征训练支持向量机分类器,实现对麦穗轮廓的提取和检测,通过统计麦穗茎的骨架以及有效交叉点的数量获得稻穗数量。Zhou等[11]利用主成分分析算法抽取小麦图像的颜色、纹理和边缘等代表性特征,进一步训练双支持向量机模型实现对小麦麦穗的识别,取得了79%~82%的计数准确率。Duan等[12]基于I2颜色平面的滞后阂值生成稻穗图像块,训练BP神经网络模型对图像块进行分类并计算稻穗数。Li等[13]利用Laws纹理能量特征生成麦穗图像块,训练BP神经网络模型对图像块进行分类并计算麦穗数。Olsen等[14]使用不同尺度的超像素生成田间高粱图像块,训练线性回归模型来实现计数。

    传统机器视觉识别方法计算简单、处理速度快,但存在特征设计对人工经验依赖性强、模型泛化能力弱、鲁棒性不强等问题,且对高密度种植的田间水稻,实际应用还存在一定限制。作为机器学习领域革命的代表,深度学习具有强大的自动特征提取、复杂模型构建以及图像处理能力等优势,已在多个研究领域取得了重大进展,农业应用中的快速检测和分类便是其中之一。

    李静等[15]提出了一种改进的GoogLeNet卷积神经网络对玉米螟虫害图像进行检测,识别平均准确率达96.44%。顾伟等[16]利用改进的SSD模型对群体棉籽进行识别,提高了对小物体的检测精度。周云成等[17]提出一种基于面向通道分组卷积网络的番茄主要器官实时识别模型。Koirala等[18]使用YOLO算法模型对芒果进行检测并预测产量。Tian等[19]通过改进的YOLO-v3模型检测果园中不同生长阶段的苹果。张领先等[20]提取冬小麦的麦穗、叶片和阴影3类标签图像,构建了数据集,采用梯度下降法对模型进行训练,并结合非极大值抑制进行冬小麦麦穗计数,总体识别正确率达99.6%。彭文等[21]运用深度卷积神经网络技术,对6种水稻田杂草进行识别。黄小杭等[22]对不同分辨率图像进行试验,运用K-means维度聚类及深度可分离卷积网络等方式对YOLOv2网络进行调整并对莲蓬进行检测,检测速度可以达到102.1帧/ms。彭红星等[23]采用改进的SSD深度学习神经网络对荔枝、苹果、脐橙以及皇帝柑进行识别,使用迁移学习等方式进行优化,提高了自然背景下SSD网络识别水果的泛化能力。张洋[24]提出了一种面向稻穗种粒缺陷识别的个性特征显著化规范轻量Rice-VGG16模型,识别稻穗缺陷种粒的精确度达99.51%。马志宏等[25]将稻穗充分铺开后提取稻穗枝梗的几何形态特征,并基于此与稻穗粒数建立映射关系,预测稻穗粒数的相对误差为6.72%。

    基于深度学习的农作物分类和识别方法已逐渐成为主流并取得一定的效果,然而,因水稻稻穗微小的特点,其空间信息在特征图上极易被损失,且田间场景具有较高的复杂性以及受通用目标检测算法泛化能力的约束,稻穗识别的精度下降、效果不佳,在实际应用中还存在一定的局限性。本研究通过改进YOLOv5l网络模型,引入有效通道注意力(Efficient channel attention,ECA)机制模块[26],加强对图片中待检测目标的特征提取,提出一种改进YOLOv5l的田间水稻检测模型,以期实现对水稻稻穗检测和水稻的无损估产。

    数据采集自田间,采集时间为2021年6月,采集地点为广东省植物分子育种重点实验室试验基地,在晴天利用Nikon D3300作为采集设备,镜头型号为AF-S 28-300MM F/3.5-5.6G ED VR,其有效像素为2416万,图像格式为JPEG,满足水稻图像采集的要求。如图1所示,为了提高模型的识别精度,本文在图像采集时,使用了拍摄底板辅助拍摄,即制作一块边长为0.30 m×0.25 m的纯黑色底板作为数据样本采集时的拍摄底板。图像采集时保持相机闪光灯关闭,拍摄相机与目标稻穗的距离统一固定在30 cm左右,以确保每一目标稻穗图像大小相近且清晰,最终采集到图像650幅,像素大小为6000×4000。

    图  1  原图像和数据增强后的图像
    Figure  1.  Original image and images after data augmentation

    对于多目标、小目标的图像,深度学习算法往往需要大量的图像数据才能有效地提取图像特征并分类。为了有效提升数据样本的数量、增加数据样本的多样性和数据库的大小、提升检测算法模型的精度,本文对采集到的图像数据样本进行预处理,包括数据标注和数据增强2个步骤。

    图像数据本身没有标签和语义,需要进行标注才能用于训练。本文利用LabelImg标注工具,按照PASCAL VOC标准进行稻穗谷粒的标注。因1张稻穗图片中的1株稻穗包含多粒稻谷,标注1张稻穗图片数据需要画将近90个框,耗时约10 min,故将LabelImg设置为自动保存和高级模式,可以加快人工标注单一稻穗图像的速度。

    数据增强(Data augmentation,DA)通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模,是提高目标识别算法鲁棒性的重要手段。本文采用随机长宽比裁剪、水平翻转、垂直翻转、饱和度增强、饱和度减弱、高斯模糊、灰度化、CutMix、Mosaic共9种操作,调整图像的几何形态、识别目标内容结构组成和颜色种类,随机改变训练样本,降低模型对识别目标的几何属性和颜色属性的依赖,从而提高模型的泛化能力。将原数据集扩充到原来的5倍,共得到3 250张图片,原图和数据增强后的图像效果如图1所示,并将数据集按照7∶2∶1的数量比例划分为训练集、测试集和验证集。

    作为目前最先进的目标检测算法之一,YOLOv5具有检测速度快、识别性能好、网络结构简单、使用方便等特点。其性能与YOLOv4不相伯仲,但相比DarkNet小了近90%,推理速度可以达到140帧/ms,满足实时检测的要求。YOLOv5共有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4种版本。网络结构中的Ultralytics模块通过depth_multiple和width_multiple 2个参数控制模型的深度和卷积核的数量,故4种模型检测的深度和广度有所不同。其中,YOLOv5s网络最小、速度最快、精度最低,其余3种模型相对于加深加宽网络,检测精度不断提升,但速度也随之减慢。本文试验检测目标为大田水稻稻穗,具有数量多、体积小、分布密等特点。YOLOv5l是YOLOv5系列中性能与模型大小的平衡点,它在一定程度上保持了较高的检测精度,有助于在密集场景中有效地检测目标。而且,YOLOv5I相对较小,这意味着在一些计算资源有限的设备上也可以实现高质量的目标检测,有利于后续将检测算法部署在一些边缘设备上。故本文选择YOLOv5l作为基础算法进行优化提升。

    2020年,Wang等[26]认为Hu等[27]在2019年提出的压缩激励(Squeeze excitation,SE)通道注意力机制中,降维会对通道注意力产生负面影响,故提出了有效通道注意力(Efficient channel attention, ECA)模块,从而实现不降维的跨通道交互策略。如图2所示,ECA主要由全局池化(Global average pooling,GAP)、CONVLD和SCALE 3个操作组成,GAP沿着空间维度进行特征压缩,将$ W\times H\times C $的特征输入转换为$ 1\times 1\times C $的特征输出,以获得全局信息,WHC分别表示特征的宽、高、长信息。然后利用CONVLD实现无降维的局部跨通道交互,直接获取通道与权重的相关性,再通过sigmoid函数获得归一化的权重,最后SCALE操作是将归一化后的权重通过乘法加权到每一个通道特征上,得到经过通道注意力后各通道加权的语义特征。

    图  2  ECA 流程图
    CHW分别表示特征的长、高、宽
    Figure  2.  Flow diagram of ECA
    C, H and W represents length, height and width of features, respectively

    YOLOv5l的网络结构主要由输入端(Input)、骨干网络(Backbone)、多尺度特征融合模块(Neck)和输出端(Output)4部分组成。C3层用于提取输入样本中的主要信息,增强了网络结构中的梯度值,得到更细的特征粒度,同时减少了计算量,有效提升了网络的计算能力。SPP层将上下文特征分离,使得输入主干网络的特征图尺寸不受限制,提高了网络的感受野。小目标特征信息通过多层网络结构处理后,位置信息模糊粗糙,特征信息出现不同程度的丢失。这使得网络模型出现对小目标的误检和漏检。为提高原始模型对水稻小目标稻穗的检测精度,本研究提出改进YOLOv5l网络模型,具体结构如图3所示。在骨干网络中的SPP层前置入ECA注意力机制模块,ECA通过不降维的跨通道交互增强了相关通道的特征表达并降低性能损耗,使得小目标信息更易被网络学习。

    图  3  改进YOLOv51网络总体框图
    Figure  3.  Overall block diagram of the improved YOLOv51 network

    本研究试验平台选择Windows10(64位)操作系统。CPU型号为Intel(R) Core I9-10900K,GPU型号为Nvidia GeForce RTX3090,计算机内存为24GB。测试的框架为Pytorch1.9.0,使用CUDA10.1配合CUDNN7.6.5.32运行;编程语言为Python。本研究在网络模型训练阶段,将初始学习率设置为0.0001,总迭代次数设置为300次。

    为了客观、全面地评价所提方法对田间水稻稻穗检测试验的结果,本研究采用精确率(Precision,P)、召回率(Recall,R)、平均精度(Average precision,AP)和损失函数(Loss function)等指标衡量检测效果,其中,P是指所有被标记为稻穗的物体中,稻穗正样本所占的比率;R是指测试集中所有的稻穗正样本中,被正确识别为稻穗的比例;而以P为纵坐标、R为横坐标,绘制曲线,AP即为曲线的积分。具体计算如公式(1)~(3)所示。

    $$ P=\dfrac{{\rm{TP}}}{{\rm{TP}}+{\rm{FP}}}=\dfrac{{\rm{TP}}}{{{N}}}\times 100\mathrm{{\text{%}}} \text{,} $$ (1)
    $$ R=\dfrac{{\rm{TP}}}{{\rm{TP}}+{\rm{FN}}}\times 100\mathrm{{\text{%}}} \text{,} $$ (2)
    $$ \mathrm{A}\mathrm{P}={\displaystyle\int }_{0}^{1}PR\mathrm{d}R\times 100\mathrm{{\text{%}}} \text{,} $$ (3)

    式中,TP表示稻穗被正确分类和定位的正样本个数,FP表示被标的为稻穗的负样本个数,FN为测试样本中真实的正样本数减去TP ,N为样本总数。

    损失函数用来估量模型预测值和真实值不一样的程度,其值的大小极大程度上决定了模型的性能好坏。YOLOv51采用了分类损失(clsloss)、坐标损失(giouloss)和置信度损失(objloss)来指导训练。其中,分类损失和置信度损失分别用于判断锚框与对应的标定类别是否正确和计算网络的置信度,采用二值交叉熵,具体计算如式(4)、(5)所示;坐标损失用于判断预测框与标定框之间的误差,采用giou计算方式,具体方式如式(6)所示。总损失为以上3部分损失的加权和,$ \alpha 、\beta $$ \gamma $为3类损失各自的权重,计算公式如(7)所示。

    $$ {\rm{cl{s}}}_{{\rm{loss}}}=-{\displaystyle\sum }_{i}\left[{y}_{i}\mathrm{ln}\left({\hat {y}}_{i}\right)+\left(1-{y}_{i}\right)\mathrm{ln}\left(1-{\hat {y}}_{i}\right)\right] \text{,} $$ (4)
    $$ {\rm{ob{j}}}_{{\rm{loss}}}=-{\displaystyle\sum }_{i}\left[{y}_{i}\mathrm{ln}\left({\hat {y}}_{i}\right)+\left(1-{y}_{i}\right)\mathrm{ln}\left(1-{\hat {y}}_{i}\right)\right] \text{,} $$ (5)
    $$ {\rm{gio{u}}}_{{\rm{loss}}}=-\dfrac{1}{{\displaystyle\sum }_{i}}{\displaystyle\sum }_{i}\left(1-{{\rm{giou}}}_{i}\right) \text{,} $$ (6)
    $$ {\rm{Loss}}=\alpha {\rm{cl{s}}}_{{\rm{loss}}}+\beta {\rm{ob{j}}}_{{\rm{loss}}}+\gamma {\rm{gio{u}}}_{{\rm{loss}}} 。 $$ (7)

    将ECA模块融合到网络模型的不同位置,开展试验并进行对比。分别在YOLOv5l的C3层和SPP层融入ECA注意力模块,生成3种新的基于YOLOv51的算法模型:ECA-YOLOv5l-Backbone、ECA-YOLOv5l-Neck和ECA-YOLOv5l-SPP。图4为3种ECA模块融合网络的具体位置。检测试验结果如表1所示,将ECA模块融入到SPP前的检测效果较好。分析认为,目标特征信息在Backbone的多层网络处理中逐渐粗糙并出现部分丢失,在SSP层前融入注意力机制能够使网络模型清晰关注目标的特征信息,提高检测精度。而在Neck部分,由于网络深度较大,目标的特征信息被淹没,语义信息较为粗糙,导致注意力模块无法较好地关注到目标特征。

    图  4  3种融合ECA模块的YOLOv51模型
    Figure  4.  Three YOLOv5l models incorporating ECA modules
    表  1  ECA模块融合结果对比
    Table  1.  Comparison of ECA module fusion results %
    网络模型
    Network model
    精确率
    Precision
    召回率
    Recall
    平均精度
    Average precision
    YOLOv5l90.1988.9992.02
    ECA-YOLOv5l-Backbone93.5889.5694.47
    ECA-YOLOv5l-SPP93.6390.9495.05
    ECA-YOLOv5l-Neck92.6490.4694.33
    下载: 导出CSV 
    | 显示表格

    为验证本研究提出的YOLOv5l改进方法,用原数据集针对ECA和DA开展消融试验,用于判断每个改进点的有效性。在原有模型基础上依次加入DA和ECA,模型训练过程中使用相同的参数配置。试验结果如表2所示,在引入DA后,模型性能有显著提升,平均精度提高了3.84个百分点;而在引入ECA和DA 后,模型的精确率和召回率均有所提升,平均精度提高了6.87个百分点。分析认为,引入数据提升了模型的泛化能力和鲁棒性,使得模型的检测性能有较大提升;而引入注意力机制使得模型选择性地强调信息特征,提高了其表征能力,表现为检测精度提升较为明显。

    表  2  YOLOv5l消融试验1)
    Table  2.  YOLOv51 ablation experiment %
    注意力
    机制
    ECA
    数据增强
    Data
    augmentation
    精确率
    Precision
    召回率
    Recall
    平均精度
    Average
    precision
    ××88.3284.2188.18
    ×90.1988.9992.02
    93.6390.9495.05
     1) “√”和“×”分别表示使用和未使用
     1) “√” and “×” indicates used and unused respectively
    下载: 导出CSV 
    | 显示表格

    为验证本研究提出的改进YOLOv5l算法的性能,将其与YOLOv5l、YOLOv5x和目前主流的目标检测算法Faster R-CNN、SSD比较。5种网络模型使用同样的数据集且使用同样的数据增强方法,训练方式均为随机梯度下降法(SGD),初始学习率均设置为0.0001,总迭代次数设置为300次。得到5种检测算法平均精度随迭代次数的变化曲线(图5a)、P-R曲线(图5b)和随迭代次数的损失值变化曲线(图6)。图7为ECA-YOLOv5l-SPP算法模型检测结果示例。

    图  5  不同网络模型平均精度曲线(a)和P-R曲线(b)
    Figure  5.  The average precision curves (a) and precision-recall curves (b) of different network models
    图  6  不同网络模型的损失值随迭代次数的变化曲线
    Figure  6.  Changes in the loss values of different network models with epoches
    图  7  识别结果示例
    白色框为未能准确识别的数据
    Figure  7.  Example of recognition results
    The white box is the data that cannot be accurately identified

    图5可知,平均精度均随迭代次数的增加递增并最终平缓收敛。由图6可知,5种模型损失均随迭代次数的增加递减,一开始由于初始学习率设置较大故损失下降较快,随着迭代次数增加,学习率逐渐变小,曲线逐渐平缓至最终收敛。改进YOLOv51损失最小,其次是YOLOv5x。同时,可直观地看到,改进YOLOv51的曲线面积大于其他目标检测模型的,这表明改进 YOLOv51模型具有更高的平均精度。

    表3可知,改进YOLOv51占用内存少的同时保持较高的检测率和检测精度,平均精度达95.05%,是所有模型中最高的,且内存仅为 91.9 MB,比YOLOv5x 小 45%。 此外,检测速率为 23.50帧/ms,比 Yolov5x快5.4帧/ms。

    表  3  不同网络模型检测性能对比
    Table  3.  Comparison of different networks
    网络模型
    Network
    model
    平均精度/%
    Average
    precision
    检测速率/
    (帧·ms−1)
    Detection rate
    内存/MB
    Memory
    size
    Faster R-CNN86.6511.72109.0
    SSD88.4310.83100.0
    YOLOv5l92.0215.3089.3
    YOLOv5x94.4318.09166.0
    改进 YOLOv51
    Improved YOLOv51
    95.0523.5091.9
    下载: 导出CSV 
    | 显示表格

    试验结果表明,本研究提出的网络模型减少了额外算力和内存开销,在保持较高的检测速率和检测精度的同时,占用内存资源也较少,优于原有的YOLOv5l算法和主流目标算法,可用于田间环境下的水稻稻穗精准检测。

    为解决田间水稻稻穗检测过程中要求高、精度低等问题,提出一种改进YOLOv5l的田间水稻检测算法。构建了田间水稻稻穗数据集;将ECA机制与原始YOLOv5l进行融合,对比了ECA融合网络模型不同位置的检测性能;对YOLOv5l进行ECA和DA消融试验,并与传统模型进行对比试验,主要结论如下。

    ECA使用不降维的跨通道交互策略,通过共享权重减少了模型参数,进一步提高小目标检测的精度和速度。检测目标的特征信息在经过网络多层处理后变得粗糙模糊甚至丢失,而在SSP层前融合ECA能使网络增强相关通道的特征表达,较好地关注到目标信息,从而使检测的平均精度相对于未融合网络提高了3.03个百分点。

    改进模型的平均精度比Faster R-CNN提高8.4个百分点,比SSD提高6.62个百分点。相比于YOLOv5x,改进模型的检测平均精度提高0.62个百分点,内存占用减少74.1 MB。本研究为大田环境下水稻稻穗的精准检测提供了一定的理论以及实践依据,为田间水稻无损估产奠定了基础。

    尽管本文所提出的改进算法对大田水稻稻穗具有较好的识别效果;但还存在部分未能准确识别的稻穗,这是因为在数据集构造过程中,部分稻穗因遮挡无法被准确标注,同时本次试验所用数据有限,今后将进一步提升标注准确度和完全度,并扩大图像数据集,建立更具代表性、样本特征更为丰富的大田水稻稻穗数据库。

  • 图  1   原图像和数据增强后的图像

    Figure  1.   Original image and images after data augmentation

    图  2   ECA 流程图

    CHW分别表示特征的长、高、宽

    Figure  2.   Flow diagram of ECA

    C, H and W represents length, height and width of features, respectively

    图  3   改进YOLOv51网络总体框图

    Figure  3.   Overall block diagram of the improved YOLOv51 network

    图  4   3种融合ECA模块的YOLOv51模型

    Figure  4.   Three YOLOv5l models incorporating ECA modules

    图  5   不同网络模型平均精度曲线(a)和P-R曲线(b)

    Figure  5.   The average precision curves (a) and precision-recall curves (b) of different network models

    图  6   不同网络模型的损失值随迭代次数的变化曲线

    Figure  6.   Changes in the loss values of different network models with epoches

    图  7   识别结果示例

    白色框为未能准确识别的数据

    Figure  7.   Example of recognition results

    The white box is the data that cannot be accurately identified

    表  1   ECA模块融合结果对比

    Table  1   Comparison of ECA module fusion results %

    网络模型
    Network model
    精确率
    Precision
    召回率
    Recall
    平均精度
    Average precision
    YOLOv5l90.1988.9992.02
    ECA-YOLOv5l-Backbone93.5889.5694.47
    ECA-YOLOv5l-SPP93.6390.9495.05
    ECA-YOLOv5l-Neck92.6490.4694.33
    下载: 导出CSV

    表  2   YOLOv5l消融试验1)

    Table  2   YOLOv51 ablation experiment %

    注意力
    机制
    ECA
    数据增强
    Data
    augmentation
    精确率
    Precision
    召回率
    Recall
    平均精度
    Average
    precision
    ××88.3284.2188.18
    ×90.1988.9992.02
    93.6390.9495.05
     1) “√”和“×”分别表示使用和未使用
     1) “√” and “×” indicates used and unused respectively
    下载: 导出CSV

    表  3   不同网络模型检测性能对比

    Table  3   Comparison of different networks

    网络模型
    Network
    model
    平均精度/%
    Average
    precision
    检测速率/
    (帧·ms−1)
    Detection rate
    内存/MB
    Memory
    size
    Faster R-CNN86.6511.72109.0
    SSD88.4310.83100.0
    YOLOv5l92.0215.3089.3
    YOLOv5x94.4318.09166.0
    改进 YOLOv51
    Improved YOLOv51
    95.0523.5091.9
    下载: 导出CSV
  • [1] 郭雷风. 面向农业领域的大数据关键技术研究[D]. 北京: 中国农业科学院, 2016.
    [2] 章元, 许庆, 邬璟璟. 一个农业人口大国的工业化之路: 中国降低农村贫困的经验[J]. 经济研究, 2012, 47(11): 76-87.
    [3] 辛良杰, 李鹏辉. 中国居民口粮消费特征变化及安全耕地数量[J]. 农业工程学报, 2017, 33(13): 1-7.
    [4] 杨仕华, 廖琴. 中国水稻品种试验与审定[M]. 北京: 中国农业科学技术出版社, 2005.
    [5]

    IKEDA M, HIROSE Y, TAKASHI T, et al. Analysis of rice panicle traits and detection of QTLs using an image analyzing method[J]. Breeding Science, 2010, 60(1): 55-64. doi: 10.1270/jsbbs.60.55

    [6]

    ZHOU X G. First report of bacterial panicle blight of rice caused by Burkholderia glumae in South Africa[J]. Plant Disease, 2014, 98(4): 566.

    [7]

    ZHANG Y, LIU M, DANNENMANN M, et al. Benefit of using biodegradable film on rice grain yield and N use efficiency in ground cover rice production system[J]. Field Crops Research, 2017, 201: 52-59. doi: 10.1016/j.fcr.2016.10.022

    [8]

    BOIL K, KANG S K, SANG W G, et al. Variation of panicle differentiation stage by leaf growth according to rice cultivars and transplanting time[J]. Korean Journal of Crop Science, 2013, 58(4): 353-361. doi: 10.7740/kjcs.2013.58.4.353

    [9] 赵锋, 王克俭, 苑迎春. 基于颜色特征和AdaBoost算法的麦穗识别的研究[J]. 作物杂志, 2014(1): 141-144. doi: 10.3969/j.issn.1001-7283.2014.01.033
    [10] 范梦扬, 马钦, 刘峻明, 等. 基于机器视觉的大田环境小麦麦穗计数方法[J]. 农业机械学报, 2015, 46(S1): 234-239. doi: 10.6041/j.issn.1000-1298.2015.S0.038
    [11]

    ZHOU C Q, LIANG D, YANG X D, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9: 1024. doi: 10.3389/fpls.2018.01024.

    [12]

    DUAN L F, HUANG C L, CHEN G X, et al. Determination of rice panicle numbers during heading by mufti-angle imaging[J]. The Crop Journal, 2015, 3(3): 211-219. doi: 10.1016/j.cj.2015.03.002

    [13]

    LI Q Y, CAI J H, BERGER B, et al. Detecting spikes of wheat plants using neural networks with laws texture energy[J]. Plant methods, 2017, 13(1): 1-13. doi: 10.1186/s13007-016-0152-4

    [14]

    OLSEN P A, RAMAMURTHY K N, RIBERA J, et al. Detecting and counting panicles in sorghum images[C]//2018 IEEE 5th International Conference on Data Science and Advanced Analytics (DSAA). Turin, Italy: IEEE, 2019: 400-409.

    [15] 李静, 陈桂芬, 安宇. 基于优化卷积神经网络的玉米螟虫害图像识别[J]. 华南农业大学学报, 2020, 41(3): 110-116.
    [16] 顾伟, 王巧华, 李庆旭, 等. 基于改进SSD的棉种破损检测[J]. 华中农业大学学报, 2021, 40(3): 278-285.
    [17] 周云成, 许童羽, 邓寒冰, 等. 基于面向通道分组卷积网络的番茄主要器官实时识别[J]. 农业工程学报, 2018, 34(10): 153-162.
    [18]

    KOIRALA A, WALSH K B, WANG Z, et al. Deep learning for real-time fruit detection and orchard fruit load estimation: Benchmarking of ‘MangoYOLO’[J]. Precision Agriculture, 2019, 20(6): 1107-1135. doi: 10.1007/s11119-019-09642-0

    [19]

    TIAN Y N, YANG G D, WANG Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426. doi: 10.1016/j.compag.2019.01.012

    [20] 张领先, 陈运强, 李云霞, 等. 基于卷积神经网络的冬小麦麦穗检测计数系统[J]. 农业机械学报, 2019, 50(3): 144-150. doi: 10.6041/j.issn.1000-1298.2019.03.015
    [21] 彭文, 兰玉彬, 岳学军, 等. 基于深度卷积神经网络的水稻田杂草识别研究[J]. 华南农业大学学报, 2020, 41(6): 75-81.
    [22] 黄小杭, 梁智豪, 何子俊, 等. 基于YOLOv2的莲蓬快速识别研究[J]. 现代农业科技, 2018(13): 164-167.
    [23] 彭红星, 黄博, 邵园园, 等. 自然环境下多类水果采摘目标识别的通用改进SSD模型[J]. 农业工程学报, 2018, 34(16): 155-162. doi: 10.11975/j.issn.1002-6819.2018.16.020
    [24] 张洋. 基于深度学习的水稻种粒缺陷识别及重叠分布千粒重测量研究[D]. 扬州: 扬州大学, 2021.
    [25] 马志宏, 贡亮, 林可, 等. 基于稻穗几何形态模式识别的在穗籽粒数估测[J]. 上海交通大学学报, 2019, 53(2): 239-246.
    [26]

    WANG Q L, WU B G, ZHU P F, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020: 11531-11539.

    [27]

    HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023. doi: 10.1109/TPAMI.2019.2913372

  • 期刊类型引用(1)

    1. 戴林华,黎远松,石睿. 基于改进YOLOv8n算法的水稻叶片病害检测. 湖北民族大学学报(自然科学版). 2024(03): 382-388 . 百度学术

    其他类型引用(1)

图(7)  /  表(3)
计量
  • 文章访问数:  231
  • HTML全文浏览量:  25
  • PDF下载量:  37
  • 被引次数: 2
出版历程
  • 收稿日期:  2022-09-21
  • 网络出版日期:  2023-11-22
  • 发布日期:  2023-07-09
  • 刊出日期:  2024-01-09

目录

/

返回文章
返回