Design and experiment of precision fertilization device with automatic target for banana stalk
-
摘要:目的
针对华南地区蕉园施肥模式不能满足农艺要求、施肥效率低以及施肥机械自动化程度低等问题,设计一种香蕉假茎自动对靶精准施肥装置。
方法根据蕉园实际沟施过程和农艺要求,确定装置的控制原理和关键部件的安装位置,并基于此建立施肥时间滞后模型;对外槽轮排肥器结构进行创新设计,建立排肥机构单圈排肥量和周期排肥量的数学模型,并通过EDEM仿真对肥料运动特性进行验证。采用响应曲面优化方法对排肥机构的工作参数进行优化,满足香蕉在不同生长时期的需肥要求,并以施肥量变异系数、施肥长度变异系数和假茎中心偏移距离为评价指标,进行最优参数组合下的田间试验,进一步验证精准施肥装置的工作性能。
结果确定排肥机构最优工作参数为:排肥轴转速85 r/min,槽轮内芯初始有效工作长度6 mm。田间试验结果表明,施肥量变异系数和施肥长度变异系数均小于4%,假茎中心偏移距离平均值最高为7.4 cm,满足农艺要求。
结论该施肥装置工作性能可满足香蕉施肥要求,本研究可为蕉园精准施肥装置的设计提供参考。
Abstract:ObjectiveIn order to solve the problems that the fertilization mode of banana orchard in South China does not meet the agronomic requirements, the fertilization efficiency and the automation level of fertilization machinery are low, a precision fertilization device with automatic target for banana stalk was designed.
MethodAccording to the fertilization process and agronomic requirement of banana orchard, the control principle of the device and the installation location of key components were determined, and the time lag model related to fertilization was established. Through the innovative design of the fluted fertilizer distributer, the mathematical models of single cycle and periodic fertilization amount were established, and the motion characteristics of fertilizer were verified by EDEM simulation. In order to meet the fertilizer requirements of banana at different growth stages, the response surface methodology was used to optimize the parameters of fertilizer discharging mechanism. The variation coefficient of fertilization amount, variation coefficient of fertilization length and offset distance from the center of banana stalk were used as the evaluation indexes. Field test was performed using the combination of optimization parameters to further verify the performance of the precision fertilization device.
ResultThe optimal parameters were determined as follows: The rotational speed of fertilizer-distributer shaft was 85 r/min, and the initial length of inner core of fluted roller was 6 mm. The field test showed that the variation coefficients of fertilization amount and fertilization length were both below 4%, and the highest average offset distance from the center of banana stalk was 7.4 cm, meeting the agronomic requirements.
ConclusionThe working performance of the device can meet the requirements of banana fertilization. This study can provide references for the design of the precision fertilization device for banana orchard.
-
Keywords:
- banana /
- target /
- fertilization device /
- fertilizer discharging mechanism /
- EDEM simulation
-
苹果作为一种常见的水果,其质量问题直接关系到消费者的健康和生产者的经济利益。我国是苹果种植大国,苹果采摘、运送、储藏与加工处理是不可忽视的关键环节[1]。然而,由于人工质检的主观性和效率低下,传统的苹果质检方式已经无法满足现代农产品质量的需求[2]。基于机器学习的苹果识别技术应运而生,该方法可以对苹果进行自动识别和分类。李大华等[3]针对自然复杂环境下的苹果重叠问题,利用谱聚类算法进行分割,然后使用随机霍夫变换实现果实的识别和定位,尽管改进后的谱聚类算法在计算量上有所优化,但仍然涉及多步骤的处理,包括均值漂移预分割、稀疏矩阵构建、K-means分类和随机霍夫变换,整体流程较为复杂,对硬件性能要求较高,不适合实时性要求较高的应用场景。王迎超等[4]为了准确快速实现多特征融合的苹果分级,提出了一种基于K-means聚类和改进多层感知器(Multilayer perception, MLP)的苹果分级方法,但特征权重的确定存在主观性,且在不同的应用场景或苹果品种中特征的重要性会有所不同,导致分级准确性下降。宋怡焕等[5]提出基于最小二乘支持向量机(LS-SVM)检测苹果果梗/花萼缺陷,试验中仅使用了 180 幅苹果图像,而训练数据的不足会导致模型的泛化能力受限,对不同环境或苹果品种的误判率较高。上述传统的机器学习算法试验设计过于繁琐,对复杂的特征提取和分类能力不佳,易受外界因素的干扰,难以获得较好的检测结果。随着深度学习技术突飞猛进,以深度学习为基础的目标检测技术在苹果果实检测[6]、病虫害监测[7]、果实成熟度[8]和农业自动化[9-10]等领域发挥着重要的作用。目前,基于深度学习的苹果检测算法依据检测的阶段划分主要有2大类:一类是要先用特征提取器生成一系列可能包含待检物体的预选框,然后利用算法对生成的候选区域进行更精细的检测和分类的两阶段算法,主要有Faster-RCNN[11]和Mask-RCNN[12]算法;另一类为直接预测物体类别和位置的一阶段检测算法,主要有RetinaNet[13]、SSD[14]和YOLO系列[15-17]。两阶段算法计算复杂度高、检测速度较慢,一阶段算法在精度上有所欠缺。两阶段算法由于包含多个阶段和较多的候选框处理,推理速度通常比单阶段算法慢,不适合实时应用。为了进一步提升模型的检测速度和准确度,Tian等[18]提出了一种名为VMF-SSD(基于V空间的多尺度特征融合SSD)的新型苹果叶片病害检测方法;Wang等[19]通过迁移学习构建YOLOv5s检测模型的同时,采用通道修剪算法对模型进行修剪及微调,以实现对苹果果实的快速准确检测。
目前,国内外目标检测领域对苹果的研究主要集中在自然环境下的苹果识别、苹果采摘机器人以及叶片病虫害识别方面。虽然已有部分研究针对缺陷苹果的检测[20-21],但仍存在上下文信息和多尺度特征融合不充分的问题。针对缺陷苹果识别,本文提出一种基于BiFPN[22]和Triplet注意力机制的YOLOv5s (BTF-YOLOv5s)缺陷苹果识别算法,通过BiFPN结合特征的上采样和下采样路径,联合跨尺度的特征交互,能够更好地传递和融合来自不同尺度的特征信息,提升目标检测性能;同时,学习动态的特征融合权重,根据不同目标的重要性进行灵活调整,增强模型的鲁棒性;在Neck层应用Triplet注意力机制,模型能更好地捕捉图像中的细节和上下文信息,提升目标检测的精度;采用Focal-CIoU调整正负样本之间的损失权重,让模型对难以分类的样本给予更多关注,提升模型的分类性能。
1. 基于BiFPN和Triplet注意力机制的YOLOv5s算法
本研究以YOLOv5s (版本6.2,包含4种不同大小的模型)为基础,网络结构由输入端、骨干网络、颈部网络和输出端4个部分组成。在输入端引入了Mosaic数据增强方法,随机选取4张图像,对它们进行随机放大、缩小等操作后,拼接成一张新的图像,使模型可以在更小的范围内识别目标;骨干网络主要使用了Focus和CSP1_X结构;颈部网络采用FPN+PAN和CSP2_X结构进一步进行特征融合和上采样操作,以提供更高级的语义信息和适应不同尺度图片的能力;输出端采用CIoU_Loss(Complete intersection over union loss)作为损失函数,并使用了非极大值抑制(Non-maximum suppression,NMS)进行后处理。本文提出了一种改进的YOLOv5s算法(BTF-YOLOv5s)用于缺陷苹果识别,首先,加权双向特征金字塔网络(Bidirectional feature pyramid network,BiFPN)替代YOLOv5中的FPN+PAN结构,通过引入可学习的权重学习不同输入特征的重要性;然后,将Triplet注意力机制应用到模型的最后一层,确保在最终输出前对特征进行充分的处理和优化;最后,采用Focal-CIoU损失函数调整损失权重给予缺陷苹果更多的关注,BTF-YOLOv5s算法结构整体框图如图1所示。
1.1 BiFPN
在目标检测任务中,有效地获取并处理不同尺度的特征信息是一个主要的挑战。传统的特征金字塔网络(FPN)[23]通过自上而下的方式聚合多尺度特征,如图2a所示,但容易受到单向信息流的限制;路径聚合网络(PANet)[24]在此基础上额外添加了一个自下向上的路径聚合网络,如图2b所示。在YOLOv5的Neck结构中,借鉴PANet的思想,高层的特征信息通过FPN+PAN结构进行传递融合。FPN+PAN结构虽然提高了特征传递的效率,但也增加了计算复杂度,尤其是在处理高分辨率输入时,可能导致较高的计算成本和较差的实时性;此外,固定结构导致对不同任务和数据缺乏自适应的能力。
为了解决上述信息流动单一、精度高但参数较多、计算量较大以及简单拼接导致的信息丢失和冗余等问题,本文提出了采用BiFPN替代YOLOv5s中的FPN+PAN结构。BiFPN在PANet和NAS-FPN(图2c)基础上优化了多尺度特征融合方式,结构如图2d所示。
传统方法在融合具有不同分辨率的特征时,平等地对待所有输入特征,并将它们简单相加。但不同分辨率的输入特征对输出特征的贡献通常是不等的。为了解决这一问题,BiFPN为每个输入特征增加了一个额外的权重,并让网络学习每个输入特征的重要性,具体见式(1)和式(2):
$$ P_6^{{\mathrm{td}}} = {\mathrm{Conv}}\left[ {\frac{{{w_1}P_6^{{\mathrm{in}}} + {w_2}{\mathrm{Reseize}}\left( {P_7^{{\mathrm{in}}}} \right)}}{{{w_1} + {w_1} + \varepsilon }}} \right], $$ (1) $$ P_6^{{\mathrm{out}}} = {\mathrm{Conv}}\left[ {\frac{{w_1^{'}P_6^{{\mathrm{in}}} + w_2^{'}P_6^{{\mathrm{td}}} + w_3^{'}{\mathrm{Reseize}}\left( {P_5^{{\mathrm{out}}}} \right)}}{{w_1^{'} + w_2^{'} + w_3^{'} + \varepsilon }}} \right], $$ (2) 式中,
$ P_6^{{\mathrm{td}}}$ 为自顶向下路径第6层的中间特征;$ P_6^{{\mathrm{in}}}$ 为第6层的输入特征; Resize用于分辨率匹配的上采样或下采样运算;$ P_6^{{\mathrm{out}}}$ 为自底向上路径第6层的输出特征。这一改进使得网络能够自适应地调整每个特征图的重要性,从而实现更有效的特征融合。引入BiFPN的YOLOv5s模型通过多尺度特征融合和简化的计算过程,有效地提升了对缺陷苹果检测的准确率;BiFPN通过引入可学习的融合权重优化了不同分辨率特征的重要性,增强了特征复用和多级特征融合路径,使得YOLOv5能够有效地检测出不同大小和形状的苹果缺陷。
1.2 Triplet注意力机制
在缺陷苹果检测任务中,模型需要准确地识别和定位图像中的目标(苹果)。图像中存在大量的背景信息以及不同大小的苹果会分散模型的注意力,使得模型难以准确地区分缺陷苹果和背景,引入注意力机制旨在提升模型对关键目标的感知能力。SENet通过简单的操作(全局平均池化和全连接层)自适应地调整特征图中每个通道的重要性,使网络更加集中地关注重要的特征信息,在低计算成本的条件下通过通道注意力机制显著提升网络的表示能力[25];CBAM将通道注意力和空间注意力相结合,能够同时关注重要的通道特征和空间位置;CBAM中的通道注意力方法虽然提供了一定的性能改进,但通道注意力和空间注意力是相互分离和计算的[26]。
Triplet 注意力机制(简称“Triplet”)以一种有效的方式解释了CBAM未考虑到的跨维度的相互作用[27]。如图3所示,Triplet由3个平行的分支构成,其中2个分支分别用来捕获通道
$C$ 维度和空间维度$ W/H $ 之间的跨通道交互,最后的一个分支用于捕获$ H $ 和$W$ 的空间依赖关系。在第1个分支中,输入张量C×H×W(通道数$C$ 、高度$H$ 和宽度$W$ )沿$H$ 轴逆时针旋转90°,形状变为$W$ ×$H$ ×$C$ ,输入特征先后经过$ Z - {\mathrm{Pool}} $ 、$ K \times K $ 的标准卷积层、批量归一化层、通过Sigmod激活函数生成空间注意力权重后、再沿H轴顺时针旋转90°保持与输入的形状一致。其中$ Z - {\mathrm{Pool}} $ 表示为:$$ Z - {\mathrm{Pool}}(\chi ) = \left[{\mathrm{Max}}{{\mathrm{Pool}}_{0{\mathrm{d}}}}(\chi ),{\mathrm{Avg}}{{\mathrm{Pool}}_{0{\mathrm{d}}}}(\chi )\right]{\text{,}} $$ (3) 式中,
$ 0{\mathrm{d}}$ 表示发生最大池化和平均池化操作的第0维度。第2、第3个分支同理,最后对3个分支输出特征进行平均后聚合在一起,最终输出的张量:
$$\begin{split} y =& \frac{1}{3}\Biggr\{ \overline {\mathop {{\chi _1}}\limits^ \wedge \sigma \left[ {{\psi _1}\left( {\mathop {\chi _1^*}\limits^ \wedge } \right)} \right]} + \overline {{{\mathop \chi \limits^ \wedge }_2}\sigma \left[ {{\psi _2}\left( {\mathop {\chi _2^*}\limits^ \wedge } \right)} \right]} + \Biggr.\\&\Biggr.\chi \sigma \left[ {{\psi _3}\left( {\mathop {{\chi _3}}\limits^ \wedge } \right)} \right] \Biggr\}{\text{,}} \end{split} $$ (4) 式中,
$ \sigma $ 代表Sigmod激活函数;$ \psi _1$ 、$ \psi _2$ 和$ \psi _3$ 表示由核大小$K$ 定义的标准二维卷积层。Triplet通过旋转操作构建各维度间的相关性,再对其进行残差变换,并以极小的计算成本对信息进行编码,在不需要太多可学习参数的前提下建立通道之间的相互依赖关系,有效地捕捉苹果图像中的关键特征。
1.3 Focal-CIoU损失函数
在机器学习任务中,常常面临数据集中不同类别的样本数量差异较大的问题,传统的交叉熵损失函数在处理样本不均衡问题时表现不佳,因为它将所有样本的重要性视为相等,继而导致模型在训练过程中更容易偏向于数量多的类别,公式如下:
$$ {\mathrm{CE}}(p,y) = {\mathrm{CE}}({P_t}) = - \ln ({P_t}) {\text{,}}$$ (5) 式中,CE是交叉熵(Cross entropy),
$p$ 代表模型预测样本属于类别1的概率(取值范围0~1),$y$ 表示样本的标签(取值为−1和1)。定义$$P_t=\left\{ \begin{array}{ll} {p}, &{{\text{当}} \; y=1{\text{时}}}\\ {1-p},& {{\text{其他}}} \end{array}\right. {\text{。}}$$ (6) 数据集中正常苹果和缺陷苹果图片数量均为1 600张左右,但标注数量略有差异,分别为4 624和2 039张。为了进一步加强模型对缺陷苹果的检测能力,引入Focal-CIoU损失函数。Focal Loss(FL)在交叉熵损失的基础上进行了改进,引入了平衡因子和聚焦因子,平衡因子用于调整正负样本之间的权重,聚焦因子用于调整难易样本间的损失权重;这样,既能调整正负样本的权重,又能控制难易分类样本的权重。FL表达式[28]为:
$$ {\mathrm{FL}}({P_t}) = - {\alpha _t}{(1 - {P_t})^\gamma }\ln ({P_t}), $$ (7) 式中,
${\alpha _t}$ 是超参数(取0.25);$ {(1 - {P_t})^\gamma } $ 是调节因子,$\gamma $ 是$ \geqslant $ 0的可调节聚焦参数(取2)。CIoU损失函数(LossCIoU)考虑边界框宽高比的尺度信息,在DIoU的基础上进行优化,计算公式[29]如下:
$$ {\mathrm{DI}}{\text{o}}{\mathrm{U}} = {\mathrm{IoU}} - \frac{{{d^2}}}{{{c^2}}}{\text{,}} $$ (8) $$ {\mathrm{Loss}}_{\mathrm{CIoU}} = {\mathrm{IoU}} - {\frac{{{\rho ^2}\left( {b,{b^{gt}}} \right)}}{{{c^2}}}^{}} - \alpha V{\text{,}} $$ (9) 式中,IoU为交并比(Intersection over Union),即“预测的边框”和“真实的边框”的交集和并集的比值;
$ d$ 为预测框与真实框中心点的长度,$ c$ 为最小外接矩形的对角线距离,$\rho $ 代表的是2个中心点之间的欧式距离,$ b、{b^{gt}} $ 分别代表了预测框和真实框的中心点,$\alpha $ 是权重函数,$V$ 用来衡量长宽比的相似度。Focal-CIoU损失函数(
${\mathrm{L}}{\text{os}}{{\text{s}}_{{\mathrm{Focal}} - {\mathrm{CIoU}}}} $ )为:$$ {\mathrm{L}}{\text{os}}{{\text{s}}_{{\mathrm{Focal}} - {\mathrm{CIoU}}}} = {\mathrm{Io}}{{\mathrm{U}}^\gamma } \times {\mathrm{Los}}{{\mathrm{s}}_{{\mathrm{CIoU}}}} {\text{。}}$$ (10) Focal-CIoU通过调整正负样本的权重和提升边界框回归精度,减少了训练过程中梯度的不稳定性,使模型更关注缺陷苹果,提高了检测性能。
2. 试验与结果分析
2.1 数据集
本研究所用数据集从百度网站和飞桨AI Studio网站上获取,这2个网站提供了丰富的图像资源,包含虫蛀、腐烂、机械损伤和褶皱共4类苹果缺陷图像(图4),数量分别为414、750、148和280张,以确保对于苹果目标的全面覆盖。数据集共
3213 张(正常苹果1621 张、缺陷苹果1592 张),训练集和验证集按照9∶1的比例划分,其中,训练集图片2 891张、验证集图片322张。为了增加数据的多样性,通过Python程序对部分数据集进行水平、垂直方向的翻转以及旋转45º操作。构建和处理数据集,确保模型在训练和验证过程中能够充分学习和适应苹果目标的多样性特征,为后续的目标检测提供数据保障。2.2 模型训练与评价指标
本试验平台基于Ubuntu 18.04.6的64位操作系统,显卡为GPU(NVIDIA GeForce RTX2080Ti),显存为12 G,使用PyTorch框架构建模型,编程语言为Python,Torch版本为1.10.1。在训练过程中,设置初始学习率为0.01、周期学习率为0.20、动量为0.937、权重衰减系数为0.000 5、批量大小为16。模型评估指标包括准确率(Precision,P)、召回率(Recall,R)、平均精确率均值(Mean average precision,mAP)和F1。TP (True positive)表示模型正确地检测出缺陷苹果的数量;TN (True negative)表示模型正确地排除正常苹果的数量;FP (False positive)表示模型错误地将正常苹果判定为缺陷苹果的数量; R指模型正确检测出的缺陷苹果(TP)占所有真正的缺陷苹果(TP + FN)的比例,表示模型对于真实缺陷苹果的检测能力;AP(Average precision)是衡量目标检测模型在不同召回率下准确性的指标,mAP是所有类别AP的平均,用来评估模型整体性能; F1综合了P和R这2个指标,能够更全面地评估模型的性能。
训练过程中损失值参数的动态变化如图5所示,随着训练轮次递增,损失值经历了急剧下降的阶段,最终趋向于0.025左右的平稳水平。训练损失和验证损失逐渐趋于拟合,意味着模型所学习的训练数据中的模式能够有效泛化到验证数据,表明该模型在面对新数据时具有优异的泛化性能。
2.3 Triplet的不同添加位置
Triplet插入YOLOv5s结构中的位置(A表示YOLOv5s-BiFPN-Triplet)主要有以下4种方式:1)在网络结构SPPF前面添加,即第9层[A+CIoU+Focal (9)];2)在网络结构最后一层添加,即第24层[A+ CIoU+Focal(24)];3)在网络结构SPPF前面和最后一层添加,即A+CIoU+Focal(9+25);4)替换Backbone中的C3模块,即A+CIoU+Focal。不同插入位置对比试验结果见表1。由表1可见,A+CIoU+Focal(24)比其他4种模型在各个方面均有不错的提升,准确率比YOLOv5s的提高了5.7个百分点,综合分析表明A+ CIoU+Focal(24)是最优的模型。
表 1 Triplet注意力机制不同插入位置的模型试验结果对比Table 1. Result comparison of Triplet attention mechanism with different insertion position% 模型1)Model P R mAP F1 YOLOv5s 75.4 83.6 86.5 79.29 A+ CIoU+Focal(9) 77.3 81 85.6 79.11 A+CIoU+Focal(9+25) 80.8 79.9 86.2 80.35 A+CIoU+Focal 75.9 85.2 87.1 80.28 A+CIoU+Focal(24) 81.1 85.8 90.0 83.38 1) A:YOLOv5s-BiFPN-Triplet,括号内数字表示Triplet插入位置。
1) The number in parentheses indicated the insertion position of Triplet.2.4 BiFPN添加不同注意力机制
以YOLOv5s-BiFPN为基础,逐步添加SE,CBAM、CA和Triplet注意力机制。SE仅考虑通道间的信息,忽略了位置信息;CBAM通过学习的方式自动获取每个特征通道和特征空间的重要程度;而CA不仅考虑通道间的关系,而且考虑方向相关的位置信息。试验结果见表2,由表2可见,BiFPN+CA在准确率和mAP方面优于BiFPN+SE和BiFPN+CBAM;Triplet注意力机制利用三分支结构能够捕获更多的关键信息,建立通道之间的相互依赖关系,试验结果也验证了BiFPN+Triplet是最优模型。
表 2 BiFPN添加不同注意力机制的模型试验结果对比Table 2. Result comparison of BiFPN with different attention mechanism% 模型Model P R mAP BiFPN+SE 76.1 83.1 87.0 BiFPN+CBAM 77.5 81.5 87.6 BiFPN+CA 78.6 81.3 88.1 BiFPN+Triplet 79.3 83.2 88.4 2.5 消融试验
为了验证各个模块的作用,以YOLOv5s为基础,进行逐步添加和替换,结果见表3。从表3中可以看出,与初始的YOLOv5s模型相比,单独添加BiFPN、Triplet或Focal-CIoU模块的模型准确率、召回率和mAP均有一定的提升。同时添加2种模块时,取得的效果更佳,添加BiFPN+Triplet的模型mPA比单独添加BiFPN的提高了0.4个百分点、准确率比单独添加Triplet的提高2.9个百分点;添加Triplet+Focal-CIoU的模型准确率和mAP比单独添加Triplet的分别提高1.1和0.3个百分点;添加BiFPN+Focal-CIoU的模型准确率和mAP比单独添加Focal-CIoU的分别提高1.7和1.0个百分点。当三者同时添加时,提高了模型对缺陷苹果的感知能力,与YOLOv5s模型相比,准确率、召回率和mAP分别提高5.7、2.2和3.5个百分点。
表 3 消融试验结果Table 3. The result of ablation test% BiFPN Triplet Focal-CIoU P R mAP 75.4 83.6 86.5 √ 80.3 84.3 88.0 √ 76.4 86.1 89.3 √ 78.4 83.0 89.8 √ √ 79.3 83.2 88.4 √ √ 77.5 84.5 89.6 √ √ 80.1 84.0 88.9 √ √ √ 81.1 85.8 90.0 为了验证Focal-CIoU损失函数的优越性,本文设计了YOLOv5s-BiFPN-Triplet+损失函数的消融试验,结果见表4。由表4可知,A+ CIoU+Focal与次优模型A+ SIoU相比,准确率提高了1个百分点、召回率和mAP提高0.2个百分点、F1提高0.62个百分点;虽然A+ WIoU的准确率与A+ CIoU+Focal相同,但召回率、mAP和F1均低于A+ CIoU+Focal。综合准确率、召回率、mAP和F1等指标, A+ CIoU+Focal是最优模型。
表 4 Focal-CIoU与其他损失函数对比Table 4. Comparison of Focal-CIoU with other loss functions% 模型1)Model P R mAP F1 A 79.3 83.2 88.4 81.20 A+ DIoU 79.1 84.8 89.2 81.85 A+ DIoU+Focal 79.4 84.3 89.6 81.78 A+ SIoU 80.1 85.6 89.8 82.76 A+ SIoU+Focal 77.9 85.3 88.5 81.43 A+ EIoU 78.7 84.3 88.7 81.40 A+ EIoU+Focal 80.7 80.0 88.1 80.35 A+ WIoU 81.1 79.4 88.2 80.24 A+CIoU+Focal 81.1 85.8 90.0 83.38 1) A:YOLOv5s-BiFPN-Triplet. 2.6 模型有效性验证
为了证明本文提出模型(BTF-YOLOv5s)的有效性,与当前主流的目标检测模型进行对比(表5)。由表5可见,与SSD相比,BTF-YOLOv5s的准确率提高了4.8个百分点、召回率和mAP分别提高了4.1和5.7个百分点,模型大小大幅度减小;与YOLOv3相比,BTF-YOLOv5s的准确率提高近10个百分点,模型小了近8倍;与YOLOv4相比,BTF-YOLOv5s虽然准确率低了3.1个百分点,但召回率和mAP分别提升近20和13个百分点,模型大小减少了17倍;与YOLOv5s、YOLOv7和YOLOv8s相比,BTF-YOLOv5s在准确率、召回率和mAP方面均有提升;YOLOv8n和YOLOv9的准确率相较于BTF-YOLOv5s各提高0.6和4.9个百分点,但二者召回率过低; F1显示BTF-YOLOv5s是最优的。综合分析,BTF-YOLOv5s显著优于大多数目标检测模型,更具有优势。图6直观地展示了SSD、YOLOv3、YOLOv5s等模型与BTF-YOLOv5s的mAP比较,在训练轮次逐步增加的过程中,BTF-YOLOv5s的mAP最终稳定在90%左右,明显优于其他模型。
表 5 BTF-YOLOv5与其他模型的对比Table 5. Comparison of BTF-YOLOv5 with other models模型
ModelP/% R/% mAP/% 模型大小/MB
Model sizeF1/% 参数
ParameterGFLOPs1) SSD 76.3 81.7 84.3 95.5 78.91 2.49×107 31.4 YOLOv3 71.8 83.8 86.5 123.5 77.34 3.30×107 78.1 YOLOv4 84.2 65.6 76.6 256.3 73.75 6.50×107 142.3 YOLOv5s 75.4 83.6 86.5 14.4 79.29 7.03×106 16.0 YOLOv7 79.6 83.1 87.1 142.1 81.31 3.72×107 105.1 YOLOv8n 81.7 76.6 87.4 6.2 79.07 3.01×106 8.2 YOLOv8s 73.6 83.0 87.2 22.5 78.02 1.11×107 28.6 YOLOv9 86.0 78.8 89.7 102.8 82.24 5.10×107 238.9 BTF-YOLOv5s 81.1 85.8 90.0 14.7 83.38 7.17×106 16.7 1) GFLOPs:每秒10亿次的浮点运算数。
1) GFLOPs: Giga floating-point operations per second.2.7 应用场景试验结果
本模型的应用场景之一即苹果采摘机器人在采摘过程中的分拣,故选择缺陷苹果所处的自然环境下的场景以及摆放不规整的场景。如图7所示,其中,第1行图像为原始图像、第2行图像为YOLOv5s检测图、第3行图像为BTF-YOLOv5s检测图;在图7的第1列中,BTF-YOLOv5s能够有效检测出正常苹果与缺陷苹果,准确率比YOLOv5s有显著提升;在第2列中对于像素更少的瑕疵斑点,YOLOv5s模型不仅出现了误检,而且准确率也低于BTF-YOLOv5s;在第3列中,BTF-YOLOv5s模型的检测效果明显优于YOLOv5s模型。
3. 结论
为了实现对瑕疵苹果的快速准确检测,本文提出基于BiFPN和Triplet注意力机制的YOLOv5s缺陷苹果识别算法。通过加权双向特征金字塔网络(BiFPN)来学习不同的输入特征;采用Triplet注意力机增强模型对目标之间的关联和上下文信息的表示能力;采用Focal-CIoU损失函数,在计算损失时调整损失权重,给予目标物体更多的关注。注意力机制的应用使模型更加关注目标,在4种位置的插入对比中,YOLOv5s网络结构最后一层的插入位置表现最为优越,与在网络结构SPPF前面和最后一层添加相比,准确率、召回率和mAP分别提高了0.3、5.9和3.8个百分点;BiFPN与SE、CBAM、CA、Triplet注意力机制两两组合,验证了BiFPN+Triplet的优越性;相较于BiFPN+CA,准确率、召回率和mAP分别提升了0.7、1.9和0.3个百分点。消融试验表明,以YOLOv5s为基础,同时添加3种模块的准确率、召回率和mAP分别提高了5.7、2.2和3.5个百分点,提升效果显著。以YOLOv5s-BiFPN-Triplet为基础,Focal-CIoU的准确率比次优损失函数SIoU高1个百分点;准确率、召回率和mAP比主流的YOLOv7算法提高了1.5、2.7和2.9个百分点,同时,模型大小从142.1 MB减小到14.7 MB,显著降低了内存占用,在计算资源受限的环境中,为部署目标检测系统提供了有力支持。YOLOv8n和YOLOv9的准确率虽略高于BTF-YOLOv5s,但均面临召回率过低的问题,而YOLOv8s的准确率只有73.6%。在应用场景的对比试验中,BTF-YOLOv5s也表现出较好的优越性。
-
图 3 排肥机构结构示意图
1:排肥轴;2:链轮;3:槽轮内芯;4:阻肥刷;5:外芯支撑板;6:槽轮外芯;7:外芯连接法兰;8:电缸推杆连接法兰;9:步进电缸;10:半圆型垫片;11:排肥管;12:排肥器外壳;13:内芯档环
Figure 3. Structural diagram of fertilizer discharging mechanism
1: The shaft of fertilizer distributer; 2: Sprocket; 3: Inner core of fluted roller; 4: Fertilizer blocking brush; 5: Outer core supporting plate; 6: Outer core of fluted roller; 7: Flange of outer core; 8: Flange of electric cylinder; 9: Electric cylinder; 10: Simicircle gasket; 11: Fertilizer discharging tube; 12: The casing of fertilizer distributer; 13: Inner core retainer
图 4 槽轮断面剖视图
R为外槽轮半径,cm;r为辅助圆O1的半径,cm;$ \alpha $为2个排肥齿脊间的圆心角弧度;$ \varphi $为辅助圆O1中与$ \alpha $相对应的圆心角弧度;$ {f}_{1} $表示槽轮凹槽截面顶部面积,cm2;$ {f}_{2} $表示槽轮凹槽截面底部面积,cm2
Figure 4. Section view of fluted roller
R is the radius of fluted roller, cm; r is the radius of the auxiliary circle O1, cm; $ \alpha $ is the center angle radian between the two tooth ridges of fluted roller; $ \varphi $ is the center angle radian of the auxiliary circle O1 corresponding to $ \alpha $; $ {f}_{1} $ is the top area of the groove section of fluted roller, cm2; $ {f}_{2} $ is the bottom area of the groove section of fluted roller, cm2
图 7 对靶探测示意图
$ D $为香蕉假茎直径,cm;$ {L}_{\mathrm{h}} $ 为超声波传感器离假茎中心的探测距离,cm;$ {L}_{{\rm{b}}} $为超声波传感器和排肥器出肥口在水平方向上的距离,cm;$ {L}_{1} $为超声波传感器探测时间段内试验平台的前进距离,cm;$ {L}_{2} $为信号消失时超声波传感器和假茎中心在水平方向上的距离,cm;$ \alpha $为超声波传感器的波束角,(°);$ v $为试验平台前进速度,cm/s
Figure 7. Schematic diagram of target detection
$ D $ is the diameter of banana stalk, cm; $ {L}_{\mathrm{h}} $ is the distance from ultrasonic sensor to the center of the banana stalk, cm; $ {L}_{{\rm{b}}} $ is the horizontal distance between the ultrasonic sensor and the outlet of the fertilizer distributer, cm; $ {L}_{1} $ is the moving distance of the test platform during the ultrasonic sensor detection period, cm; $ {L}_{2} $ is the horizontal distance between the ultrasonic sensor and the stalk center when the signal disappears, cm; $ \alpha $ is the beam angle of the ultrasonic sensor, (°); $ v $ is the working speed of the test platform, cm/s
图 9 槽轮内芯初始有效工作长度与最大有效工作长度对施肥量的交互作用
a1、a2和a3分别为排肥周期2、3、4 s时的响应面3D图;b1、b2和b3分别为排肥周期2、3、4 s时施肥量(g)的等高线图
Figure 9. Interactive effect of initial length and maximum length of inner core on fertilization amount
a1, a2 and a3: 3D maps of response surfaces under the fertilization cycle of 2,3,4 s, respectively; b1, b2 and b3: Contour maps of fertilization amount (g) under the fertilization cycle of 2,3,4 s, respectively
表 1 全局变量参数设置
Table 1 Setting of global variable parameters
项目
Item直径/mm
Diameter泊松比
Poisson
ratio剪切模量/Pa
Shear
modulus密度/
(kg·m−3)
Density恢复系数
Recovery
coefficient静摩擦系数
Static friction
coefficient动摩擦系数
Kinetic friction
coefficient肥料颗粒
Fertilizer3.37 0.25 1.0×107 1330 排肥器
Fertilizer distributer0.43 1.3×109 1240 肥料颗粒−肥料颗粒
Fertilizer-fertilizer0.11 0.30 0.10 肥料颗粒−排肥器
Fertilizer-fertilizer distributer0.41 0.32 0.18 肥料颗粒−模拟地面
Fertilizer-ground model0.30 1.26 1.27 表 2 试验因素和水平表
Table 2 List of test factors and levels
水平
Level因素 Factor 槽轮内芯初始有效
工作长度/mm
Initial effective working
length of inner core
(A)槽轮内芯最大有效
工作长度/mm
Maximum effective working
length of inner core
(B)槽轮外芯移动
周期/s
Movement cycle
of outer core
(C)排肥轴转速
/(r·min−1)
Rotational speed of
fertilizer-distributer shaft
(D)−1 5 30 2 50 0 10 40 3 75 1 15 50 4 100 表 3 试验方案和结果
Table 3 Test plan and results
试验序号
Test No.A B C D 排肥量/g
Fertilization amount1 0 −1 0 1 167.04 2 −1 0 −1 0 98.98 3 1 0 −1 0 123.65 4 0 1 1 0 270.04 5 −1 1 0 0 185.34 6 0 0 −1 1 140.93 7 0 1 0 −1 144.92 8 0 0 1 −1 159.70 9 0 0 0 0 107.13 10 0 1 −1 0 136.28 11 1 0 1 0 245.21 12 −1 −1 0 0 112.70 13 1 1 0 0 221.92 14 1 0 0 1 234.64 15 0 0 1 1 280.96 16 1 0 0 −1 132.81 17 0 0 −1 −1 80.37 18 0 −1 0 −1 93.45 19 1 −1 0 0 151.00 20 −1 0 0 1 187.33 21 0 −1 1 0 175.50 22 0 −1 −1 0 87.55 23 −1 0 0 −1 106.87 24 −1 0 1 0 198.03 25 0 1 0 1 257.22 表 4 排肥量方差分析表
Table 4 Variance analysis of fertilizer discharge
方差来源
Variation source平方和
Sum of squares自由度
Degree of freedom均方
Mean squareF P 模型 Model 86473.33 14 6176.67 10161.27 < 0.0001 A 4032.60 1 4032.60 6634.06 < 0.0001 B 15299.59 1 15299.59 25169.46 < 0.0001 C 36485.04 1 36485.04 60021.77 < 0.0001 D 25208.33 1 25208.33 41470.40 < 0.0001 AB 0.74 1 0.74 1.22 0.2958 AC 126.68 1 126.68 208.39 < 0.0001 AD 114.17 1 114.17 187.82 < 0.0001 BC 524.64 1 524.64 863.09 < 0.0001 BD 374.62 1 374.62 616.28 < 0.0001 CD 921.12 1 921.12 1515.34 < 0.0001 A2 2523.14 1 2523.14 4150.83 < 0.0001 B2 2618.56 1 2618.56 4307.81 < 0.0001 C2 2496.20 1 2496.20 4106.52 < 0.0001 D2 2271.47 1 2271.47 3736.81 < 0.0001 残差
Residual6.08 10 0.61 总误差
Total error9.41 24 表 5 最佳参数优化结果
Table 5 Results of parameter optimization
序号
No.A B C D 排肥量/g
Fertilization amount1 5.7 38.6 2 82.5 100 2 5.0 48.7 3 86.0 200 3 6.6 50.0 4 85.4 300 表 6 田间试验数据与结果1)
Table 6 Data and results of field experiment
试验编号
No. of test组别1 Group 1 组别2 Group 2 组别3 Group 3 施肥
量/g
Fertilization
amount施肥长
度/cm
Fertilization
length假茎中心
偏移距离/cm
Offset distance
from the center
of banana stalk施肥
量/g
Fertilization
amount施肥长
度/cm
Fertilization
length假茎中心
偏移距离/cm
Offset distance
from the center
of banana stalk施肥
量/g
Fertilization
amount施肥长
度/cm
Fertilization
length假茎中心
偏移距离/cm
Offset distance
from the center
of banana stalk1 104.9 62.3 6.8 207.9 96.3 7.8 310.6 129.3 6.9 2 103.2 64.6 7.9 203.2 97.6 6.8 308.6 125.7 6.5 3 106.1 61.5 7.6 210.6 94.7 6.7 308.2 131.9 7.6 4 107.6 65.7 7.1 209.4 97.5 7.5 302.9 126.2 7.9 5 103.9 67.8 7.6 208.8 100.3 7.5 312.8 123.4 7.0 均值
Average105.1 64.3 7.4 207.9 97.2 7.2 308.6 127.3 7.1 变异系数/%
Coefficient of
variation1.49 3.54 5.33 1.22 1.88 5.94 1.06 2.33 7.01 1) 组别1~3的理论施肥量分别为100、200和300 g,理论施肥长度分别为60、90和120 cm
1)The theoretical fertilization amount of group 1 − 3 were 100, 200 and 300 g, and the theoretical fertilization lengths were 60, 90 and 120 cm, respectively表 7 施肥量对比及误差分析
Table 7 Comparison and error analysis of fertilization amount
组别
Group施肥量/g Fertilization amount 误差/% Error 理论
Theory仿真
Simulation实际
Field
experiment理论与实际施肥量
Fertilization amount between
theory and field experiment理论与仿真施肥量
Fertilization amount between
theory and simulation1 100 98.6 105.1 5.1 1.4 2 200 193.7 207.9 3.9 3.1 3 300 292.4 308.6 2.8 2.5 -
[1] 何丹. 合理施肥与果园土壤质量提升探讨[J]. 南方农业, 2019, 13(12): 192-193. [2] 赵凤亮, 邹刚华, 单颖, 等. 香蕉园化肥施用现状、面源污染风险及其养分综合管理措施[J]. 热带作物学报, 2020, 41(11): 2346-2352. doi: 10.3969/j.issn.1000-2561.2020.11.028 [3] 房丽萍, 孟军. 化肥施用对中国粮食产量的贡献率分析: 基于主成分回归C-D生产函数模型的实证研究[J]. 中国农学通报, 2013, 29(17): 156-160. doi: 10.11924/j.issn.1000-6850.2012-3807 [4] 赵春江, 薛绪掌, 王秀, 等. 精准农业技术体系的研究进展与展望[J]. 农业工程学报, 2003, 19(4): 7-12. doi: 10.3321/j.issn:1002-6819.2003.04.002 [5] 魏丽梅. 变量施肥机的研究意义[J]. 时代农机, 2018, 45(3): 12-13. [6] 宿宁. 精准农业变量施肥控制技术研究[D]. 合肥: 中国科学技术大学, 2016. [7] 初金哲, 庄卫东, 梁冉冉. 精准变量施肥技术发展与分析[J]. 农业机械, 2018(10): 68-71. [8] 韩英, 贾如, 唐汉. 精准变量施肥机械研究现状与发展建议[J]. 农业工程, 2019, 9(5): 1-6. doi: 10.3969/j.issn.2095-1795.2019.05.002 [9] MALEKI R M, RAMON H, De BAERDEMAEKER J, et al. A study on the time response of a soil sensor-based variable rate granular fertiliser applicator[J]. Biosystems Engineering, 2008, 100(2): 160-166. doi: 10.1016/j.biosystemseng.2008.03.007
[10] CHANG Y K, ZAMAN Q U, FAROOQUE A, et al. Sensing and control system for spot-application of granular fertilizer in wild blueberry field[J]. Precision Agriculture, 2017, 18(2): 210-223. doi: 10.1007/s11119-016-9457-6
[11] 施印炎, 陈满, 汪小旵, 等. 稻麦精准追肥机执行机构的设计与试验[J]. 华南农业大学学报, 2015, 36(6): 119-124. doi: 10.7671/j.issn.1001-411X.2015.06.019 [12] 陈满, 施印炎, 汪小旵, 等. 冬小麦双变量施肥控制策略研究[J]. 江苏农业科学, 2018, 46(11): 58-62. [13] 汪博涛, 白璐, 丁尚鹏, 等. 外槽轮排肥器关键工作参数对排肥量影响的仿真与试验研究[J]. 中国农机化学报, 2017, 38(10): 1-6. [14] 陈满, 金诚谦, 倪有亮, 等. 基于多传感器的精准变量施肥控制系统[J]. 中国农机化学报, 2018, 39(1): 56-60. [15] 张信, 李光林, 白秋薇, 等. 一种外槽轮体积自动可调的定量排肥装置设计与试验[J]. 西南大学学报(自然科学版), 2020, 42(8): 158-166. [16] 杨洲, 朱卿创, 孙健峰, 等. 基于EDEM和3D打印成型的外槽轮排肥器排肥性能研究[J]. 农机化研究, 2018, 40(5): 175-180. doi: 10.3969/j.issn.1003-188X.2018.05.032 [17] 陈雄飞, 罗锡文, 王在满, 等. 两级螺旋排肥装置的设计与试验[J]. 农业工程学报, 2015, 31(3): 10-16. doi: 10.3969/j.issn.1002-6819.2015.03.002 [18] 杨硕, 王秀, 翟长远, 等. 支持种肥监测的变量施肥系统设计与试验[J]. 农业机械学报, 2018, 49(10): 145-153. doi: 10.6041/j.issn.1000-1298.2018.10.016 [19] 袁全春, 徐丽明, 牛丛, 等. 果园有机肥深施机分层变量排肥控制系统设计与试验[J]. 农业机械学报, 2020, 51(S1): 195-202. doi: 10.6041/j.issn.1000-1298.2020.S1.022 [20] 赵硕, 宗泽, 刘刚. 基于电机驱动的定位施肥控制系统设计与试验[J]. 农业机械学报, 2019, 50(S1): 91-95. [21] 杨洲, 欧治武, 孙健峰, 等. 基于香蕉根系分布特征的变量施肥机研制[J]. 农业工程学报, 2020, 36(8): 1-10. doi: 10.11975/j.issn.1002-6819.2020.08.001 [22] 宋帅帅, 段洁利, 邹湘军, 等. 基于香蕉根系分布形态的变量排肥器参数优化与试验[J]. 农业工程学报, 2020, 36(6): 11-18. doi: 10.11975/j.issn.1002-6819.2020.06.002 [23] 黄慧德. 香蕉需肥特点与施肥技术[J]. 世界热带农业信息, 2017(6): 51-55. doi: 10.3969/j.issn.1009-1726.2017.06.030 [24] 蒙海花, 常春荣. 常规施肥条件下香蕉根系时空特征[J]. 中国南方果树, 2020, 49(2): 49-53. [25] 刘晓东, 王绪坪, 陈礼源, 等. 油菜直播机分层定量施肥装置设计与试验[J]. 农业工程学报, 2021, 37(5): 1-10. doi: 10.11975/j.issn.1002-6819.2021.05.001 [26] 曾智伟, 马旭, 曹秀龙, 等. 离散元法在农业工程研究中的应用现状和展望[J]. 农业机械学报, 2021, 52(04): 1-20. [27] 温翔宇, 袁洪方, 王刚, 等. 颗粒肥料离散元仿真摩擦因数标定方法研究[J]. 农业机械学报, 2020, 51(2): 115-122. doi: 10.6041/j.issn.1000-1298.2020.02.013 [28] 薛忠, 赵亮, 王凤花, 等. 基于离散元法的螺旋式排肥器性能模拟试验[J]. 湖南农业大学学报(自然科学版), 2019, 45(5): 548-553. [29] 袁全春, 徐丽明, 邢洁洁, 等. 机施有机肥散体颗粒离散元模型参数标定[J]. 农业工程学报, 2018, 34(18): 21-27. doi: 10.11975/j.issn.1002-6819.2018.18.003 [30] 宋少龙, 张东超, 汤智辉, 等. 基于离散元法的分层施肥靴参数优化与试验[J]. 中国农业大学学报, 2020, 25(10): 125-136.