Development and application of vitamin C sensor with synergistic sensitization of gold nanoparticles and multi walled carbon nanotubes
-
摘要:目的
开发一种低成本、高响应的维生素C电化学传感器,用于实现果蔬中维生素C含量的快速检测。
方法通过在铅笔芯电极上修饰金纳米颗粒和多壁碳纳米管,构建具有维生素C强催化响应的MWCNTs/Au/PGE电极。通过扫描电镜、X射线光电子能谱、拉曼光谱和循环伏安法表征电极,采用差分脉冲伏安法确定电极的pH适用范围和最优pH条件。采用时间电流法建立标准曲线和方程,以实现快速检测。最后通过加标回收率法检测番茄中维生素C含量。
结果基于MWCNTs/Au/PGE电极的维生素C电化学传感器可在pH 4~8范围内准确地测定维生素C含量,在pH 5时性能最优。快速检测时检测维生素C的质量分数范围为1~500 μg/g,灵敏度达0.244 μA·(μg/g)−1·cm−2。该传感器对葡萄糖、苹果酸和柠檬酸的干扰率均小于1.77%,同一传感器多次测定的相对标准偏差为2.7%。成功检出番茄样品中的维生素C质量分数为69.42 μg/g,加标回收率为109%~113%,相对标准偏差小于2.26%。
结论MWCNTs/Au/PGE电极制备工艺简单,成本低,灵敏度高,测量范围宽,有较强的稳定性和抗干扰性,为实现快速检测果蔬中维生素C提供了新思路。
Abstract:ObjectiveA low-cost and high response electrochemical sensor for vitamin C was developed to realize the rapid detection of vitamin C content in fruits and vegetables.
MethodMWCNTs/Au/PGE electrode with strong catalytic response to vitamin C was constructed by modifying gold nanoparticles and multi walled carbon nanotubes on pencil lead electrode. The electrode was characterized by scanning electron microscopy, X-ray photoelectron spectroscopy, Raman spectroscopy and cyclic voltammetry. The application range and optimal condition of the electrode pH were determined by differential pulse voltammetry. The standard curve and equation were established by time-current method to realize rapid detection. Finally, the vitamin C content of tomato was detected by standard addition recovery method.
ResultThe vitamin C electrochemical sensor based on MWCNTs/Au/PGE electrode could accurately determine the vitamin C content in the range of pH 4–8, and its performance was the best when pH was 5. During rapid detection, the detection mass fraction range was 1–500 μg/g, sensitivity up to 0.244 μA·(μg/g)−1·cm−2. The interference rates of the sensor to glucose, malic acid and citric acid were less than 1.77%, and the relative standard deviation (RSD) measured by the same sensor for many times was 2.7%. The vitamin C content of tomato sample was 69.42 μg/g, the recovery was 109%–113%, and the RSD was less than 2.26%.
ConclusionMWCNTs/Au/PGE electrode has the advantages of simple preparation process, low cost, high sensitivity, wide measurement range, strong stability and anti-interference. It provides a new idea for the rapid detection of vitamin C in fruits and vegetables.
-
苹果作为一种常见的水果,其质量问题直接关系到消费者的健康和生产者的经济利益。我国是苹果种植大国,苹果采摘、运送、储藏与加工处理是不可忽视的关键环节[1]。然而,由于人工质检的主观性和效率低下,传统的苹果质检方式已经无法满足现代农产品质量的需求[2]。基于机器学习的苹果识别技术应运而生,该方法可以对苹果进行自动识别和分类。李大华等[3]针对自然复杂环境下的苹果重叠问题,利用谱聚类算法进行分割,然后使用随机霍夫变换实现果实的识别和定位,尽管改进后的谱聚类算法在计算量上有所优化,但仍然涉及多步骤的处理,包括均值漂移预分割、稀疏矩阵构建、K-means分类和随机霍夫变换,整体流程较为复杂,对硬件性能要求较高,不适合实时性要求较高的应用场景。王迎超等[4]为了准确快速实现多特征融合的苹果分级,提出了一种基于K-means聚类和改进多层感知器(Multilayer perception, MLP)的苹果分级方法,但特征权重的确定存在主观性,且在不同的应用场景或苹果品种中特征的重要性会有所不同,导致分级准确性下降。宋怡焕等[5]提出基于最小二乘支持向量机(LS-SVM)检测苹果果梗/花萼缺陷,试验中仅使用了 180 幅苹果图像,而训练数据的不足会导致模型的泛化能力受限,对不同环境或苹果品种的误判率较高。上述传统的机器学习算法试验设计过于繁琐,对复杂的特征提取和分类能力不佳,易受外界因素的干扰,难以获得较好的检测结果。随着深度学习技术突飞猛进,以深度学习为基础的目标检测技术在苹果果实检测[6]、病虫害监测[7]、果实成熟度[8]和农业自动化[9-10]等领域发挥着重要的作用。目前,基于深度学习的苹果检测算法依据检测的阶段划分主要有2大类:一类是要先用特征提取器生成一系列可能包含待检物体的预选框,然后利用算法对生成的候选区域进行更精细的检测和分类的两阶段算法,主要有Faster-RCNN[11]和Mask-RCNN[12]算法;另一类为直接预测物体类别和位置的一阶段检测算法,主要有RetinaNet[13]、SSD[14]和YOLO系列[15-17]。两阶段算法计算复杂度高、检测速度较慢,一阶段算法在精度上有所欠缺。两阶段算法由于包含多个阶段和较多的候选框处理,推理速度通常比单阶段算法慢,不适合实时应用。为了进一步提升模型的检测速度和准确度,Tian等[18]提出了一种名为VMF-SSD(基于V空间的多尺度特征融合SSD)的新型苹果叶片病害检测方法;Wang等[19]通过迁移学习构建YOLOv5s检测模型的同时,采用通道修剪算法对模型进行修剪及微调,以实现对苹果果实的快速准确检测。
目前,国内外目标检测领域对苹果的研究主要集中在自然环境下的苹果识别、苹果采摘机器人以及叶片病虫害识别方面。虽然已有部分研究针对缺陷苹果的检测[20-21],但仍存在上下文信息和多尺度特征融合不充分的问题。针对缺陷苹果识别,本文提出一种基于BiFPN[22]和Triplet注意力机制的YOLOv5s (BTF-YOLOv5s)缺陷苹果识别算法,通过BiFPN结合特征的上采样和下采样路径,联合跨尺度的特征交互,能够更好地传递和融合来自不同尺度的特征信息,提升目标检测性能;同时,学习动态的特征融合权重,根据不同目标的重要性进行灵活调整,增强模型的鲁棒性;在Neck层应用Triplet注意力机制,模型能更好地捕捉图像中的细节和上下文信息,提升目标检测的精度;采用Focal-CIoU调整正负样本之间的损失权重,让模型对难以分类的样本给予更多关注,提升模型的分类性能。
1. 基于BiFPN和Triplet注意力机制的YOLOv5s算法
本研究以YOLOv5s (版本6.2,包含4种不同大小的模型)为基础,网络结构由输入端、骨干网络、颈部网络和输出端4个部分组成。在输入端引入了Mosaic数据增强方法,随机选取4张图像,对它们进行随机放大、缩小等操作后,拼接成一张新的图像,使模型可以在更小的范围内识别目标;骨干网络主要使用了Focus和CSP1_X结构;颈部网络采用FPN+PAN和CSP2_X结构进一步进行特征融合和上采样操作,以提供更高级的语义信息和适应不同尺度图片的能力;输出端采用CIoU_Loss(Complete intersection over union loss)作为损失函数,并使用了非极大值抑制(Non-maximum suppression,NMS)进行后处理。本文提出了一种改进的YOLOv5s算法(BTF-YOLOv5s)用于缺陷苹果识别,首先,加权双向特征金字塔网络(Bidirectional feature pyramid network,BiFPN)替代YOLOv5中的FPN+PAN结构,通过引入可学习的权重学习不同输入特征的重要性;然后,将Triplet注意力机制应用到模型的最后一层,确保在最终输出前对特征进行充分的处理和优化;最后,采用Focal-CIoU损失函数调整损失权重给予缺陷苹果更多的关注,BTF-YOLOv5s算法结构整体框图如图1所示。
1.1 BiFPN
在目标检测任务中,有效地获取并处理不同尺度的特征信息是一个主要的挑战。传统的特征金字塔网络(FPN)[23]通过自上而下的方式聚合多尺度特征,如图2a所示,但容易受到单向信息流的限制;路径聚合网络(PANet)[24]在此基础上额外添加了一个自下向上的路径聚合网络,如图2b所示。在YOLOv5的Neck结构中,借鉴PANet的思想,高层的特征信息通过FPN+PAN结构进行传递融合。FPN+PAN结构虽然提高了特征传递的效率,但也增加了计算复杂度,尤其是在处理高分辨率输入时,可能导致较高的计算成本和较差的实时性;此外,固定结构导致对不同任务和数据缺乏自适应的能力。
为了解决上述信息流动单一、精度高但参数较多、计算量较大以及简单拼接导致的信息丢失和冗余等问题,本文提出了采用BiFPN替代YOLOv5s中的FPN+PAN结构。BiFPN在PANet和NAS-FPN(图2c)基础上优化了多尺度特征融合方式,结构如图2d所示。
传统方法在融合具有不同分辨率的特征时,平等地对待所有输入特征,并将它们简单相加。但不同分辨率的输入特征对输出特征的贡献通常是不等的。为了解决这一问题,BiFPN为每个输入特征增加了一个额外的权重,并让网络学习每个输入特征的重要性,具体见式(1)和式(2):
$$ P_6^{{\mathrm{td}}} = {\mathrm{Conv}}\left[ {\frac{{{w_1}P_6^{{\mathrm{in}}} + {w_2}{\mathrm{Reseize}}\left( {P_7^{{\mathrm{in}}}} \right)}}{{{w_1} + {w_1} + \varepsilon }}} \right], $$ (1) $$ P_6^{{\mathrm{out}}} = {\mathrm{Conv}}\left[ {\frac{{w_1^{'}P_6^{{\mathrm{in}}} + w_2^{'}P_6^{{\mathrm{td}}} + w_3^{'}{\mathrm{Reseize}}\left( {P_5^{{\mathrm{out}}}} \right)}}{{w_1^{'} + w_2^{'} + w_3^{'} + \varepsilon }}} \right], $$ (2) 式中,
$ P_6^{{\mathrm{td}}}$ 为自顶向下路径第6层的中间特征;$ P_6^{{\mathrm{in}}}$ 为第6层的输入特征; Resize用于分辨率匹配的上采样或下采样运算;$ P_6^{{\mathrm{out}}}$ 为自底向上路径第6层的输出特征。这一改进使得网络能够自适应地调整每个特征图的重要性,从而实现更有效的特征融合。引入BiFPN的YOLOv5s模型通过多尺度特征融合和简化的计算过程,有效地提升了对缺陷苹果检测的准确率;BiFPN通过引入可学习的融合权重优化了不同分辨率特征的重要性,增强了特征复用和多级特征融合路径,使得YOLOv5能够有效地检测出不同大小和形状的苹果缺陷。
1.2 Triplet注意力机制
在缺陷苹果检测任务中,模型需要准确地识别和定位图像中的目标(苹果)。图像中存在大量的背景信息以及不同大小的苹果会分散模型的注意力,使得模型难以准确地区分缺陷苹果和背景,引入注意力机制旨在提升模型对关键目标的感知能力。SENet通过简单的操作(全局平均池化和全连接层)自适应地调整特征图中每个通道的重要性,使网络更加集中地关注重要的特征信息,在低计算成本的条件下通过通道注意力机制显著提升网络的表示能力[25];CBAM将通道注意力和空间注意力相结合,能够同时关注重要的通道特征和空间位置;CBAM中的通道注意力方法虽然提供了一定的性能改进,但通道注意力和空间注意力是相互分离和计算的[26]。
Triplet 注意力机制(简称“Triplet”)以一种有效的方式解释了CBAM未考虑到的跨维度的相互作用[27]。如图3所示,Triplet由3个平行的分支构成,其中2个分支分别用来捕获通道
$C$ 维度和空间维度$ W/H $ 之间的跨通道交互,最后的一个分支用于捕获$ H $ 和$W$ 的空间依赖关系。在第1个分支中,输入张量C×H×W(通道数$C$ 、高度$H$ 和宽度$W$ )沿$H$ 轴逆时针旋转90°,形状变为$W$ ×$H$ ×$C$ ,输入特征先后经过$ Z - {\mathrm{Pool}} $ 、$ K \times K $ 的标准卷积层、批量归一化层、通过Sigmod激活函数生成空间注意力权重后、再沿H轴顺时针旋转90°保持与输入的形状一致。其中$ Z - {\mathrm{Pool}} $ 表示为:$$ Z - {\mathrm{Pool}}(\chi ) = \left[{\mathrm{Max}}{{\mathrm{Pool}}_{0{\mathrm{d}}}}(\chi ),{\mathrm{Avg}}{{\mathrm{Pool}}_{0{\mathrm{d}}}}(\chi )\right]{\text{,}} $$ (3) 式中,
$ 0{\mathrm{d}}$ 表示发生最大池化和平均池化操作的第0维度。第2、第3个分支同理,最后对3个分支输出特征进行平均后聚合在一起,最终输出的张量:
$$\begin{split} y =& \frac{1}{3}\Biggr\{ \overline {\mathop {{\chi _1}}\limits^ \wedge \sigma \left[ {{\psi _1}\left( {\mathop {\chi _1^*}\limits^ \wedge } \right)} \right]} + \overline {{{\mathop \chi \limits^ \wedge }_2}\sigma \left[ {{\psi _2}\left( {\mathop {\chi _2^*}\limits^ \wedge } \right)} \right]} + \Biggr.\\&\Biggr.\chi \sigma \left[ {{\psi _3}\left( {\mathop {{\chi _3}}\limits^ \wedge } \right)} \right] \Biggr\}{\text{,}} \end{split} $$ (4) 式中,
$ \sigma $ 代表Sigmod激活函数;$ \psi _1$ 、$ \psi _2$ 和$ \psi _3$ 表示由核大小$K$ 定义的标准二维卷积层。Triplet通过旋转操作构建各维度间的相关性,再对其进行残差变换,并以极小的计算成本对信息进行编码,在不需要太多可学习参数的前提下建立通道之间的相互依赖关系,有效地捕捉苹果图像中的关键特征。
1.3 Focal-CIoU损失函数
在机器学习任务中,常常面临数据集中不同类别的样本数量差异较大的问题,传统的交叉熵损失函数在处理样本不均衡问题时表现不佳,因为它将所有样本的重要性视为相等,继而导致模型在训练过程中更容易偏向于数量多的类别,公式如下:
$$ {\mathrm{CE}}(p,y) = {\mathrm{CE}}({P_t}) = - \ln ({P_t}) {\text{,}}$$ (5) 式中,CE是交叉熵(Cross entropy),
$p$ 代表模型预测样本属于类别1的概率(取值范围0~1),$y$ 表示样本的标签(取值为−1和1)。定义$$P_t=\left\{ \begin{array}{ll} {p}, &{{\text{当}} \; y=1{\text{时}}}\\ {1-p},& {{\text{其他}}} \end{array}\right. {\text{。}}$$ (6) 数据集中正常苹果和缺陷苹果图片数量均为1 600张左右,但标注数量略有差异,分别为4 624和2 039张。为了进一步加强模型对缺陷苹果的检测能力,引入Focal-CIoU损失函数。Focal Loss(FL)在交叉熵损失的基础上进行了改进,引入了平衡因子和聚焦因子,平衡因子用于调整正负样本之间的权重,聚焦因子用于调整难易样本间的损失权重;这样,既能调整正负样本的权重,又能控制难易分类样本的权重。FL表达式[28]为:
$$ {\mathrm{FL}}({P_t}) = - {\alpha _t}{(1 - {P_t})^\gamma }\ln ({P_t}), $$ (7) 式中,
${\alpha _t}$ 是超参数(取0.25);$ {(1 - {P_t})^\gamma } $ 是调节因子,$\gamma $ 是$ \geqslant $ 0的可调节聚焦参数(取2)。CIoU损失函数(LossCIoU)考虑边界框宽高比的尺度信息,在DIoU的基础上进行优化,计算公式[29]如下:
$$ {\mathrm{DI}}{\text{o}}{\mathrm{U}} = {\mathrm{IoU}} - \frac{{{d^2}}}{{{c^2}}}{\text{,}} $$ (8) $$ {\mathrm{Loss}}_{\mathrm{CIoU}} = {\mathrm{IoU}} - {\frac{{{\rho ^2}\left( {b,{b^{gt}}} \right)}}{{{c^2}}}^{}} - \alpha V{\text{,}} $$ (9) 式中,IoU为交并比(Intersection over Union),即“预测的边框”和“真实的边框”的交集和并集的比值;
$ d$ 为预测框与真实框中心点的长度,$ c$ 为最小外接矩形的对角线距离,$\rho $ 代表的是2个中心点之间的欧式距离,$ b、{b^{gt}} $ 分别代表了预测框和真实框的中心点,$\alpha $ 是权重函数,$V$ 用来衡量长宽比的相似度。Focal-CIoU损失函数(
${\mathrm{L}}{\text{os}}{{\text{s}}_{{\mathrm{Focal}} - {\mathrm{CIoU}}}} $ )为:$$ {\mathrm{L}}{\text{os}}{{\text{s}}_{{\mathrm{Focal}} - {\mathrm{CIoU}}}} = {\mathrm{Io}}{{\mathrm{U}}^\gamma } \times {\mathrm{Los}}{{\mathrm{s}}_{{\mathrm{CIoU}}}} {\text{。}}$$ (10) Focal-CIoU通过调整正负样本的权重和提升边界框回归精度,减少了训练过程中梯度的不稳定性,使模型更关注缺陷苹果,提高了检测性能。
2. 试验与结果分析
2.1 数据集
本研究所用数据集从百度网站和飞桨AI Studio网站上获取,这2个网站提供了丰富的图像资源,包含虫蛀、腐烂、机械损伤和褶皱共4类苹果缺陷图像(图4),数量分别为414、750、148和280张,以确保对于苹果目标的全面覆盖。数据集共
3213 张(正常苹果1621 张、缺陷苹果1592 张),训练集和验证集按照9∶1的比例划分,其中,训练集图片2 891张、验证集图片322张。为了增加数据的多样性,通过Python程序对部分数据集进行水平、垂直方向的翻转以及旋转45º操作。构建和处理数据集,确保模型在训练和验证过程中能够充分学习和适应苹果目标的多样性特征,为后续的目标检测提供数据保障。2.2 模型训练与评价指标
本试验平台基于Ubuntu 18.04.6的64位操作系统,显卡为GPU(NVIDIA GeForce RTX2080Ti),显存为12 G,使用PyTorch框架构建模型,编程语言为Python,Torch版本为1.10.1。在训练过程中,设置初始学习率为0.01、周期学习率为0.20、动量为0.937、权重衰减系数为0.000 5、批量大小为16。模型评估指标包括准确率(Precision,P)、召回率(Recall,R)、平均精确率均值(Mean average precision,mAP)和F1。TP (True positive)表示模型正确地检测出缺陷苹果的数量;TN (True negative)表示模型正确地排除正常苹果的数量;FP (False positive)表示模型错误地将正常苹果判定为缺陷苹果的数量; R指模型正确检测出的缺陷苹果(TP)占所有真正的缺陷苹果(TP + FN)的比例,表示模型对于真实缺陷苹果的检测能力;AP(Average precision)是衡量目标检测模型在不同召回率下准确性的指标,mAP是所有类别AP的平均,用来评估模型整体性能; F1综合了P和R这2个指标,能够更全面地评估模型的性能。
训练过程中损失值参数的动态变化如图5所示,随着训练轮次递增,损失值经历了急剧下降的阶段,最终趋向于0.025左右的平稳水平。训练损失和验证损失逐渐趋于拟合,意味着模型所学习的训练数据中的模式能够有效泛化到验证数据,表明该模型在面对新数据时具有优异的泛化性能。
2.3 Triplet的不同添加位置
Triplet插入YOLOv5s结构中的位置(A表示YOLOv5s-BiFPN-Triplet)主要有以下4种方式:1)在网络结构SPPF前面添加,即第9层[A+CIoU+Focal (9)];2)在网络结构最后一层添加,即第24层[A+ CIoU+Focal(24)];3)在网络结构SPPF前面和最后一层添加,即A+CIoU+Focal(9+25);4)替换Backbone中的C3模块,即A+CIoU+Focal。不同插入位置对比试验结果见表1。由表1可见,A+CIoU+Focal(24)比其他4种模型在各个方面均有不错的提升,准确率比YOLOv5s的提高了5.7个百分点,综合分析表明A+ CIoU+Focal(24)是最优的模型。
表 1 Triplet注意力机制不同插入位置的模型试验结果对比Table 1. Result comparison of Triplet attention mechanism with different insertion position% 模型1)Model P R mAP F1 YOLOv5s 75.4 83.6 86.5 79.29 A+ CIoU+Focal(9) 77.3 81 85.6 79.11 A+CIoU+Focal(9+25) 80.8 79.9 86.2 80.35 A+CIoU+Focal 75.9 85.2 87.1 80.28 A+CIoU+Focal(24) 81.1 85.8 90.0 83.38 1) A:YOLOv5s-BiFPN-Triplet,括号内数字表示Triplet插入位置。
1) The number in parentheses indicated the insertion position of Triplet.2.4 BiFPN添加不同注意力机制
以YOLOv5s-BiFPN为基础,逐步添加SE,CBAM、CA和Triplet注意力机制。SE仅考虑通道间的信息,忽略了位置信息;CBAM通过学习的方式自动获取每个特征通道和特征空间的重要程度;而CA不仅考虑通道间的关系,而且考虑方向相关的位置信息。试验结果见表2,由表2可见,BiFPN+CA在准确率和mAP方面优于BiFPN+SE和BiFPN+CBAM;Triplet注意力机制利用三分支结构能够捕获更多的关键信息,建立通道之间的相互依赖关系,试验结果也验证了BiFPN+Triplet是最优模型。
表 2 BiFPN添加不同注意力机制的模型试验结果对比Table 2. Result comparison of BiFPN with different attention mechanism% 模型Model P R mAP BiFPN+SE 76.1 83.1 87.0 BiFPN+CBAM 77.5 81.5 87.6 BiFPN+CA 78.6 81.3 88.1 BiFPN+Triplet 79.3 83.2 88.4 2.5 消融试验
为了验证各个模块的作用,以YOLOv5s为基础,进行逐步添加和替换,结果见表3。从表3中可以看出,与初始的YOLOv5s模型相比,单独添加BiFPN、Triplet或Focal-CIoU模块的模型准确率、召回率和mAP均有一定的提升。同时添加2种模块时,取得的效果更佳,添加BiFPN+Triplet的模型mPA比单独添加BiFPN的提高了0.4个百分点、准确率比单独添加Triplet的提高2.9个百分点;添加Triplet+Focal-CIoU的模型准确率和mAP比单独添加Triplet的分别提高1.1和0.3个百分点;添加BiFPN+Focal-CIoU的模型准确率和mAP比单独添加Focal-CIoU的分别提高1.7和1.0个百分点。当三者同时添加时,提高了模型对缺陷苹果的感知能力,与YOLOv5s模型相比,准确率、召回率和mAP分别提高5.7、2.2和3.5个百分点。
表 3 消融试验结果Table 3. The result of ablation test% BiFPN Triplet Focal-CIoU P R mAP 75.4 83.6 86.5 √ 80.3 84.3 88.0 √ 76.4 86.1 89.3 √ 78.4 83.0 89.8 √ √ 79.3 83.2 88.4 √ √ 77.5 84.5 89.6 √ √ 80.1 84.0 88.9 √ √ √ 81.1 85.8 90.0 为了验证Focal-CIoU损失函数的优越性,本文设计了YOLOv5s-BiFPN-Triplet+损失函数的消融试验,结果见表4。由表4可知,A+ CIoU+Focal与次优模型A+ SIoU相比,准确率提高了1个百分点、召回率和mAP提高0.2个百分点、F1提高0.62个百分点;虽然A+ WIoU的准确率与A+ CIoU+Focal相同,但召回率、mAP和F1均低于A+ CIoU+Focal。综合准确率、召回率、mAP和F1等指标, A+ CIoU+Focal是最优模型。
表 4 Focal-CIoU与其他损失函数对比Table 4. Comparison of Focal-CIoU with other loss functions% 模型1)Model P R mAP F1 A 79.3 83.2 88.4 81.20 A+ DIoU 79.1 84.8 89.2 81.85 A+ DIoU+Focal 79.4 84.3 89.6 81.78 A+ SIoU 80.1 85.6 89.8 82.76 A+ SIoU+Focal 77.9 85.3 88.5 81.43 A+ EIoU 78.7 84.3 88.7 81.40 A+ EIoU+Focal 80.7 80.0 88.1 80.35 A+ WIoU 81.1 79.4 88.2 80.24 A+CIoU+Focal 81.1 85.8 90.0 83.38 1) A:YOLOv5s-BiFPN-Triplet. 2.6 模型有效性验证
为了证明本文提出模型(BTF-YOLOv5s)的有效性,与当前主流的目标检测模型进行对比(表5)。由表5可见,与SSD相比,BTF-YOLOv5s的准确率提高了4.8个百分点、召回率和mAP分别提高了4.1和5.7个百分点,模型大小大幅度减小;与YOLOv3相比,BTF-YOLOv5s的准确率提高近10个百分点,模型小了近8倍;与YOLOv4相比,BTF-YOLOv5s虽然准确率低了3.1个百分点,但召回率和mAP分别提升近20和13个百分点,模型大小减少了17倍;与YOLOv5s、YOLOv7和YOLOv8s相比,BTF-YOLOv5s在准确率、召回率和mAP方面均有提升;YOLOv8n和YOLOv9的准确率相较于BTF-YOLOv5s各提高0.6和4.9个百分点,但二者召回率过低; F1显示BTF-YOLOv5s是最优的。综合分析,BTF-YOLOv5s显著优于大多数目标检测模型,更具有优势。图6直观地展示了SSD、YOLOv3、YOLOv5s等模型与BTF-YOLOv5s的mAP比较,在训练轮次逐步增加的过程中,BTF-YOLOv5s的mAP最终稳定在90%左右,明显优于其他模型。
表 5 BTF-YOLOv5与其他模型的对比Table 5. Comparison of BTF-YOLOv5 with other models模型
ModelP/% R/% mAP/% 模型大小/MB
Model sizeF1/% 参数
ParameterGFLOPs1) SSD 76.3 81.7 84.3 95.5 78.91 2.49×107 31.4 YOLOv3 71.8 83.8 86.5 123.5 77.34 3.30×107 78.1 YOLOv4 84.2 65.6 76.6 256.3 73.75 6.50×107 142.3 YOLOv5s 75.4 83.6 86.5 14.4 79.29 7.03×106 16.0 YOLOv7 79.6 83.1 87.1 142.1 81.31 3.72×107 105.1 YOLOv8n 81.7 76.6 87.4 6.2 79.07 3.01×106 8.2 YOLOv8s 73.6 83.0 87.2 22.5 78.02 1.11×107 28.6 YOLOv9 86.0 78.8 89.7 102.8 82.24 5.10×107 238.9 BTF-YOLOv5s 81.1 85.8 90.0 14.7 83.38 7.17×106 16.7 1) GFLOPs:每秒10亿次的浮点运算数。
1) GFLOPs: Giga floating-point operations per second.2.7 应用场景试验结果
本模型的应用场景之一即苹果采摘机器人在采摘过程中的分拣,故选择缺陷苹果所处的自然环境下的场景以及摆放不规整的场景。如图7所示,其中,第1行图像为原始图像、第2行图像为YOLOv5s检测图、第3行图像为BTF-YOLOv5s检测图;在图7的第1列中,BTF-YOLOv5s能够有效检测出正常苹果与缺陷苹果,准确率比YOLOv5s有显著提升;在第2列中对于像素更少的瑕疵斑点,YOLOv5s模型不仅出现了误检,而且准确率也低于BTF-YOLOv5s;在第3列中,BTF-YOLOv5s模型的检测效果明显优于YOLOv5s模型。
3. 结论
为了实现对瑕疵苹果的快速准确检测,本文提出基于BiFPN和Triplet注意力机制的YOLOv5s缺陷苹果识别算法。通过加权双向特征金字塔网络(BiFPN)来学习不同的输入特征;采用Triplet注意力机增强模型对目标之间的关联和上下文信息的表示能力;采用Focal-CIoU损失函数,在计算损失时调整损失权重,给予目标物体更多的关注。注意力机制的应用使模型更加关注目标,在4种位置的插入对比中,YOLOv5s网络结构最后一层的插入位置表现最为优越,与在网络结构SPPF前面和最后一层添加相比,准确率、召回率和mAP分别提高了0.3、5.9和3.8个百分点;BiFPN与SE、CBAM、CA、Triplet注意力机制两两组合,验证了BiFPN+Triplet的优越性;相较于BiFPN+CA,准确率、召回率和mAP分别提升了0.7、1.9和0.3个百分点。消融试验表明,以YOLOv5s为基础,同时添加3种模块的准确率、召回率和mAP分别提高了5.7、2.2和3.5个百分点,提升效果显著。以YOLOv5s-BiFPN-Triplet为基础,Focal-CIoU的准确率比次优损失函数SIoU高1个百分点;准确率、召回率和mAP比主流的YOLOv7算法提高了1.5、2.7和2.9个百分点,同时,模型大小从142.1 MB减小到14.7 MB,显著降低了内存占用,在计算资源受限的环境中,为部署目标检测系统提供了有力支持。YOLOv8n和YOLOv9的准确率虽略高于BTF-YOLOv5s,但均面临召回率过低的问题,而YOLOv8s的准确率只有73.6%。在应用场景的对比试验中,BTF-YOLOv5s也表现出较好的优越性。
-
图 1 电极表面纳米结构形貌和成分表征
a:Au/PGE电极电镜图;b:MWCNTs/Au/PGE电极电镜图;c、d:MWCNTs/Au/PGE电极电镜图和能谱分析;e:PGE、Au/PGE、MWCNTs/Au/PGE电极拉曼光谱分析;f:MWCNTs/Au/PGE电极XPS分析;g、h:Au 4f和C 1s的精细图谱分析
Figure 1. Nanostructure morphology and composition characterization of electrode surface
a: Electron microscope of Au/PGE electrode; b: Electron microscope of MWCNTs/Au/PGE electrode; c, d: Electron microscope and energy spectrum analysis of MWCNTs/Au/PGE electrode; e: Raman spectrum analysis of PGE, Au/PGE and MWCNTs/Au/PGE electrodes; f: XPS analysis of MWCNTs/Au/PGE electrode; g, h: Fine atlas of Au 4f and C 1s
图 2 MWCNTs/Au/PGE的电化学性能
a:不同修饰的电极在含0.1 mol/L KCl的5.0 mmol/L Fe(CN)63-/4-溶液的循环伏安图;b:不同修饰的电极在50 μg/g的维生素C标准液中的差分脉冲伏安图;c:MWCNTs/Au/PGE在50 μg/g的维生素C标准液中不同扫描速率的循环伏安图;d:MWCNTs/Au/PGE的峰值电流(Ip)与扫描速率(v)平方根的线性拟合图;图中电位以饱和Ag/AgCl电极为参考
Figure 2. Electrochemical performance of MWCNTs/Au/PGE
a: Cyclic voltammetry images of different modified electrodes in 5.0 mmol/L Fe(CN)63-/4-solution containing 0.1 mol/L KCl; b: Differential pulse voltammetry images of different modified electrodes in 50 μg/g vitamin C standard solution; c: Cyclic voltammetry images of MWCNTs/Au/PGE at different scanning rates in 50 μg/g vitamin C standard solution; d: Linear relationship between different peak currents (Ip) of MWCNTs/Au/PGE and square root of scanning rate (v); The potential in the figure is based on the saturated Ag/AgCl electrode
图 3 MWCNTs/Au/PGE在不同pH的维生素C (VC)含量梯度中的差分脉冲伏安法曲线
a~e的插图为对应pH条件下峰电流(I)与维生素C质量分数的线性关系;f:在180 μg/g维生素C溶液中不同pH条件下的峰电流变化,插图分别为pH和峰电流、pH和峰电位(V)的关系;图中电位以饱和Ag/AgCl电极为参考
Figure 3. Differential pulse voltammetry curves of MWCNTs/Au/PGE in the content gradients of vitamin C (VC) at different pH
Illustration of figure a−e: Linear relationship between peak current and vitamin C mass fraction at corresponding pH; f: Peak current variation diagram of different pH in 180 μg/g vitamin C solution, Illustration: pH and peak current diagram, relationship between pH and peak potential; The potential in the figure is based on saturated Ag/AgCl electrode
图 6 10倍稀释的鲜榨番茄汁中维生素C含量的测定过程
a:番茄鲜榨;b:番茄鲜榨后过滤;c:电极封装模具;d:电化学测试过滤稀释10倍后的番茄汁
Figure 6. Determination of vitamin C content in 10-fold diluted fresh tomato juice
a: Fresh pressed tomato juice; b: Filtered fresh pressed tomato juice; c: Electrode packaging mold; d: Electrochemical test of the filtered tomato juice diluted 10 times
表 1 加标回收率法电化学检测番茄汁维生素C含量
Table 1 Electrochemical determination of vitamin C content in tomato juice by standard addition recovery method
n=3 加标量/
(μg·g−1)
Spiked
mass fraction检测量/
(μg·g−1)
Detection
mass fraction回收率/
%
Recovery相对标准
偏差/%
Relative
standard
deviation0 6.14 2.26 5 11.64 109.95 1.68 10 17.04 109.03 0.81 20 28.77 113.16 2.00 表 2 不同方法检测番茄汁中维生素C含量
Table 2 Vitamin C content in tomato juice detected by different methods
n=3 检测方法
Test method线性方程1)
Linear equation决定系数
Determination coefficient
(R2)w(维生素C)/(μg·g−1)
vitamin C
content相对标准偏差/%
Relative standard
deviation钼蓝比色法
Molybdenum blue colorimetryy = 0.682 7x–0.013 1 0.996 6 76.91 7.63 电化学法
Electrochemical methody = 0.049 7x + 0.054 7 0.998 0 69.42 6.50 1) 钼蓝比色法线性方程中,y为光密度,x为维生素C质量浓度;电化学法线性方程中,y为电流,x为维生素C质量分数
1) In the linear equation of molybdenum blue colorimetry, y is the absorbance and x is the vitamin C content; In the linear equation of electrochemical method, y is the current value, x is the vitamin C content -
[1] 赵春江. 智慧农业的发展现状与未来展望[J]. 华南农业大学学报, 2021, 42(6): 1-7. doi: 10.7671/j.issn.1001-411X.202108039 [2] 罗锡文, 廖娟, 胡炼, 等. 我国智能农机的研究进展与无人农场的实践[J]. 华南农业大学学报, 2021, 42(6): 8-17. [3] 岳学军, 蔡雨霖, 王林惠, 等. 农情信息智能感知及解析的研究进展[J]. 华南农业大学学报, 2020, 41(6): 14-28. [4] 郭新波, 唐岳立, 孙小芬, 等. 高等植物维生素C和维生素E代谢调控[J]. 植物生理学报, 2011, 47(8): 731-744. [5] MEDINA-LOZANO I, BERTOLÍN J R, DÍAZ A. Nutritional value of commercial and traditional lettuce (Lactuca sativa L.) and wild relatives: Vitamin C and anthocyanin content[J]. Food Chemistry, 2021, 359: 129864. DOI: 10.1016/j.foodchem.2021.129864.
[6] MILADINOV Z, BALESEVIC TUBIC S, CRNOBARAC J, et al. Effects of foliar application of solutions of ascorbic acid, glycine betaine, salicylic acid on the yield and seed germination of soybean in South Eastern Europe conditions[J]. Zemdirbyste-Agriculture, 2020, 107(4): 337-344. doi: 10.13080/z-a.2020.107.043
[7] 王霞, 张维谊, 韩奕奕, 等. 高效液相色谱法测定水果和蔬菜中维生素C含量的不确定度评定[J]. 食品与机械, 2021, 37(5): 73-77. [8] PORTO I S A, SANTOS NETO J H, DOS SANTOS L O, et al. Determination of ascorbic acid in natural fruit juices using digital image colorimetry[J/OL]. Microchemical Journal, 2019, 149: 104031. [2021-11-25].https://doi.org/10.1016/j.microc.2019.104031.
[9] 张爱菊, 张小林. 荧光猝灭法测定维生素C片和果汁饮料中抗坏血酸的含量[J]. 理化检验(化学分册), 2020, 56(4): 395-399. [10] 叶青, 江志波. 酸碱滴定法与碘滴定法测定维生素C[J]. 理化检验(化学分册), 2007, 43(5): 410. [11] 温欣荣, 涂常青. 分光光度法测定水果中维生素C[J]. 化学世界, 2019, 60(1): 12-17. [12] 邱清莲, 吴斯燕, 刘光兰, 等. 含葡萄籽提取物的维生素C的测定[J]. 食品安全质量检测学报, 2018, 9(1): 39-44. [13] 李琛, 许庆铎, 边勇. 基于微流控阻抗传感器检测番茄环斑病毒[J]. 农业工程学报, 2020, 36(16): 142-148. doi: 10.11975/j.issn.1002-6819.2020.16.018 [14] 杨康兵, 赵树鑫, 李方慧, 等. 基于多壁碳/金纳米管制备电极测定烟草中14-3-3蛋白与蛋白印迹的方法比较[J]. 昆明理工大学学报(自然科学版), 2021, 46(3): 132-140. [15] 张艳, 杜海军, 杜科志, 等. 电化学传感器检测植物生长调节剂的研究进展[J]. 化学试剂, 2021, 43(4): 458-465. [16] 李庆伟, 刘峥, 李海莹, 等. 金属有机骨架材料修饰玻碳电极循环伏安法测定维生素C片中抗坏血酸[J]. 理化检验(化学分册), 2017, 53(11): 1259-1264. [17] 张巧云, 程玮玮, 张岩, 等. 纳米多孔金电化学传感器构建及其对饮品中抗坏血酸的检测[J]. 食品科学, 2021, 42(20): 274-279. [18] ALONSO-LOMILLO M A, DOMÍNGUEZ-RENEDO O, SALDAÑA-BOTÍN A, et al. Determination of ascorbic acid in serum samples by screen-printed carbon electrodes modified with gold nanoparticles[J]. Talanta, 2017, 174: 733-737. doi: 10.1016/j.talanta.2017.07.015
[19] 王晓健, 晋日亚, 乔怡娜, 等. 铅笔芯电化学传感器研究进展[J]. 应用化工, 2020, 49(1): 217-220. [20] MOHAMMAD-REZAEI R, SOROODIAN S, ESMAEILI G. Manganese oxide nanoparticles electrodeposited on graphenized pencil lead electrode as a sensitive miniaturized pH sensor[J]. Journal of Materials Science: Materials in Electronics, 2019, 30(3): 1998-2005. doi: 10.1007/s10854-018-0471-5
[21] 郑霄, 陈苏靖, 李芳芳, 等. 基于活化铅笔芯电极的扑热息痛电化学传感器[J]. 分析科学学报, 2020, 36(1): 13-18. [22] TORRINHA Á, AMORIM C G, MONTENEGRO M C B S M, et al. Biosensing based on pencil graphite electrodes[J]. Talanta, 2018, 190: 235-247. doi: 10.1016/j.talanta.2018.07.086
[23] CHEN G, ZHENG J. Non-enzymatic electrochemical sensor for nitrite based on a graphene oxide-polyaniline-Au nanoparticles nanocomposite[J/OL]. Microchemical Journal, 2021, 164: 106034. [2021-11-25]. https://doi.org/10.1016/j.microc.2021.106034.
[24] XIAO T, HUANG J, WANG D, et al. Au and Au-based nanomaterials: Synthesis and recent progress in electrochemical sensor applications[J/OL]. Talanta, 2020, 206: 120210. [2021-11-25]. https://doi.org/10.1016/j.talanta.2019.120210.
[25] KILELE J C, CHOKKAREDDY R, REDHI G G. Ultra-sensitive electrochemical sensor for fenitrothion pesticide residues in fruit samples using IL@CoFe2O4NPs@MWCNTs nanocomposite[J/OL]. Microchemical Journal, 2021, 164: 106012. [2021-11-25]. https://doi.org/10.1016/j.microc.2021.106012.
[26] NAWAZ M A H, MAJDINASAB M, LATIF U, et al. Development of a disposable electrochemical sensor for detection of cholesterol using differential pulse voltammetry[J]. Journal of Pharmaceutical and Biomedical Analysis, 2018, 159: 398-405. doi: 10.1016/j.jpba.2018.07.005
[27] NAVRATIL R, KOTZIANOVA A, HALOUZKA V, et al. Polymer lead pencil graphite as electrode material: Voltammetric, XPS and Raman study[J]. Journal of Electroanalytical Chemistry, 2016, 783: 152-160. doi: 10.1016/j.jelechem.2016.11.030
[28] LIU D, LI M, LI H, et al. Core-shell Au@Cu2O-graphene-polydopamine interdigitated microelectrode array sensor for in situ determination of salicylic acid in cucumber leaves[J/OL]. Sensors and Actuators B: Chemical, 2021, 341: 130027. [2021-11-25]. https://doi.org/10.1016/j.snb.2021.130027.
[29] LI P, LIU Z, YAN Z, et al. An Electrochemical sensor for determination of vitamin B2 and B6 based on AuNPs@PDA-RGO modified glassy carbon electrode[J]. Journal of the Electrochemical Society, 2019, 166(10): B821-B829. doi: 10.1149/2.1281910jes
[30] WU L, LU Z, YE J. Enzyme-free glucose sensor based on layer-by-layer electrode position of multilayer films of multi-walled carbon nanotubes and Cu-based metal framework modified glassy carbon electrode[J]. Biosensors Bioelectronics, 2019, 135: 45-49. doi: 10.1016/j.bios.2019.03.064
[31] SHA R, BADHULIKA S. Facile green synthesis of reduced graphene oxide/tin oxide composite for highly selective and ultra-sensitive detection of ascorbic acid[J]. Journal of Electroanalytical Chemistry, 2018, 816: 30-37. doi: 10.1016/j.jelechem.2018.03.033
[32] LI Q, HUO C, YI K, et al. Preparation of flake hexagonal BN and its application in electrochemical detection of ascorbic acid, dopamine and uric acid[J]. Sensors and Actuators B: Chemical, 2018, 260: 346-356. doi: 10.1016/j.snb.2017.12.208
[33] 龚德状, 关桦楠, 吴巧艳, 等. 基于金磁微粒模拟酶电化学增强体系检测抗坏血酸[J]. 食品科学, 2020, 41(16): 151-157. [34] DOKUR E, GORDUK O, SAHIN Y. Selective electrochemical sensing of riboflavin based on functionalized multi-walled carbon nanotube/gold nanoparticle/pencil graphite electrode [J/OL]. ECS Journal of Solid State Science and Technology, 2020, 9(12): 121003. [2021-11-25]. https://doi.org/10.1149/2162-8777/abcdff.
[35] LI H, WANG C, WANG X, et al. Disposable stainless steel-based electrochemical microsensor for in vivo determination of indole-3-acetic acid in soybean seedlings[J]. Biosensors Bioelectronics, 2019, 126: 193-199. doi: 10.1016/j.bios.2018.10.041
-
期刊类型引用(0)
其他类型引用(1)