Potato LAI estimation by fusing UAV multi-spectral and texture features
-
摘要:目的
研究融合无人机遥感影像多光谱信息和纹理特征估算马铃薯Solanum tuberosum叶面积指数(Leaf area index，LAI)方法，提高马铃薯LAI反演精度。
方法利用大疆P4M无人机采集2021年2－4月南方冬种马铃薯幼苗期、现蕾期、块茎膨大期多光谱影像，用LAI-2000冠层分析仪实测LAI数据。提取影像光谱、纹理等信息，分析植被指数、纹理特征与LAI的相关性，基于R2adj的全子集分析优选特征变量。采用主成分分析，融合光谱和纹理特征，用PCA-MLR(Principal component analysis-multiple linear regression)模型估算马铃薯LAI。
结果从幼苗期到块茎膨大期，PCA-MLR估算模型优于T-MLR(Texture multiple linear regression)和VI-MLR(Vegetation index multiple linear regression)模型，R2分别为0.73、0.59和0.66。
结论本研究提出一种估算马铃薯LAI的PCA-MLR方法，为马铃薯的长势监测和田间管理提供数据支持。
Abstract:ObjectiveDevelop a method to improve the potato (Solanum tuberosum) leaf area index (LAI) estimation accuracy using the UAV multiple spectral wavebands and texture information.
MethodThe DJI P4M drone was used to collect multispectral images of the southern winter potato at seedling period, budding period and tuber swelling period from February to April 2021. LAI data were measured by LAI-2000 canopy analyzer. The spectral and texture characteristics of images were extracted. The correlations between vegetation index, texture characteristics and LAI were analyzed. The selected characteristic variables were analyzed based on subset of adjusted R2adj. The principal component analysis was used to fuse spectrum and texture features, and the principal component analysis-multiple linear regression (PCA-MLR) model was used to estimate potato LAI.
ResultFrom the seedling period to the tuber swelling period, the PCA-MLR estimation model was better than texture multiple linear regression (T-MLR) and vegetation index multiple linear regression (VI-MLR) model, with R2 of 0.73, 0.59 and 0.66 respectively.
ConclusionThis study proposed a method of PCA-MLR to estimate the potato LAI and improve the levels of the potato growth monitoring and field management.
-
Keywords:
- UAV /
- Remote sensing /
- LAI /
- Multi-spectral /
- Texture feature /
- Potato
-
柑橘是国内生产的主要水果[1-2]。在传统柑橘果园管理过程中，存在作业效率低、管理粗放、施肥施药过量以及人员作业存在风险等问题，导致果园收益降低、农药残留污染，不利于农业经济和绿色农业的发展。智慧农业是农业信息化发展从数字化到网络化再到智能化的高级阶段[3]。智慧果园精准管控是实现果园智能化精准管理、增效减施、减少环境与人员危害的重要途径。近年来，柑橘果园智能化管理的研究主要以柑橘病虫害为研究对象，通过光谱、深度学习等技术快速获取果园病虫害信息，实现果树病虫害级别快速定量化[4-8]。在柑橘生产阶段的研究中，现有的研究主要针对柑橘果实和花，使用目标检测、语义分割等方法从模型轻量化、多尺度特征提取等多个方面改进模型，获取果实和花的准确统计数据和定位信息，为果园估产、自动采摘提供技术支持[9-12]。这些研究主要集中于果园管理中的果实识别、产量预测、常见病虫害监测等问题，关于柑橘新梢智能管理方面的研究鲜见报道。新梢作为柑橘植株的重要组成部分，在柑橘生产过程中有着极其重要的作用。健壮的秋梢将发育为结果母枝，代表着下一年的产量；而过多的夏梢会抢夺柑橘果实的营养造成果实膨胀期发育迟缓。研究表明，新梢与柑橘潜叶蛾、木虱的发生具有较强的相关性[13-14]。药物控梢作为主要的控梢方式，容易因施药不当造成果实花皮、大量落果、树体黄化、树势衰退等现象[15]。当前新梢管控多以人工巡园和种植经验为主，通过进入果园内部查看新梢抽发量和生长阶段判断新梢管控作业节点。这种方式容易受主观因素的影响存在判断偏差，而且果园面积较大时会出现生长阶段判断不准确的现象；另外，大面积果园中因不同区域的水肥或者果树长势差异导致新梢抽发情况不同，人工巡园很难兼顾果园全部区域，而且新梢一年抽发多次，人工消耗巨大，不利于大面积果园的新梢管控。因此，使用计算机视觉技术结合农业物联网对新梢图像进行识别，精准识别出各个新梢的当前生长阶段，实现自动化和智能化的新梢监测，这对于提高柑橘产量、品质以及减少劳动力消耗具有重要意义。
柑橘新梢识别难度主要在于目标颜色与植株背景颜色相近，且随着新梢生长，其形态、颜色逐渐接近正常枝叶。Li等[16]使用RGB-D相机结合YOLOV3目标检测算法检测茶叶“一尖两叶”区，对茶叶嫩芽的检测精度达到了93.1%。Xu等[17]使用YOLOV3识别图像中的茶蕾，并对识别后的区域使用DenseNet201网络进一步分类，剔除错误的识别结果，可以使整体识别分类精度提高至95.71%。袁加红等[18]采用三基色以及组合因子对图像进行灰度化处理 ，利用维纳滤波和梯度增强技术对处理的图像进行滤波去噪 ，采用大津法和迭代法分割图像获取二值图像，并基于二值化图像提取茶叶新梢的质心，获取茶叶新梢的具体位置。Fang等[19]使用坐标注意力机制(Coordinate attention, CA)以及Do-Conv卷积改进的YOLOV4-LITE对生姜嫩芽检测，确定新梢生长方向，改进后的模型识别精度达到98.73%，计算量降低至8.74 G。Scarlett等[20]提取图像中目标与其余物体的像素区分阈值，并进行图像切分，通过无监督的特征选择和聚类方法对葡萄新梢进行识别，识别精度达到86.83%，可为葡萄早期产量估计提供支持。上述研究中，针对新梢(嫩芽)的问题采用多种方法提高识别精度，但均存在对数据采集设备要求高、数据预处理要求高、方法复杂度高或者需要多次处理以及处理时间长等问题，不利于实时性要求高的农业应用和模型边缘化部署。针对新梢检测和识别的难题，为兼顾AI模型的边缘化部署和实时解析，在仅使用深度学习模型的前提下需要进一步提高模型的特征提取与区分能力。本研究在轻量化的YOLOX-Nano识别网络基础上，通过使用多种注意力机制和多元化数据集提升算法对目标与背景的区分能力，从而实现柑橘新梢智能检测和梢期的智能识别。
1. 材料与方法
1.1 数据采集与预处理
本文所需柑橘新梢图像主要采集于广东省惠州市博罗县，使用手机在距离目标20~100 cm的位置进行拍摄，包括晴天、阴天、小雨等日常自然环境情况，共获得3 000×4 000像素图片1 096张。在此基础上，加入田间摄像头和网络上的新梢图像123张，共计1 219张原始图像。通过裁剪和筛选最终获得608×608像素的有效图像1 681张。根据柑橘新梢生长管控中对抽梢量、秋梢壮梢、冬梢防冻害促转绿的实际需求，以及新梢不同生长阶段的特征，将新梢分为萌芽期、生长期和展叶期，如图1所示。使用LabelImg图像标注工具对数据集进行标注，标注数据以PASCAL VOC的格式存储在XML文件中。
为保证数据集的独立性，对数据集按照8∶1∶1比例进行训练集、验证集、测试集的切分，获得训练集图像1 345张、验证集图像168张、测试集图像168张。使用Imgaug数据扩充工具包对训练集进行扩充，扩充方法选用镜像、边缘检测、像素填充以及随机大小缩放等，并进行随机组合，通过筛选最终获得图像5 440张。
1.2 基于多注意力机制的柑橘梢期检测与识别模型
注意力机制可以使模型选择性地集中于部分信息，是模型的一种资源分配方案，可以有效地解决信息过载，同时在有效的计算资源下，使模型处理更重要的信息[21]。标准卷积中无法实现对通道的相关性进行建模，所有通道处于平等地位，造成一些重要信息表达不够明显，注意力机制在深度学习模型中重新分配了信息的权重，通过迭代训练可以使重要的信息获得较高的权重，实现网络性能的提升。在农业环境应用中容易出现小目标、局部遮挡、背景复杂等问题，引入注意力机制可以在一定程度上改进模型性能[22-24]。不同的注意力机制模块有着不同的作用，常见的通道注意力机制(Squeeze-and-excitation attention，SE)使用全局池化获得1×1×C(C为通道数)，并使用2个全连接层和1个激活函数进行非线性处理，便于处理通道间的复杂相关性，最终获得1×1×C的通道权重与特征图层匹配[25]。由于使用全局池，SE将全局信息压缩为通道权重，可以很好地确定不同通道间的重要性，但这种方式将不同通道的信息同等对待，忽略了通道内部特征的局域性。在较深位置，特征信息已被高度抽象到通道中，位置效果明显；但在网络初始阶段，特征较为具体、位置特征明显的图层中SE的作用有限。针对SE存在的缺陷，CA沿特征图层的宽、高2个维度进行池化和卷积操作，从而获得特征编码，并在通道的2个方向上进行聚合。与SE仅简单地重新分配通道的权重相比，CA可以实现沿一个空间方向捕获远程依赖关系、沿另一个空间方向保留精确位置信息，使模型更准确地定位并识别目标区域。Hou等[26]试验证明，在ImageNet分类任务和COCO目标检测任务中， CA模型的精度比SE模型分别提升了0.9%和0.8%，有效地提高了网络模型对信息的保存能力。SE 和CA的计算过程如图2所示。
![]()
图 2 通道注意力机制(SE)与坐标注意力机制(CA)的计算过程r为缩放率；C为特征图层通道数；W、H为特征图层宽、高Figure 2. Computational processes of squeeze-and-excitation attention(SE) and coordinate attention (CA)r is the reduction ratio; C is the number of feature map; W and H is the width and height of feature map, respectively本研究采用YOLOX的轻量化版本YOLOX-Nano作为基础网络，目标是实现对柑橘新梢的精准定位与梢期阶段的精准识别、实现边缘端智能和终端智能，使智能识别模型部署不依赖远程传输的果园环境。YOLOX-Nano网络仅使用超参数Depth和Width控制CSPLayer中残差块的个数以及特征图的维度，Depth取值0.33、Width取值0.25。为进一步提高模型对柑橘新梢检测的性能，本研究对YOLOX-Nano网络进行了优化改良。由于轻量化后模型的通道数量减少，对通道进行权重分配使得重要的通道作用更加明显，并保证通道保存重要的目标空间和特征信息。本文在YOLOX-Nano网络中的Focus模块、SPP模块以及PAFPN 模块分别引入了注意力机制。由于Focus模块存在于网络的头部，直接面向原始图像，图像中存在丰富的空间位置信息和特征信息，因此如何保存精确的位置信息并捕获远程依赖关系对于网络特征提取十分重要。本文结合注意力机制的特点，选用CA对Focus模块进行改进，在Focus模块对图像进行间隔采样后添加注意力模块，将原始图像中的位置信息保留到扩充通道中，使Focus网络的特征保存能力进一步增强，如图3所示。
![]()
图 3 改进后的Focus模块W、H为特征图层宽、高Figure 3. The Focus module after improvedW and H is the width and height of feature map, respectively在神经网络模型中，深层的特征图层中包含更多的语义特征，位置信息已被高度抽象化为语义信息。YOLOX-Nano在深层网络中使用SPP模块增大模型感受野，使用PAFPN模块实现特征融合，获取显著的上下文特征。由于深层网络通道主要保存抽象的语义信息，单个通道变成保存信息的独立体。因此，本研究在SPP模块和PAFPN模块使用SE对拼接后的通道重新分配通道权重，确定通道重要性。如图4和图5所示，在SPP和PAFPN模块中加入SE的位置，其中，在SPP模块添加1处SE，PAFPN模块则加入了4处SE。
1.3 多元化预训练数据集构建
Yosinski等[27]通过试验证明深度学习模型能够学习物体的通用特征，相比于参数随机初始化，预训练模型参数更加合理，在训练中能加快模型的收敛，提高模型性能；另一方面，在数据集较少的情况下，使用预训练模型对提升精度也有一定帮助。
本文的研究对象为柑橘新梢，VOC和COCO数据集中的样本主要是生活场景中的物体，这与柑橘果园场景有明显的区别，预训练提取特征存在差异。因此，在训练过程增加了在实验室研究基础上建立的果园场景图像数据集作为预训练数据集。自建的果园数据集图像背景与柑橘新梢十分相似，其中，柑橘青果、荔枝新梢与柑橘新梢具有相似特征。因此，使用其作为预训练数据集模型进行参数初始化有利于学习目标与背景间的特征差异，使模型在特征提取过程中更明显地区分目标与背景。如图6所示，数据集中主要包括桃、苹果、梨、柑橘(青果)、柑橘(黄果)、荔枝新梢等目标，对应的数据集样本分别为332、46、333、1 584、128和328张。
2. 试验验证与结果
2.1 建模环境设置
本研究使用Pytorch1.7深度学习框架，显卡为RTX3060 显存12 G，底层使用CUDA11.0作为并行计算框架。在训练策略方面，Batch Size为16，除预训练数据集对比试验外，均使用COCO预训练数据集进行迁移学习训练，对训练数据集迭代训练共80次，初始学习率为1×10−3 ，学习衰减率均为0.92。为验证模型改进的可行性以及对柑橘新梢检测和梢期识别的有效性，本研究中设计了多个对比方案：1)当前改进模型与YOLOV4-lite系列以及原版YOLOX-Nano在模型检测精度、模型参数量、模型计算量、推理时间的差异；2)不同注意力机制改进方案对柑橘新梢检测的精度、模型参数量与计算量的影响；3)使用果园数据集与使用VOC、 COCO数据集以及其他随机参数初始化方法在检测精度上的差异。
2.2 模型评价与试验对比
针对本研究中的模型目标检测与分类任务，本文选用常用的平均精度(Average precision，AP)、 各类别AP的平均值(Mean average precision，mAP)和漏检率(Miss rate，MR)对数值作为模型性能评价指标。同时考虑到本研究内容为多类别的识别与检测，为综合判断模型性能，针对MR−2评价指标进行多类别求平均，获得mMR−2。各评价指标计算如下所示：
$$ {P=}\dfrac{\text{TP}}{\text{TP}+\text{FP}}{\text{，}} $$ (1) $$ {R=}\dfrac{\text{TP}}{\text{TP}+\text{FN}}\text{，} $$ (2) $$ \text{AP=}{\displaystyle\int }_{\text{0}}^{\text{1}}{P}\left({R}\right){{\rm{d}}R}\text{，} $$ (3) $$ \text{}\text{mAP=}\dfrac{\text{1}}{{C}}\displaystyle\sum _{\text{0}}^{{C}}{{\rm{AP}}}{\text{，}} $$ (4) 式中，P为准确率，R为召回率，TP为正确检测出的样本数量，FP为误检的样本数量，FN为漏检的样本数量，C为类别数量。
MR−2用来量化MR-FPPI曲线，MR、FPPI为互斥指标，当模型检测阈值较低时，模型检测出的目标较多，漏检较少但误检增加；阈值升高时则误检降低，漏检增加，通过设置不同的检测阈值来获取MR-FPPI曲线。MR−2计算方式较为复杂，以FPPI值作为横坐标，以lg(MR)值作为纵坐标，在[0.01,1.00]的范围内随机获取9个FPPI值，获取其对应的纵坐标值并求平均值。MR−2越小表示模型性能越好，其计算过程如下所示：
$$ \text{MR}=\text{1}-{R}{\text{，}} $$ (5) $$ \text{FPPI}=\dfrac{\text{FP}}{{N}}\text{，} $$ (6) $$ {\text{MR}}^{-\text{2}}=\dfrac{\text{1}}{\text{9}}\displaystyle\sum \delta\left(\text{FPPI}\right)\text{，} $$ (7) $$ {\text{mMR}}^{-\text{2}}=\dfrac{\text{1}}{{C}}\displaystyle\sum _{0}^{{C}}{\text{MR}}^{-\text{2}}\text{，} $$ (8) 式中，MR为漏检率，FPPI为图像平均误检率，N为图片数量，
$ \delta\text{(FPPI)} $ 表示FPPI与lg(MR)的映射关系，C为类别数量。2.3 不同注意力机制组合方案对比
本文采用YOLOX-Nano作为基础对比网络，在该网络上，分别在Focus、SPP以及PAFPN模块使用不同的注意力机制组合进行改进，训练了多组对比模型，其中，Focus+CA、SPP+SE、PAFPN+SE是本文提出的最终改进方案。模型识别结果（表1和图7）表明，在相同的训练条件下，相比于不同的注意力组合方案，本文提出的在Focus中添加CA、在SPP和PAFPN中添加SE的改进方案与原始YOLOX-Nano 相比，mAP提高4.39%、mMR−2下降0.086；在萌芽期、生长期和展叶期均获得较好的识别效果，而未引入注意力机制的YOLOX-Nano则表现出梢期识别效果的差异性，因此，本文提出的注意力机制引入方案同时改善了梢期阶段识别效果的平衡性。
表 1 不同改进方案检测结果对比Table 1. Comparison of detection results using different improvement scheme方案1)Scheme 萌芽期 Germination stage 生长期 Growth stage 展叶期 Leaf-expansion stage mAP/% mMR−2 AP/% MR−2 AP/% MR−2 AP/% MR−2 1 84.88 0.37 86.67 0.41 78.77 0.46 82.44 0.413 2 86.24 0.34 82.53 0.38 80.05 0.47 82.94 0.397 3 85.00 0.36 83.71 0.39 81.38 0.42 83.03 0.390 4 87.50 0.32 82.98 0.38 83.70 0.40 84.73 0.367 5 87.96 0.30 86.84 0.32 85.90 0.36 86.83 0.327 1) 1: YOLOX-Nano; 2: Focus+SE, SPP+SE; 3: Focus+CA, SPP+CA; 4: Focus+CA, SPP+SE; 5: Focus+CA, SPP+SE, PAFPN+SE 如图8a、8b所示，YOLOX-Nano网络对边缘位置不完整的新梢存在漏检现象，而改进后的YOLOX-Nano则完整地检测出图像中的新梢目标。为更好地解释模型的性能提升，本文使用网络最终输出结果计算图像的类激活图(Class activate map，CAM)。CAM将模型的关注区域以热力图的形式可视化，图中热力值越高表明关注程度越高。如图8c、8d所示，注意力机制改进后的YOLOX-Nano实现了资源的重新分配，提高了模型对特征的提取能力，对边缘或者特征不明显的区域关注仍能有效提取特征，使目标区域的关注度提高，从而避免了目标的漏检。此外，如图9所示，改进后的YOLOX-Nano模型关注点集中于主要目标区域，避免了因特征图中类激活点分散造成的单个目标局部重复检测的问题。
![]()
图 8 YOLOX-Nano和改进后YOLOX-Nano目标漏检及类激活图Figure 8. Target omission and class activate map (CAM)of Yolox-Nano and improved Yolox-Nano![]()
图 9 YOLOX-Nano和改进后YOLOX-Nano局部重复检测结果及类激活图Figure 9. Local repeat detection and class activate map (CAM) of Yolox-Nano and improved Yolox-Nano2.4 不同网络模型的综合性能对比
为验证改进后的YOLOX-Nano网络模型的综合性能，本研究建立与YOLOV4轻量化版本的对比试验，使用Torchsummary、Torchstat工具对网络模型进行参数量和计算量分析。表2数据表明，相同训练条件下针对本研究数据集，使用注意力机制改进后的YOLOX-Nano模型参数量仅为YOLOV4- MobileNetV3的9.82%，但模型的mAP提升6.58%，mMR−2下降0.033。在仅比原版YOLOX-Nano增加0.01G计算量的情况下，模型mAP提升4.39%、mMR−2下降0.086，模型综合性能更优。对于农业应用场景，更小的参数量和更少的计算量意味着更少的部署成本，因此改进后的模型对于农业应用具有明显的优势。
表 2 不同网络模型性能对比Table 2. Performance comparison of different backbone network网络模型1)Network model 参数量/MB Parameters t/s 计算量/G FLOPs mAP/ % mMR−2 1 43.16 0.042 7.56 80.25 0.360 2 42.01 0.052 6.98 80.83 0.373 3 4.23 0.036 1.11 82.44 0.413 4 4.24 0.037 1.12 86.83 0.327 1) 1: YOLOV4-MobileNetV3; 2: YOLOV4-GhostNet; 3: YOLOX-Nano; 4: Improved YOLOX-Nano 2.5 不同预训练数据集效果对比
为使模型初始化参数更具有合理性，本文在改进模型的基础上使用果园数据集以及VOC、COCO数据集进行预训练，选取最优模型作为基准模型训练柑橘新梢数据，训练超参数同“2.1”，训练Loss曲线如图10所示。Loss曲线中3种不同预训练模型均具有明显的收敛趋势，但使用果园数据集预训练模型在收敛过程中更加平滑，波动较小，训练集与验证集收敛较为同步、合理。在模型识别精度方面如表3数据所示，使用果园数据集作为预训练数据集后，训练模型的识别精度有明显的提升，mAP比VOC和COCO数据集分别提高了2.76%和1.24%，mMR−2分别下降了0.036和0.020。
表 3 不同参数初始化方法效果对比Table 3. Effect comparison of different parameter initialization method参数初始化方法 Parameter initialization method 萌芽期 Germination stage 生长期 Growth stage 展叶期 Leaf-expansion stage mAP/% mMR−2 AP/% MR−2 AP/% MR−2 AP/% MR−2 Kaiming 初始化 Kaiming_init 41.68 0.76 46.94 0.83 36.09 0.85 41.57 0.813 正交初始化 Orthogonal_init 44.69 0.79 45.12 0.80 37.52 0.83 42.44 0.807 正态分布初始化 Normal_init 80.06 0.45 72.70 0.57 71.17 0.60 74.64 0.540 VOC数据集 VOC dataset 87.36 0.32 85.37 0.32 83.19 0.39 85.31 0.343 COCO数据集 COCO dataset 87.96 0.30 86.84 0.32 85.90 0.36 86.83 0.327 果园数据集 Orchard dataset 87.42 0.28 87.19 0.31 89.58 0.33 88.07 0.307 为揭示不同参数初始化方式对模型性能影响的内部原因，使用“2.3”中的CAM可视化技术，对不同模型的最终输出进行可视化。如图11所示，使用正态分布初始化和Kaiming初始化在关注目标特征的同时，存在对图像中的其他与目标相似区域关注的现象，而正交初始化对目标关注较弱，不利于其他复杂情况下的目标检测。比较3种预训练数据集发现， COCO和果园数据集预训练参数关注点更集中在新梢的主要部分，但是相比于果园数据集预训练参数，COCO对于新梢的关注较弱；VOC和果园数据集预训练参数均对新梢主要部分表现出较强的关注度，但VOC数据集预训练参数仅关注新梢外侧叶片，未将关注点集中在新梢主要区域；相比于随机初始化，使用预训练数据集后的训练参数可以有效地抑制对非目标区域的关注，且关注点更集中、与目标的主要部分关注值更高。
![]()
图 11 不同参数初始化方法的类激活图Figure 11. Class activate maps of different parameter initialization methods根据CAM热力图可视化数据，以模型对目标区域的关注强弱为首要评价依据、关注区域的集中程度为次要判断依据，对模型进行评价。可以得出参数初始化(mAP、mMR−2)的优先顺序为：果园数据集(88.07%、0.307)、COCO数据集(86.83%、0.327)、VOC数据集(85.31%、0.343)、正态分布初始化(74.64%、0.540)、Kaiming初始化(41.57%、0.807)、正交初始化(42.44%、0.813)，与模型的识别性能基本一致。表明预训练模型的主要作用是在训练初期保证模型具有合适的初始参数，以便提取数据的准确特征、保证网络优化的正确性。试验结果证明，使用果园数据集训练的预训练模型参数对于本研究中的新梢数据集的特征提取更为合理，最终实现训练模型最优。
由于果园数据集中包含有柑橘、荔枝、苹果等多种作物，且柑橘果实与新梢同属柑橘果园场景。因此，为验证数据集中不同作物是否有利于提升模型性能，在使用全部果园数据集预训练以外，仅使用果园数据集中的柑橘果园图像部分进行预训练，对比两者对模型的性能影响。结果(表4)表明，仅使用柑橘果园图像，对模型性能提升具有正向作用，但并未达到使用全部果园数据集的效果，mAP为87.14%，相比于使用全部果园数据集下降了0.93%。这是因为预训练数据集中图像数量的减少造成了特征多样性降低。深度学习中，数据集的大小是影响模型性能的一个主要因素，庞大的数据集包含特征更为全面，且更有利于学习和巩固当前场景下的目标与背景特征。本研究结果表明，柑橘果园场景对模型性能提升的作用较大；增加数据集的数量，有利于丰富当前场景下果园数据特征，巩固预训练过程中模型学习到的特征。
表 4 果园内部数据集效果分析Table 4. The effect analysis of orchard dataset预训练数据集 Pretrain dataset 萌芽期 Germination stage 生长期 Growth stage 展叶期 Leaf-expansion stage mAP/% mMR−2 AP/% MR−2 AP/% MR−2 AP/% MR−2 果园数据集 Orchard dataset 87.42 0.28 87.19 0.31 89.58 0.33 88.07 0.307 柑橘果园数据集 Citrus orchard dataset 89.12 0.31 85.41 0.33 86.89 0.38 87.14 0.340 柑橘果园与VOC混合数据集 Citrus orchards and VOC mixed dataset 88.36 0.33 85.98 0.33 86.61 0.34 86.98 0.330 3. 结论
本文基于智慧果园对柑橘长势智能监测的应用背景，研究了柑橘新梢检测和梢期识别的轻量型网络，并部署于果园边缘端和终端设备实现实时感知，从而指导果园进行精准化作业决策。结论如下：1)采用YOLOX-Nano作为基础网络，使用多种注意力机制改进网络的Focus模块、SPP模块以及PAFPN模块，能更有效地提取柑橘新梢的特征信息，在保证模型具有较少参数的基础上，提高了模型的识别分类精度，改进的模型对新梢检测的mAP比原模型提升了4.39%；2)通过构建多元果园预训练数据集，对模型进行迁移学习，模型更精确地区分目标与背景，mAP比VOC、COCO数据集模型分别提高了2.76%和1.24%；3)通过多个模型对比，在相同训练条件下，与YOLOV4_lite系列网络模型相比，本文提出的基于注意力机制的YOLOX-Nano神经网络的改进模型在模型的参数量、计算量以及识别精度方面更具有优势，改进后的模型参数仅为4.24 MB，降低了对部署平台的计算能力要求，为智慧果园柑橘生长精准管控提供了良好的技术支持。
-
![]()
图 1 实测LAI值的箱线图(a)和实测光谱曲线(b)
Figure 1. Box plot of the measured LAI value (a) and measured spectral curve (b)
![]()
图 3 马铃薯提取前后的马铃薯植被区域对比
Figure 3. Comparison of potato planting area before and after potato extraction
![]()
图 4 基于R2adj全子集回归优选的光谱特征重要度
Figure 4. Importance of spectral features based on R2adj full subset regression optimization
![]()
图 5 基于R2adj全子集回归优选的纹理特征重要度
b1、b2、b3、b4和b5分别代表蓝、绿、红、红边、近红外波段
Figure 5. Importance of texture features based on R2adj full subset regression optimization
b1, b2, b3, b4 and b5 represent blue, green, red, red edge and near-infrared bands respectively
![]()
图 7 马铃薯各生育期LAI预测值与实测值
Figure 7. Estimated and measured values of LAI of potato at different growth stages
表 1 大疆P4M多光谱相机波段信息
Table 1 Band information of DJI P4M multispectral camera
波段 Band 中心波长/nm Center wavelength 波长宽度/nm Wavelength width 蓝波段 Blue band 450 32 绿波段 Green band 560 32 红波段 Red band 650 32 红边波段 Red edge band 730 32 近红外波段 Near-infrared band 840 52 
下载: 导出CSV
表 2 多光谱植被指数
Table 2 Multispectral vegetation index
植被指数 Vegetation index 计算公式1) Calculating formula 文献来源 Literature source NDVI NDVI= (NIR−Red)/ (NIR−Red) [15] GNDVI GNDVI=(NIR−Green)/ (NIR−Green) [16] NDRE NDRE=(NIR−Rededge)/ (NIR+Rededge) [17] LCI LCI=(NIR−Rededge)/ (NIR+Red) [18] OSAVI OSAVI=(NIR−Red)/ (NIR+Red+0.16) [19] DVI DVI=NIR−Red [20] DVI_GRE DVI_GRE=NIR−Green DVI_EDG DVI_EDG=NIR−Rededge RVI RVI=NIR/Red [21] RVI_GRE RVI_GRE=NIR/Green RVI_EDG RVI_EDG=NIR/Rededge RDVI RDVI=(NDVI)1/2 [22] RDVI_GRE RDVI=(GNDVI)1/2 RDVI_EDG RDVI_EDG=(NDRE)1/2 G G=Green R R=Red EDG EDG=Rededge NIR NIR=NIR 1) Green、Red、Rededge和NIR分别表示绿、红、红边及近红外波段反射率 1) Green, Red, Rededge and NIR represent the reflectance of green, red, red edge and near-infrared bands respectively
下载: 导出CSV
表 3 光谱特征与LAI的相关系数绝对值
Table 3 Absolute value of correlation coefficient between spectral feature and LAI
植被指数 Vegetation index 幼苗期 Seedling period 现蕾期 Budding period 块茎膨大期 Tuber swelling period Green 0.49 0.46 0.30 Red 0.73 0.58 0.64 Rededge 0.30 0.48 0.15 NIR 0.43 0.61 0.24 NDVI 0.77 0.76 0.73 GNDVI 0.66 0.70 0.65 NDRE 0.53 0.63 0.30 OSAVI 0.69 0.70 0.66 LCI 0.58 0.66 0.33 RVI 0.76 0.79 0.73 RVI_GRE 0.54 0.64 0.54 RVI_EDG 0.67 0.74 0.24 DVI 0.54 0.64 0.35 DVI_GRE 0.50 0.65 0.32 GVI_REDED 0.51 0.70 0.30 RDVI 0.77 0.76 0.73 RDVI_GRE 0.66 0.69 0.54 RDVI_EDG 0.52 0.62 0.30
下载: 导出CSV
表 4 纹理特征与LAI的相关系数绝对值(|r|)
Table 4 Absolute value of correlation coefficient (|r|) between texture feature and LAI
生育期 Growth period 纹理特征1)Texture feature |r| 幼苗期 Seedling period b1_Contr 0.57 b1_Hom 0.63 b2_Cor 0.58 b2_Mean 0.42 b3_Dis 0.55 b3_En 0.44 b3_Mean 0.30 b3_Var 0.38 b4_Cor 0.56 b5_Mean 0.56 现蕾期 Budding period b1_Contr 0.53 b1_En 0.50 b1_Mean 0.36 b2_Cor 0.46 b2_Con 0.57 b2_Dis 0.52 b2_En 0.65 b3_Mean 0.49 b4_Cor 0.62 b5_Mean 0.54 块茎膨大期 Tuber swelling period b1_Mean 0.63 b2_Var 0.24 b3_Com 0.53 b3_En 0.47 b3_Hom 0.43 b3_Sm 0.62 b3_Mean 0.69 b4_Hom 0.63 b5_Mean 0.45 b5_Hom 0.53 1)b1、b2、b3、b4和b5分别代表蓝、绿、红、红边、近红外波段 1) b1, b2, b3, b4 and b5 represent blue, green, red, red edge and near-infrared bands respectively
下载: 导出CSV
表 5 马铃薯各生育期LAI估算建模比较1)
Table 5 Comparison of LAI estimation modeling for potatoes at different growth stages
生育期 Growth Period 自变量 Independent variable 建模方式 Modeling method R2 R2adj RMSE 优化的回归模型 Optimized regression model 幼苗期 Seedling period RDVI、 RVI_GRE、 Red、 RDVI_EDG、 GVI_EDG、 LCI GNDVI VI-MLR 0.647 0.587 0.490 b2_Hom、b2_Dis、 b1_Mean、b3_Contr T-MLR 0.637 0.581 0.511 PC1、PC2、PC3、PC4、PC5、PC6 PCA-MLR 0.739 0.674 0.426 LAI=PC6×4.16+PC4×0.27+ PC2×0.89−PC1×0.19− PC3×3.06−PC5×3.17+0.9 现蕾期 Budding period RDVI、NDRE、LCI、GNDVI、Green VI-MLR 0.483 0.470 0.571 b3_Mean、b4_Cor、b5_Mean T-MLR 0.465 0.417 0.609 PC1、PC2、PC3 PCA-MLR 0.592 0.558 0.542 LAI=PC3×1.17−PC2×0.84− PC1×0.11+0.34 块茎膨大期 Tuber swelling period NDVI、OSAVI、RVI_EDG、LCI、NIR、GNDVI VI-MLR 0.608 0.539 0.540 b3_Mean、b5_Mean、b5_Hom、 b3_Hom、b3_En、b1_Mean T-MLR 0.594 0.561 0.536 PC1、PC2、PC3、PC4 PCA-MLR 0.659 0.592 0.432 LAI=PC1×0.53+PC2×0.26− PC3×0.72−PC4×0.15−0.08 1)PC1~PC6表示对应的主成分 1)PC1−PC6 represent the corresponding principal components respectively
下载: 导出CSV
表 6 施肥试验各处理地块LAI统计结果
Table 6 Statistical results of LAI of each treatment plot in fertilization experiment
施肥试验类型 Type of ferilization experiment 处理 Treatment 幼苗期 Seedling period 现蕾期 Budding period 块茎膨大期 Tuber swelling period 肥料联合筛选试验 Fertilizer joint screening experiment 常用有机肥+常规化肥 Commonly used organic fertilizer + conventional chemical fertilizer 2.90 4.95 5.67 生命源黄腐酸生物有机肥+缓释高钾肥 Life source fulvic acid bio-organic fertilizer + slow-release high potassium fertilizer 2.91 5.08 5.63 沃尔田生物有机肥+缓释高钾肥 Waltian bio-organic fertilizer + slow-release high potassium fertilizer 2.99 5.05 5.46 沃尔田生物有机肥 Waltian bio-organic fertilizer 2.82 4.78 5.00 不施肥 No fertilization 2.81 4.61 4.75 生命源黄腐酸生物有机肥 Life source fulvic acid bio-organic fertilizer 2.88 4.79 4.72 均值 Mean 2.89 4.88 5.21 氮肥分期施用试验 Nitrogen fertilizer application experiment by stages 25%基肥+75%追肥 25% basic fertilization+75% additional fertilization 1.37 4.09 4.68 50%基肥+50%追肥 50% basic fertilization+50% additional fertilization 1.36 4.12 4.40 100%基肥+无追肥 100% basic fertilization+no additional fertilization 1.36 4.11 4.44 不施肥 No fertilization 1.33 4.03 4.25 无基肥+100%追肥 No basic fertilization+100% additional fertilization 1.55 4.24 4.69 75%基肥+25%追肥 75% basic fertilization+25% additional fertilization 1.45 4.16 4.92 均值 Mean 1.4 4.13 4.56
下载: 导出CSV
-
[1] 卢肖平. 马铃薯主粮化战略的意义、瓶颈与政策建议[J]. 华中农业大学学报(社会科学版), 2015(3): 1-7. doi: 10.13300/j.cnki.hnwkxb.2015.03.001 [2] LUO S, HE Y, LI Q, et al. Nondestructive estimation of potato yield using relative variables derived from multi-period LAI and hyperspectral data based on weighted growth stage[J]. Plant Methods, 2020, 16(1): 150. doi: 10.1186/s13007-020-00693-3.
[3] 常好雪, 蔡晓斌, 陈晓玲, 等. 基于实测光谱的植被指数对水稻叶面积指数的响应特征分析[J]. 光谱学与光谱分析, 2018, 38(1): 205-211. [4] 孙越, 顾祝军, 李栋梁. 无人机与卫星影像的叶面积指数遥感反演研究[J]. 测绘科学, 2021, 46(2): 106-112. doi: 10.16251/j.cnki.1009-2307.2021.02.016 [5] 李月, 何宏昌, 王晓飞, 等. 农作物冠层光谱分析及反演技术综述[J]. 测绘通报, 2019(9): 13-17. doi: 10.13474/j.cnki.11-2246.2019.0277 [6] HUNT E R, HIVELY W D, FUJIKAWA S J, et al. Acquisition of NIR-green-blue digital photographs from unmanned aircraft for crop monitoring[J]. Remote Sensing, 2010, 2(1): 290-305. doi: 10.3390/rs2010290
[7] KAMAL M, SIDIK F, PRANANDA A R A, et al. Mapping leaf area index of restored mangroves using WorldView-2 imagery in Perancak Estuary, Bali, Indonesia[J]. Remote Sensing Applications: Society and Environment, 2021, 23: 100567. doi: 10.1016/j.rsase.2021.100567.
[8] 宋开山, 张柏, 王宗明, 等. 基于人工神经网络的大豆叶面积高光谱反演研究[J]. 中国农业科学, 2006, 39(6): 1138-1145. doi: 10.3321/j.issn:0578-1752.2006.06.007 [9] 刘畅, 杨贵军, 李振海, 等. 融合无人机光谱信息与纹理信息的冬小麦生物量估测[J]. 中国农业科学, 2018, 51(16): 3060-3073. doi: 10.3864/j.issn.0578-1752.2018.16.003 [10] 陈鹏, 冯海宽, 李长春, 等. 无人机影像光谱和纹理融合信息估算马铃薯叶片叶绿素含量[J]. 农业工程学报, 2019, 35(11): 63-74. doi: 10.11975/j.issn.1002-6819.2019.11.008 [11] 杨福芹, 冯海宽, 肖天豪, 等. 融合无人机影像光谱与纹理特征的冬小麦氮营养指数估算[J]. 农业现代化研究, 2020, 41(4): 718-726. doi: 10.13872/j.1000-0275.2020.0061 [12] RYU C, SUGURI M, UMEDA M. Multivariate analysis of nitrogen content for rice at the heading stage using reflectance of airborne hyperspectral remote sensing[J]. Field Crops Research, 2011, 122(3): 214-224. doi: 10.1016/j.fcr.2011.03.013
[13] 刘昌华, 王哲, 陈志超等. 基于无人机遥感影像的冬小麦氮素监测[J]. 农业机械学报, 2018, 49(6): 207-214. doi: 10.6041/j.issn.1000-1298.2018.06.024 [14] YUE J, YANG G, TIAN Q, et al. Estimate of winter-wheat above-ground biomass based on UAV ultrahigh-ground-resolution image textures and vegetation indices[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150: 226-244. doi: 10.1016/j.isprsjprs.2019.02.022
[15] TANAKA S, KAWAMURA K, MAKI M, et al. Spectral index for quantifying leaf area index of winter wheat by field hyperspectral measurements: A case study in Gifu prefecture, central Japan[J]. Remote Sensing, 2015, 7(5): 5329-5346. doi: 10.3390/rs70505329
[16] 王来刚, 徐建华, 贺佳, 等. 基于无人机遥感的玉米叶面积指数与产量估算[J]. 玉米科学, 2020, 28(6): 88-93. doi: 10.13597/j.cnki.maize.science.20200613 [17] ZHANG J, WANG C, YANG C, et al. Assessing the effect of real spatial resolution of in situ UAV multispectral images on seedling rapeseed growth monitoring[J]. Remote Sensing, 2020, 12(7): 1207. doi: 10.3390/rs12071207.
[18] 李宗南. 冬小麦长势遥感监测指标研究[D]. 北京: 中国农业科学院, 2010. [19] LIANG L, DI L, ZHANG L, et al. Estimation of crop LAI using hyperspectral vegetation indices and a hybrid inversion method[J]. Remote Sensing of Environment, 2015, 165: 123-134. doi: 10.1016/j.rse.2015.04.032
[20] 夏天, 吴文斌, 周清波, 等. 冬小麦叶面积指数高光谱遥感反演方法对比[J]. 农业工程学报, 2013, 29(3): 139-147. [21] 姚雄, 余坤勇, 刘健. 基于无人机多光谱遥感的马尾松林叶面积指数估测[J]. 农业机械学报, 2021, 52(7): 213-221. doi: 10.6041/j.issn.1000-1298.2021.07.022 [22] ROUJEAN J L, BREON F M. Estimating PAR absorbed by vegetation from bidirectional reflectance measurements[J]. Remote Sensing of Environment, 1995, 51(3): 375-384. doi: 10.1016/0034-4257(94)00114-3
[23] 周岑岑. 马铃薯生育期及形态建成的模拟研究[D]. 武汉: 华中农业大学, 2015. -
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数:
- HTML全文浏览量: 0
- PDF下载量:
- 被引次数: 1
