• 《中国科学引文数据库(CSCD)》来源期刊
  • 中国科技期刊引证报告(核心版)期刊
  • 《中文核心期刊要目总览》核心期刊
  • RCCSE中国核心学术期刊

3D LiDAR感知的植物行信息提取方法与试验

赵润茂, 朱政, 陈建能, 范国帅, 王麒程, 黄培奎

赵润茂, 朱政, 陈建能, 等. 3D LiDAR感知的植物行信息提取方法与试验[J]. 华南农业大学学报, 2023, 44(4): 628-637. DOI: 10.7671/j.issn.1001-411X.202208008
引用本文: 赵润茂, 朱政, 陈建能, 等. 3D LiDAR感知的植物行信息提取方法与试验[J]. 华南农业大学学报, 2023, 44(4): 628-637. DOI: 10.7671/j.issn.1001-411X.202208008
ZHAO Runmao, ZHU Zheng, CHEN Jianneng, et al. 3D LiDAR sensing method and experiment of plant row information extraction[J]. Journal of South China Agricultural University, 2023, 44(4): 628-637. DOI: 10.7671/j.issn.1001-411X.202208008
Citation: ZHAO Runmao, ZHU Zheng, CHEN Jianneng, et al. 3D LiDAR sensing method and experiment of plant row information extraction[J]. Journal of South China Agricultural University, 2023, 44(4): 628-637. DOI: 10.7671/j.issn.1001-411X.202208008

3D LiDAR感知的植物行信息提取方法与试验

基金项目: 国家自然科学基金(52105284); 浙江理工大学科研启动基金(20022307-Y)
详细信息
    作者简介:

    赵润茂,讲师,博士,主要从事农场环境融合感知与农业机器人研究,E-mail: rmzhao@zstu.edu.cn

    通讯作者:

    陈建能,教授,博士,主要从事农业装备及其智能化研究,E-mail: jiannengchen@zstu.edu.cn

  • 中图分类号: S24;TP242

3D LiDAR sensing method and experiment of plant row information extraction

  • 摘要:
    目的 

    针对林间或冠层下等卫星信号严重遮挡的区域,提出一种面向农业机器人导航环境感知的低成本3D激光雷达(LiDAR)点云信息处理与植物行估计方法。

    方法 

    利用直通滤波器滤除感兴趣区域外的目标无关点;提出均值漂移聚类、扫描区域自适应的方法分割每棵植物主干,垂直投影主干点云估算中心点;利用最小二乘法拟合主干中心,估计植物行。分别在开阔地的仿真果园与水杉树林进行模拟试验与田间试验,以植物行向量与正东方夹角为指标,计算本研究提出的方法识别的植物行信息与GNSS卫星天线定位测得的植物行真值间的角度误差。

    结果 

    采用提出的3D LiDAR点云信息处理与植物行估计方法,模拟试验和田间试验对植物行识别误差平均值分别为0.79°和1.48°,最小值分别为0.12°和0.88°,最大值分别为1.49°和2.33°。

    结论 

    车载3D LiDAR能够有效估计水杉树植物行。该研究丰富了作物识别思路与方法,为无卫星信号覆盖区域的农业机器人无图导航提供了理论依据。

    Abstract:
    Objective 

    A low-cost 3D light detecting and ranging (LiDAR) point cloud information processing and plant row estimation method for environment perception in agricultural robot navigation is proposed for the areas where the satellite signal is seriously occluded in the forest or under the canopy.

    Method 

    First, the pass through filter was used to filter out the target irrelevant points outside the area of interest. Secondly, the methods of mean shift clustering and scanning area adaptation were proposed to segment the trunk of each plant, and the vertical projection of the trunk point cloud was used to estimate the center point. Finally, the plant rows were estimated by determing the trunk centers with the least square fitting method. The simulation experiment and field experiment were carried out in the simulated orchard and metasequoia forest in the open field. The angle between the plant row vector and the due east was used as the index. The angle error between the plant row information identified by the proposed method and the true value of the plant row measured by GNSS satellite antenna positioning was calculated.

    Result 

    Using the proposed method of 3D LiDAR point cloud information processing and plant row estimation, the average errors of plant row identification in simulation experiment and field experiment were 0.79° and 1.48°, the minimum errors were 0.12° and 0.88°, and the maximum errors were 1.49° and 2.33°, respectively.

    Conclusion 

    The vehicle-mounted 3D LiDAR can effectively estimate the plant rows of metasequoia. This research enriches the ideas and methods of crop identification, and provides a theoretical basis for the map-free navigation of agricultural robots in areas without satellite signal coverage.

  • 农业是第一产业,也是我国经济建设和社会发展的保障性产业[1-2]。作为粮食作物中最主要的种类之一,水稻在2011年的消费量已占中国人口总口粮全年消费量的55%,全国有超过60%的人口以稻米为主食[3]。随着我国人口不断增长,对水稻的需求量也不断攀升,如何快速准确地对水稻的产量进行预估变得尤为重要。传统田间水稻的估产一般采用的是有损的方法,即在大田中按面积等距或者按组平均抽样的原则,选取一些小田块作为样本,水稻收获后对其脱粒、晒干、扬净、称质量后、利用水分测定仪测定含水量,并按粕稻比例13.5%,粳稻比例14.5%来计算出最终的水稻产量[4]。稻穗是水稻重要的营养生殖器官,是谷粒着生的部位,其数量不仅与水稻产量直接相关[5],而且在水稻病虫害检测[6]、营养诊断[7]及生育期检测[8]等方面也有着十分重要的作用。过去检测稻穗主要依靠人工识别,这严重依赖于从业人员的技术经验,不仅费时费力,而且主观性较强。

    随着计算机信息技术的发展,机器视觉技术也随之飞速发展并被广泛应用到农业实际生产中。赵锋等[9]利用麦穗颜色信息去除图片中的田间背景等干扰信息,训练AdaBoost分类器对麦穗区域进行识别,对随机选择的100个样本取得了88.7%的识别准确率。范梦扬等[10]利用浅层学习方法,针对局部小范围内的田间小麦低分辨率群体图像,提取麦穗的颜色和纹理特征训练支持向量机分类器,实现对麦穗轮廓的提取和检测,通过统计麦穗茎的骨架以及有效交叉点的数量获得稻穗数量。Zhou等[11]利用主成分分析算法抽取小麦图像的颜色、纹理和边缘等代表性特征,进一步训练双支持向量机模型实现对小麦麦穗的识别,取得了79%~82%的计数准确率。Duan等[12]基于I2颜色平面的滞后阂值生成稻穗图像块,训练BP神经网络模型对图像块进行分类并计算稻穗数。Li等[13]利用Laws纹理能量特征生成麦穗图像块,训练BP神经网络模型对图像块进行分类并计算麦穗数。Olsen等[14]使用不同尺度的超像素生成田间高粱图像块,训练线性回归模型来实现计数。

    传统机器视觉识别方法计算简单、处理速度快,但存在特征设计对人工经验依赖性强、模型泛化能力弱、鲁棒性不强等问题,且对高密度种植的田间水稻,实际应用还存在一定限制。作为机器学习领域革命的代表,深度学习具有强大的自动特征提取、复杂模型构建以及图像处理能力等优势,已在多个研究领域取得了重大进展,农业应用中的快速检测和分类便是其中之一。

    李静等[15]提出了一种改进的GoogLeNet卷积神经网络对玉米螟虫害图像进行检测,识别平均准确率达96.44%。顾伟等[16]利用改进的SSD模型对群体棉籽进行识别,提高了对小物体的检测精度。周云成等[17]提出一种基于面向通道分组卷积网络的番茄主要器官实时识别模型。Koirala等[18]使用YOLO算法模型对芒果进行检测并预测产量。Tian等[19]通过改进的YOLO-v3模型检测果园中不同生长阶段的苹果。张领先等[20]提取冬小麦的麦穗、叶片和阴影3类标签图像,构建了数据集,采用梯度下降法对模型进行训练,并结合非极大值抑制进行冬小麦麦穗计数,总体识别正确率达99.6%。彭文等[21]运用深度卷积神经网络技术,对6种水稻田杂草进行识别。黄小杭等[22]对不同分辨率图像进行试验,运用K-means维度聚类及深度可分离卷积网络等方式对YOLOv2网络进行调整并对莲蓬进行检测,检测速度可以达到102.1帧/ms。彭红星等[23]采用改进的SSD深度学习神经网络对荔枝、苹果、脐橙以及皇帝柑进行识别,使用迁移学习等方式进行优化,提高了自然背景下SSD网络识别水果的泛化能力。张洋[24]提出了一种面向稻穗种粒缺陷识别的个性特征显著化规范轻量Rice-VGG16模型,识别稻穗缺陷种粒的精确度达99.51%。马志宏等[25]将稻穗充分铺开后提取稻穗枝梗的几何形态特征,并基于此与稻穗粒数建立映射关系,预测稻穗粒数的相对误差为6.72%。

    基于深度学习的农作物分类和识别方法已逐渐成为主流并取得一定的效果,然而,因水稻稻穗微小的特点,其空间信息在特征图上极易被损失,且田间场景具有较高的复杂性以及受通用目标检测算法泛化能力的约束,稻穗识别的精度下降、效果不佳,在实际应用中还存在一定的局限性。本研究通过改进YOLOv5l网络模型,引入有效通道注意力(Efficient channel attention,ECA)机制模块[26],加强对图片中待检测目标的特征提取,提出一种改进YOLOv5l的田间水稻检测模型,以期实现对水稻稻穗检测和水稻的无损估产。

    数据采集自田间,采集时间为2021年6月,采集地点为广东省植物分子育种重点实验室试验基地,在晴天利用Nikon D3300作为采集设备,镜头型号为AF-S 28-300MM F/3.5-5.6G ED VR,其有效像素为2416万,图像格式为JPEG,满足水稻图像采集的要求。如图1所示,为了提高模型的识别精度,本文在图像采集时,使用了拍摄底板辅助拍摄,即制作一块边长为0.30 m×0.25 m的纯黑色底板作为数据样本采集时的拍摄底板。图像采集时保持相机闪光灯关闭,拍摄相机与目标稻穗的距离统一固定在30 cm左右,以确保每一目标稻穗图像大小相近且清晰,最终采集到图像650幅,像素大小为6000×4000。

    图  1  原图像和数据增强后的图像
    Figure  1.  Original image and images after data augmentation

    对于多目标、小目标的图像,深度学习算法往往需要大量的图像数据才能有效地提取图像特征并分类。为了有效提升数据样本的数量、增加数据样本的多样性和数据库的大小、提升检测算法模型的精度,本文对采集到的图像数据样本进行预处理,包括数据标注和数据增强2个步骤。

    图像数据本身没有标签和语义,需要进行标注才能用于训练。本文利用LabelImg标注工具,按照PASCAL VOC标准进行稻穗谷粒的标注。因1张稻穗图片中的1株稻穗包含多粒稻谷,标注1张稻穗图片数据需要画将近90个框,耗时约10 min,故将LabelImg设置为自动保存和高级模式,可以加快人工标注单一稻穗图像的速度。

    数据增强(Data augmentation,DA)通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模,是提高目标识别算法鲁棒性的重要手段。本文采用随机长宽比裁剪、水平翻转、垂直翻转、饱和度增强、饱和度减弱、高斯模糊、灰度化、CutMix、Mosaic共9种操作,调整图像的几何形态、识别目标内容结构组成和颜色种类,随机改变训练样本,降低模型对识别目标的几何属性和颜色属性的依赖,从而提高模型的泛化能力。将原数据集扩充到原来的5倍,共得到3 250张图片,原图和数据增强后的图像效果如图1所示,并将数据集按照7∶2∶1的数量比例划分为训练集、测试集和验证集。

    作为目前最先进的目标检测算法之一,YOLOv5具有检测速度快、识别性能好、网络结构简单、使用方便等特点。其性能与YOLOv4不相伯仲,但相比DarkNet小了近90%,推理速度可以达到140帧/ms,满足实时检测的要求。YOLOv5共有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4种版本。网络结构中的Ultralytics模块通过depth_multiple和width_multiple 2个参数控制模型的深度和卷积核的数量,故4种模型检测的深度和广度有所不同。其中,YOLOv5s网络最小、速度最快、精度最低,其余3种模型相对于加深加宽网络,检测精度不断提升,但速度也随之减慢。本文试验检测目标为大田水稻稻穗,具有数量多、体积小、分布密等特点。YOLOv5l是YOLOv5系列中性能与模型大小的平衡点,它在一定程度上保持了较高的检测精度,有助于在密集场景中有效地检测目标。而且,YOLOv5I相对较小,这意味着在一些计算资源有限的设备上也可以实现高质量的目标检测,有利于后续将检测算法部署在一些边缘设备上。故本文选择YOLOv5l作为基础算法进行优化提升。

    2020年,Wang等[26]认为Hu等[27]在2019年提出的压缩激励(Squeeze excitation,SE)通道注意力机制中,降维会对通道注意力产生负面影响,故提出了有效通道注意力(Efficient channel attention, ECA)模块,从而实现不降维的跨通道交互策略。如图2所示,ECA主要由全局池化(Global average pooling,GAP)、CONVLD和SCALE 3个操作组成,GAP沿着空间维度进行特征压缩,将$ W\times H\times C $的特征输入转换为$ 1\times 1\times C $的特征输出,以获得全局信息,WHC分别表示特征的宽、高、长信息。然后利用CONVLD实现无降维的局部跨通道交互,直接获取通道与权重的相关性,再通过sigmoid函数获得归一化的权重,最后SCALE操作是将归一化后的权重通过乘法加权到每一个通道特征上,得到经过通道注意力后各通道加权的语义特征。

    图  2  ECA 流程图
    CHW分别表示特征的长、高、宽
    Figure  2.  Flow diagram of ECA
    C, H and W represents length, height and width of features, respectively

    YOLOv5l的网络结构主要由输入端(Input)、骨干网络(Backbone)、多尺度特征融合模块(Neck)和输出端(Output)4部分组成。C3层用于提取输入样本中的主要信息,增强了网络结构中的梯度值,得到更细的特征粒度,同时减少了计算量,有效提升了网络的计算能力。SPP层将上下文特征分离,使得输入主干网络的特征图尺寸不受限制,提高了网络的感受野。小目标特征信息通过多层网络结构处理后,位置信息模糊粗糙,特征信息出现不同程度的丢失。这使得网络模型出现对小目标的误检和漏检。为提高原始模型对水稻小目标稻穗的检测精度,本研究提出改进YOLOv5l网络模型,具体结构如图3所示。在骨干网络中的SPP层前置入ECA注意力机制模块,ECA通过不降维的跨通道交互增强了相关通道的特征表达并降低性能损耗,使得小目标信息更易被网络学习。

    图  3  改进YOLOv51网络总体框图
    Figure  3.  Overall block diagram of the improved YOLOv51 network

    本研究试验平台选择Windows10(64位)操作系统。CPU型号为Intel(R) Core I9-10900K,GPU型号为Nvidia GeForce RTX3090,计算机内存为24GB。测试的框架为Pytorch1.9.0,使用CUDA10.1配合CUDNN7.6.5.32运行;编程语言为Python。本研究在网络模型训练阶段,将初始学习率设置为0.0001,总迭代次数设置为300次。

    为了客观、全面地评价所提方法对田间水稻稻穗检测试验的结果,本研究采用精确率(Precision,P)、召回率(Recall,R)、平均精度(Average precision,AP)和损失函数(Loss function)等指标衡量检测效果,其中,P是指所有被标记为稻穗的物体中,稻穗正样本所占的比率;R是指测试集中所有的稻穗正样本中,被正确识别为稻穗的比例;而以P为纵坐标、R为横坐标,绘制曲线,AP即为曲线的积分。具体计算如公式(1)~(3)所示。

    $$ P=\dfrac{{\rm{TP}}}{{\rm{TP}}+{\rm{FP}}}=\dfrac{{\rm{TP}}}{{{N}}}\times 100\mathrm{{\text{%}}} \text{,} $$ (1)
    $$ R=\dfrac{{\rm{TP}}}{{\rm{TP}}+{\rm{FN}}}\times 100\mathrm{{\text{%}}} \text{,} $$ (2)
    $$ \mathrm{A}\mathrm{P}={\displaystyle\int }_{0}^{1}PR\mathrm{d}R\times 100\mathrm{{\text{%}}} \text{,} $$ (3)

    式中,TP表示稻穗被正确分类和定位的正样本个数,FP表示被标的为稻穗的负样本个数,FN为测试样本中真实的正样本数减去TP ,N为样本总数。

    损失函数用来估量模型预测值和真实值不一样的程度,其值的大小极大程度上决定了模型的性能好坏。YOLOv51采用了分类损失(clsloss)、坐标损失(giouloss)和置信度损失(objloss)来指导训练。其中,分类损失和置信度损失分别用于判断锚框与对应的标定类别是否正确和计算网络的置信度,采用二值交叉熵,具体计算如式(4)、(5)所示;坐标损失用于判断预测框与标定框之间的误差,采用giou计算方式,具体方式如式(6)所示。总损失为以上3部分损失的加权和,$ \alpha 、\beta $$ \gamma $为3类损失各自的权重,计算公式如(7)所示。

    $$ {\rm{cl{s}}}_{{\rm{loss}}}=-{\displaystyle\sum }_{i}\left[{y}_{i}\mathrm{ln}\left({\hat {y}}_{i}\right)+\left(1-{y}_{i}\right)\mathrm{ln}\left(1-{\hat {y}}_{i}\right)\right] \text{,} $$ (4)
    $$ {\rm{ob{j}}}_{{\rm{loss}}}=-{\displaystyle\sum }_{i}\left[{y}_{i}\mathrm{ln}\left({\hat {y}}_{i}\right)+\left(1-{y}_{i}\right)\mathrm{ln}\left(1-{\hat {y}}_{i}\right)\right] \text{,} $$ (5)
    $$ {\rm{gio{u}}}_{{\rm{loss}}}=-\dfrac{1}{{\displaystyle\sum }_{i}}{\displaystyle\sum }_{i}\left(1-{{\rm{giou}}}_{i}\right) \text{,} $$ (6)
    $$ {\rm{Loss}}=\alpha {\rm{cl{s}}}_{{\rm{loss}}}+\beta {\rm{ob{j}}}_{{\rm{loss}}}+\gamma {\rm{gio{u}}}_{{\rm{loss}}} 。 $$ (7)

    将ECA模块融合到网络模型的不同位置,开展试验并进行对比。分别在YOLOv5l的C3层和SPP层融入ECA注意力模块,生成3种新的基于YOLOv51的算法模型:ECA-YOLOv5l-Backbone、ECA-YOLOv5l-Neck和ECA-YOLOv5l-SPP。图4为3种ECA模块融合网络的具体位置。检测试验结果如表1所示,将ECA模块融入到SPP前的检测效果较好。分析认为,目标特征信息在Backbone的多层网络处理中逐渐粗糙并出现部分丢失,在SSP层前融入注意力机制能够使网络模型清晰关注目标的特征信息,提高检测精度。而在Neck部分,由于网络深度较大,目标的特征信息被淹没,语义信息较为粗糙,导致注意力模块无法较好地关注到目标特征。

    图  4  3种融合ECA模块的YOLOv51模型
    Figure  4.  Three YOLOv5l models incorporating ECA modules
    表  1  ECA模块融合结果对比
    Table  1.  Comparison of ECA module fusion results %
    网络模型
    Network model
    精确率
    Precision
    召回率
    Recall
    平均精度
    Average precision
    YOLOv5l90.1988.9992.02
    ECA-YOLOv5l-Backbone93.5889.5694.47
    ECA-YOLOv5l-SPP93.6390.9495.05
    ECA-YOLOv5l-Neck92.6490.4694.33
    下载: 导出CSV 
    | 显示表格

    为验证本研究提出的YOLOv5l改进方法,用原数据集针对ECA和DA开展消融试验,用于判断每个改进点的有效性。在原有模型基础上依次加入DA和ECA,模型训练过程中使用相同的参数配置。试验结果如表2所示,在引入DA后,模型性能有显著提升,平均精度提高了3.84个百分点;而在引入ECA和DA 后,模型的精确率和召回率均有所提升,平均精度提高了6.87个百分点。分析认为,引入数据提升了模型的泛化能力和鲁棒性,使得模型的检测性能有较大提升;而引入注意力机制使得模型选择性地强调信息特征,提高了其表征能力,表现为检测精度提升较为明显。

    表  2  YOLOv5l消融试验1)
    Table  2.  YOLOv51 ablation experiment %
    注意力
    机制
    ECA
    数据增强
    Data
    augmentation
    精确率
    Precision
    召回率
    Recall
    平均精度
    Average
    precision
    ××88.3284.2188.18
    ×90.1988.9992.02
    93.6390.9495.05
     1) “√”和“×”分别表示使用和未使用
     1) “√” and “×” indicates used and unused respectively
    下载: 导出CSV 
    | 显示表格

    为验证本研究提出的改进YOLOv5l算法的性能,将其与YOLOv5l、YOLOv5x和目前主流的目标检测算法Faster R-CNN、SSD比较。5种网络模型使用同样的数据集且使用同样的数据增强方法,训练方式均为随机梯度下降法(SGD),初始学习率均设置为0.0001,总迭代次数设置为300次。得到5种检测算法平均精度随迭代次数的变化曲线(图5a)、P-R曲线(图5b)和随迭代次数的损失值变化曲线(图6)。图7为ECA-YOLOv5l-SPP算法模型检测结果示例。

    图  5  不同网络模型平均精度曲线(a)和P-R曲线(b)
    Figure  5.  The average precision curves (a) and precision-recall curves (b) of different network models
    图  6  不同网络模型的损失值随迭代次数的变化曲线
    Figure  6.  Changes in the loss values of different network models with epoches
    图  7  识别结果示例
    白色框为未能准确识别的数据
    Figure  7.  Example of recognition results
    The white box is the data that cannot be accurately identified

    图5可知,平均精度均随迭代次数的增加递增并最终平缓收敛。由图6可知,5种模型损失均随迭代次数的增加递减,一开始由于初始学习率设置较大故损失下降较快,随着迭代次数增加,学习率逐渐变小,曲线逐渐平缓至最终收敛。改进YOLOv51损失最小,其次是YOLOv5x。同时,可直观地看到,改进YOLOv51的曲线面积大于其他目标检测模型的,这表明改进 YOLOv51模型具有更高的平均精度。

    表3可知,改进YOLOv51占用内存少的同时保持较高的检测率和检测精度,平均精度达95.05%,是所有模型中最高的,且内存仅为 91.9 MB,比YOLOv5x 小 45%。 此外,检测速率为 23.50帧/ms,比 Yolov5x快5.4帧/ms。

    表  3  不同网络模型检测性能对比
    Table  3.  Comparison of different networks
    网络模型
    Network
    model
    平均精度/%
    Average
    precision
    检测速率/
    (帧·ms−1)
    Detection rate
    内存/MB
    Memory
    size
    Faster R-CNN86.6511.72109.0
    SSD88.4310.83100.0
    YOLOv5l92.0215.3089.3
    YOLOv5x94.4318.09166.0
    改进 YOLOv51
    Improved YOLOv51
    95.0523.5091.9
    下载: 导出CSV 
    | 显示表格

    试验结果表明,本研究提出的网络模型减少了额外算力和内存开销,在保持较高的检测速率和检测精度的同时,占用内存资源也较少,优于原有的YOLOv5l算法和主流目标算法,可用于田间环境下的水稻稻穗精准检测。

    为解决田间水稻稻穗检测过程中要求高、精度低等问题,提出一种改进YOLOv5l的田间水稻检测算法。构建了田间水稻稻穗数据集;将ECA机制与原始YOLOv5l进行融合,对比了ECA融合网络模型不同位置的检测性能;对YOLOv5l进行ECA和DA消融试验,并与传统模型进行对比试验,主要结论如下。

    ECA使用不降维的跨通道交互策略,通过共享权重减少了模型参数,进一步提高小目标检测的精度和速度。检测目标的特征信息在经过网络多层处理后变得粗糙模糊甚至丢失,而在SSP层前融合ECA能使网络增强相关通道的特征表达,较好地关注到目标信息,从而使检测的平均精度相对于未融合网络提高了3.03个百分点。

    改进模型的平均精度比Faster R-CNN提高8.4个百分点,比SSD提高6.62个百分点。相比于YOLOv5x,改进模型的检测平均精度提高0.62个百分点,内存占用减少74.1 MB。本研究为大田环境下水稻稻穗的精准检测提供了一定的理论以及实践依据,为田间水稻无损估产奠定了基础。

    尽管本文所提出的改进算法对大田水稻稻穗具有较好的识别效果;但还存在部分未能准确识别的稻穗,这是因为在数据集构造过程中,部分稻穗因遮挡无法被准确标注,同时本次试验所用数据有限,今后将进一步提升标注准确度和完全度,并扩大图像数据集,建立更具代表性、样本特征更为丰富的大田水稻稻穗数据库。

  • 图  1   轮式机器人与传感器坐标系

    Figure  1.   Wheeled robot and sensor coordinate system

    图  2   导航坐标系与 IMU 坐标系相对位置

    Li为LiDAR测得天线中心点的极径;EFG为导航坐标系下GNSS天线位置;E'、F'、G'为IMU坐标系下GNSS天线位置;ONXNYNZN为导航坐标系;OIXIYIZI为IMU坐标系

    Figure  2.   Relative position of navigation coordinate system and IMU coordinate system

    Li is the polar diameter of the center point of the antenna measured by LiDAR; EF and G are GNSS antenna positions in the navigation coordinate system; E'F' and G' are GNSS antenna positions in the IMU coordinate system; ONXNYNZN is the navigation coordinate system; OIXIYIZI is the IMU coordinate system

    图  3   半径滤波流程图

    Figure  3.   Flow chart of radius filtering

    图  4   不同位置的LiDAR扫描植物

    Figure  4.   Scanning plants by LiDAR at different positions

    图  5   高度自适应点云分割

    h为切片高度;xminxmax分别为每层切片点云中点云在X轴方向的最大值和最小值

    Figure  5.   Highly adaptive point cloud segmentation

    h is the slice height; xmin and xmax are the minimum and maximum values of the point cloud in the X-axis direction in point cloud of each slice layer

    图  6   搭建仿真果园进行模拟试验验证提取的植物行精度

    Figure  6.   Build a simulation orchard for simulation experiments to verify the accuracy of extracted plant rows

    图  7   植物点云拟合流程

    Figure  7.   Plant point cloud fitting process

    图  8   第3组试验中模拟植物在全局坐标系下的坐标并通过最小二乘法提取植物行

    Figure  8.   The coordinates of plants in the global coordinate system are simulated and the plant rows are extracted by least square method in the third experiment

    图  9   机器人在水杉树林进行田间试验

    Figure  9.   Robots conducting field experiments in metasequoia forests

    图  10   点云数据采集与处理结果

    Figure  10.   Point cloud data collection and processing result

    表  1   模拟植物坐标GNSS测量值1)

    Table  1   GNSS measurements of simulated plant coordinates

    试验
    Test
    左侧植物行 Left plant row右侧植物行 Right plant row
    (x1, y1)(x2, y2)(x3, y3)(x4, y4)(x5, y5)(x6, y6)(x7, y7)(x7, y7)
    1 (3.528, −5.666) (4.145, −5.682) (4.797, −5.633) (5.494, −5.756) (5.424, −6.895) (4.827, −6.915) (4.054, −6.989) (3.602, −6.997)
    2 (2.091, 3.605) (2.683, 3.522) (3.312, 3.627) (3.960, 3.445) (2.062, 2.158) (2.753, 2.187) (3.253, 2.007) (3.822, 2.201)
    3 (2.126, 3.914) (2.803, 3.738) (3.447, 3.899) (4.112, 3.837) (2.258, 2.562) (2.844, 2.444) (3.532, 2.639) (4.174, 2.553)
     1)(xi, yi)为GNSS测量得到的每株模拟植物的坐标
     1)(xi, yi) is the coordinate of each simulated plant obtained by GNSS measurement
    下载: 导出CSV

    表  2   模拟试验中基于植物行与正东方的夹角判断LiDAR识别植物行精度

    Table  2   Aaccuracy evaluation of LiDAR recognition of plant rows based on the angle between the plant rows and due east in simulation experiment

    植物行
    序号
    Plant line
    number
    夹角真
    值/(°)
    True value of
    the angle
    LiDAR识别
    夹角/(°)
    Angle identified
    by LiDAR
    绝对
    误差/(°)
    Absolute
    error
    1−1.97−1.570.40
    23.554.651.10
    3−3.49−2.920.57
    4−0.40−0.520.12
    5−0.69−2.181.49
    61.600.571.03
    下载: 导出CSV

    表  3   田间试验中基于植物行与正东方的夹角判断LiDAR识别植物行精度

    Table  3   Accuracy evaluation the of LiDAR recognition of plant rows based on the angle between the plant rows and due east in field experiment

    植物行
    序号
    Plant line
    number
    夹角真
    值/(°)
    True value of
    the angle
    LiDAR识别
    夹角/(°)
    Angle identified
    by LiDAR
    绝对
    误差/(°)
    Absolute
    error
    1−0.460.921.38
    2−1.58−2.520.94
    3−0.461.872.33
    4−1.58−2.931.35
    5−0.460.420.88
    6−1.58−3.662.08
    下载: 导出CSV
  • [1] 刘建威. 中国工程院院士罗锡文在惠详解未来无人智慧农业[N/OL]. 惠州日报, 2020-11-20[2021-04-28]. https://new.qq.com/omn/20201120/20201120A023QU00.html.
    [2] 刘成良, 林洪振, 李彦明, 等. 农业装备智能控制技术研究现状与发展趋势分析[J]. 农业机械学报, 2020, 51(1): 1-18. doi: 10.6041/j.issn.1000-1298.2020.01.001
    [3] 魏爽, 李世超, 张漫, 等. 基于GNSS的农机自动导航路径搜索及转向控制[J]. 农业工程学报, 2017, 33(S1): 70-77. doi: 10.11975/j.issn.1002-6819.2017.z1.011
    [4] 王辉, 王桂民, 罗锡文, 等. 基于预瞄追踪模型的农机导航路径跟踪控制方法[J]. 农业工程学报, 2019, 35(4): 11-19. doi: 10.11975/j.issn.1002-6819.2019.04.002
    [5] 陈子文, 李伟, 张文强, 等. 基于自动Hough变换累加阈值的蔬菜作物行提取方法研究[J]. 农业工程学报, 2019, 35(22): 314-322. doi: 10.11975/j.issn.1002-6819.2019.22.037
    [6] 杨洋, 张博立, 查家翼, 等. 玉米行间导航线实时提取[J]. 农业工程学报, 2020, 36(12): 162-171. doi: 10.11975/j.issn.1002-6819.2020.12.020
    [7] 张漫, 季宇寒, 李世超, 等. 农业机械导航技术研究进展[J]. 农业机械学报, 2020, 51(4): 1-18. doi: 10.6041/j.issn.1000-1298.2020.04.001
    [8] 师小波, 赵丁选, 孔志飞, 等. 基于多传感器信息融合的车辆高精度定位技术[J]. 中国机械工程, 2022, 33(19): 2381-2387.
    [9] 徐筱龙, 徐国华. OutLand1000水下机器人的视觉定位研究[J]. 中国机械工程, 2010, 21(11): 1288-1292.
    [10] 王殿君. 双目视觉在移动机器人定位中的应用[J]. 中国机械工程, 2013, 24(9): 1155-1158. doi: 10.3969/j.issn.1004-132X.2013.09.005
    [11] 张雄楚, 陈兵旗, 李景彬, 等. 红枣收获机视觉导航路径检测[J]. 农业工程学报, 2020, 36(13): 133-140. doi: 10.11975/j.issn.1002-6819.2020.13.016
    [12] 袁鹏成, 李秋洁, 邓贤, 等. 基于LiDAR的对靶喷雾实时控制系统设计与试验[J]. 农业机械学报, 2020, 51(S1): 273-280. doi: 10.6041/j.issn.1000-1298.2020.S1.032
    [13] 赵腾. 基于激光扫描的联合收割机自动导航方法研究[D]. 杨凌: 西北农林科技大学, 2017.
    [14] 张美娜, 吕晓兰, 邱威, 等. 基于三维激光点云的靶标叶面积密度计算方法[J]. 农业机械学报, 2017, 48(11): 172-178. doi: 10.6041/j.issn.1000-1298.2017.11.021
    [15] 程曼, 蔡振江, WANG N, 等. 基于地面激光雷达的田间花生冠层高度测量系统研制[J]. 农业工程学报, 2019, 35(1): 180-187. doi: 10.11975/j.issn.1002-6819.2019.01.022
    [16] 蔡吉晨. 基于二维激光雷达的果树在线探测方法及对靶变量喷药技术研究[D]. 北京: 中国农业大学, 2018.
    [17] 薛秀云, 许旭锋, 李震, 等. 基于叶墙面积的果树施药量模型设计及试验[J]. 农业工程学报, 2020, 36(2): 16-22. doi: 10.11975/j.issn.1002-6819.2020.02.003
    [18] 侯加林, 蒲文洋, 李天华, 等. 双激光雷达温室运输机器人导航系统研制[J]. 农业工程学报, 2020, 36(14): 80-88. doi: 10.11975/j.issn.1002-6819.2020.14.010
    [19] 胡延平, 刘菲, 魏振亚, 等. 毫米波雷达与视觉传感器信息融合的车辆跟踪[J]. 中国机械工程, 2021, 32(18): 2181-2188. doi: 10.3969/j.issn.1004-132X.2021.18.006
    [20]

    ILCI V, TOTH C. High definition 3D map creation using GNSS/IMU/LiDAR sensor integration to support autonomous vehicle navigation[J]. Sensors, 2020, 20(3): 899. doi: 10.3390/s20030899

    [21]

    JAVANMARDI E, GU Y L, JAVANMARDI M, et al. Autonomous vehicle self-localization based on abstract map and multi-channel LiDAR in urban area[J]. IATSS Research, 2019, 43(1): 1-13. doi: 10.1016/j.iatssr.2018.05.001

    [22] 侯德藻, 李克强, 连小珉, 等. 新型车载探测雷达系统技术研究[J]. 中国机械工程, 2004(21): 13-16. doi: 10.3321/j.issn:1004-132X.2004.21.003
    [23] 管贤平, 刘宽, 邱白晶, 等. 基于机载三维激光扫描的大豆冠层几何参数提取[J]. 农业工程学报, 2019, 35(23): 96-103. doi: 10.11975/j.issn.1002-6819.2019.23.012
    [24]

    GUO T, FANG Y, CHENG T, et al. Detection of wheat height using optimized multi-scan mode of LiDAR during the entire growth stages[J]. Computers and Electronics in Agriculture, 2019, 165: 104959. doi: 10.1016/j.compag.2019.104959

    [25] 刘守阳, 金时超, 郭庆华, 等. 基于数字化植物表型平台(D3P)的田间小麦冠层光截获算法开发[J]. 智慧农业(中英文), 2020, 2(1): 87-98.
    [26] 陈莉. 玉米三维模型的重构及时序插值技术研究[D]. 成都: 电子科技大学, 2015.
    [27] 苏伟, 蒋坤萍, 郭浩, 等. 地基激光雷达提取大田玉米植株表型信息[J]. 农业工程学报, 2019, 35(10): 125-130. doi: 10.11975/j.issn.1002-6819.2019.10.016
    [28] 陈日强, 李长春, 杨贵军, 等. 无人机机载激光雷达提取果树单木树冠信息[J]. 农业工程学报, 2020, 36(22): 50-59. doi: 10.11975/j.issn.1002-6819.2020.22.006
    [29] 刘路, 潘艳娟, 陈志健, 等. 高遮挡环境下玉米植保机器人作物行间导航研究[J]. 农业机械学报, 2020, 51(10): 11-17. doi: 10.6041/j.issn.1000-1298.2020.10.002
    [30] 刘宽. LiDAR技术在农作物几何特征探测中的应用研究[D]. 镇江: 江苏大学, 2019.
    [31]

    GASPARINO M V, HIGUTI V A H, VELASQUEZ A E B, et al. Improved localization in a corn crop row using a rotated laser rangefinder for three-dimensional data acquisition[J]. Journal of the Brazilian Society of Mechanical Sciences and Engineering, 2020, 42(11): 592. doi: 10.1007/s40430-020-02673-z

    [32] 孙意凡, 孙建桐, 赵然, 等. 果实采摘机器人设计与导航系统性能分析[J]. 农业机械学报, 2019, 50(S1): 8-14. doi: 10.6041/j.issn.1000-1298.2019.S0.002
    [33] 史红霞, 王建民. 基于法向量区域聚类分割的点云特征线提取[J]. 中国机械工程, 2021, 32(21): 2552-2561. doi: 10.3969/j.issn.1004-132X.2021.21.004
    [34] 王庆, 车荧璞, 柴宏红, 等. 基于无人机可见光与激光雷达的甜菜株高定量评估[J]. 农业机械学报, 2021, 52(3): 178-184. doi: 10.6041/j.issn.1000-1298.2021.03.019
    [35] 张鹏鹏. 基于LiDAR数据的成熟水稻主要属性参数反演关键技术研究[D]. 镇江: 江苏大学, 2020.
    [36] 管郡智. 基于激光雷达的三维点云目标检测算法研究[D]. 杭州: 浙江科技学院, 2020.
    [37] 刘伟洪, 何雄奎, 刘亚佳, 等. 果园行间3D LiDAR导航方法[J]. 农业工程学报, 2021, 37(9): 165-174. doi: 10.11975/j.issn.1002-6819.2021.09.019
    [38] 季宇寒, 徐弘祯, 张漫, 等. 基于激光雷达的农田环境点云采集系统设计[J]. 农业机械学报, 2019, 50(S1): 1-7. doi: 10.6041/j.issn.1000-1298.2019.S0.001
  • 期刊类型引用(3)

    1. 吴冉迪,葛丽清,张付斗,申时才,杨云海,杨韶松,郑凤萍,范泽文,高家乐,徐高峰. 2种农作物对外来入侵植物空心莲子草茎节克隆繁殖与生长的影响. 中国农学通报. 2024(14): 104-111 . 百度学术
    2. 曾鲸津,刘江,王桂兰,王相权,郭嘉. 不同光照条件下空心莲子草与伴生双穗雀稗养分吸收及光合特征的比较. 生物灾害科学. 2024(03): 380-387 . 百度学术
    3. 李月华,周钰航,吴浩海,郑伟,李晓琼. 莲草直胸跳甲取食密度对空心莲子草克隆整合能力的影响. 福建农业学报. 2024(10): 1189-1197 . 百度学术

    其他类型引用(1)

图(10)  /  表(3)
计量
  • 文章访问数:  715
  • HTML全文浏览量:  9
  • PDF下载量:  16
  • 被引次数: 4
出版历程
  • 收稿日期:  2022-08-02
  • 网络出版日期:  2023-09-03
  • 发布日期:  2023-05-24
  • 刊出日期:  2023-07-09

目录

/

返回文章
返回