• 《中国科学引文数据库(CSCD)》来源期刊
  • 中国科技期刊引证报告(核心版)期刊
  • 《中文核心期刊要目总览》核心期刊
  • RCCSE中国核心学术期刊

甘蔗整秆立式收获集捆装置多刚体动力学仿真与试验

徐凤英, 夏腾飞, 刘庆庭, 邹小平, 陈震, 罗菊川

徐凤英, 夏腾飞, 刘庆庭, 等. 甘蔗整秆立式收获集捆装置多刚体动力学仿真与试验[J]. 华南农业大学学报, 2025, 46(1): 124-132. DOI: 10.7671/j.issn.1001-411X.202401022
引用本文: 徐凤英, 夏腾飞, 刘庆庭, 等. 甘蔗整秆立式收获集捆装置多刚体动力学仿真与试验[J]. 华南农业大学学报, 2025, 46(1): 124-132. DOI: 10.7671/j.issn.1001-411X.202401022
XU Fengying, XIA Tengfei, LIU Qingting, et al. Multi-body dynamics simulation and experiment of pre-baling device for vertical harvesting of whole-stalk sugarcane[J]. Journal of South China Agricultural University, 2025, 46(1): 124-132. DOI: 10.7671/j.issn.1001-411X.202401022
Citation: XU Fengying, XIA Tengfei, LIU Qingting, et al. Multi-body dynamics simulation and experiment of pre-baling device for vertical harvesting of whole-stalk sugarcane[J]. Journal of South China Agricultural University, 2025, 46(1): 124-132. DOI: 10.7671/j.issn.1001-411X.202401022

甘蔗整秆立式收获集捆装置多刚体动力学仿真与试验

基金项目: 国家重点研发计划(2020YFD1000605); 国家糖料产业技术体系建设专项资金(CARS-170402)
详细信息
    作者简介:

    徐凤英,教授,博士,主要从事农业机械装备研究,E-mail: xu_fy@scau.edu.cn

    通讯作者:

    刘庆庭,教授,博士,主要从事甘蔗机械化和作物学研究,E-mail: qingting@scau.edu.cn

  • 中图分类号: S225.53

Multi-body dynamics simulation and experiment of pre-baling device for vertical harvesting of whole-stalk sugarcane

  • 摘要:
    目的 

    解决甘蔗整秆立式收获缺乏集捆装置,导致甘蔗收获机体型大、难于在复杂地形有序集捆问题。

    方法 

    设计了一种用于直立甘蔗整秆立式收获的集捆装置;基于多刚体动力学分析,采用仿真试验和台架试验分别考察了甘蔗整秆在不同控制因素(下转指高度和转速)组合模式下的作业指标与性能(甘蔗质心高度、集捆成功率)。

    结果 

    下转指高度和转速均显著影响甘蔗整秆的集捆成功率(P<0.05),台架试验与仿真试验的结果基本一致。在18个集捆模式中,下转指高度为400 mm、转速为30 r/min模式的集捆成功率100%,集捆过程中甘蔗整秆质心高度呈V型动态,作业安全性最高,推荐作为优选模式。

    结论 

    研制的甘蔗整秆立式集捆装置空间结构紧凑、集捆成功率高,可适应广大丘陵山区复杂地形条件下的甘蔗高效收获;揭示的集捆过程机制对研制甘蔗整秆联合收获机械有广泛的参考价值。

    Abstract:
    Objective 

    This article aims to address the challenges of upright sugarcane harvesting, specifically the lack of bundling mechanisms, which leads to large harvester sizes and difficulties in orderly collecting sugarcane on complex terrain.

    Method 

    A pre-baling device for vertical harvesting of whole-stalk sugarcane growing uprightly was designed. Based on multi-body dynamics analysis, simulation and bench test were used to quantify the pre-baling performance (centroid height of sugarcane and success rate of pre-baling) with different controlling factors (the height and rotational speed of the lower rotating finger).

    Result 

    Both the height and rotational speed of the lower rotating finger significantly affected the success rate of pre-baling (P<0.05), and the results of the bench test were basically consistent with the simulation results. Among the 18 pre-baling modes, the mode with the 400 mm height of the lower rotating finger and 300 r/min rotational speed achieved a 100% pre-baling success rate. During the pre-baling process, the centroid height of sugarcane showed a V-shaped dynamic, and the highest operational safety was achieved. This mode was recommended as the preferred mode.

    Conclusion 

    With a compact structure and high pre-baling success rate, the vertical pre-baling device designed by this study can fill the harvesting requirement of sugarcanes growing on hillside areas with complicated terrain conditions. The pre-baling mechanism explored by this study has wide reference value for design of combined sugarcane harvester.

  • 柑橘是全球广泛种植的经济作物,其经济价值不仅体现在果实,还包括果实深加工得到的产品(如果汁、果酱等)[1-2]。在果园管理中,传统二维图像识别方法无法精确感知果实的空间分布和实际尺寸[3],导致自动化采摘的效率低下和无法准确进行估产。通过三维重建技术,能够精确获取果树的空间结构[4],为进一步的果实分割和分析提供数据支持[5]。而点云分割技术则能够从复杂背景中准确提取果实,为后续的果实计数、质量控制或产量预测提供基础。这些技术的应用不仅显著减少了人力成本,还为精准农业中的自动化处理奠定了基础[6-9]

    果树三维重建是果实空间信息获取的重要基础[10],传统的三维重建方法主要包括基于几何推理和基于点云2大类[11]。基于几何推理的建模方法依赖多视角图像,通过结构化运动(Structure from motion, SfM)[12]和多视角立体视觉(Multi view stereo, MVS)[13]等技术重建三维模型。Dong等[14]利用SfM和MVS技术成功实现了果树三维重建与参数估计。Li等[15]提出了基于Matting-SfM的改进算法,通过电动转盘旋转物体,提升了建模精度。这类方法在果树三维重建中具有一定优势,但容易受到光照、遮挡和果树动态变化特性的影响,模型准确度不足。此外,高分辨率图像增加了计算资源的需求,低分辨率图像则可能丢失细节,限制模型的精确度。基于点云的建模方法依靠激光雷达等深度传感器直接获取果树的三维点云数据,这类方法对光照变化和遮挡具备更高的鲁棒性。Gené-Mola等[16]使用车载激光雷达对果树进行扫描,成功获取了高精度的点云数据。Chakraborty等[17]利用3D雷达结合IMU实现了苹果树和葡萄藤的精准建模。然而,点云建模也存在不足,主要是点云数据存在的噪声和稀疏性导致模型精度下降;且果实相对较小,难以通过激光雷达准确还原果实的空间位置和形状;同时,激光雷达设备价格较高,增加了应用成本[18-21]

    近年来,基于深度学习的三维重建方法备受关注。其中,神经辐射场(Neural radiance field, NeRF)技术是一种新颖的隐式三维表示方法,通过神经网络学习场景的几何结构和外观,并使用体渲染实现高质量的新视角合成[22]。NeRF在三维重建领域取得了显著的成果,但尚未被广泛应用于果树场景。Adamkiewicz等[23]将NeRF用于机器人导航,展示了其在不同环境中的适用性。Shen等[24]提出了基于NeRF的非视线成像技术,实现了复杂场景的三维重建。Hong等[25]开发了Inspection-Nerf,用于大坝表面检查,显示了NeRF在工业检测中的潜力。Gao等[26]提出的MPS-NeRF实现了从多视角图像生成高保真三维人体模型。Deng等[27]提出了FoV-NeRF,通过聚焦渲染优化了虚拟现实中的视点合成效果。NeRF的主要优势为高质量的视角合成能力、对复杂场景和动态场景的适应性以及高精度的重建表现。将NeRF引入果树的三维重建任务中,可以有效解决传统方法在复杂环境下的局限性,提供更高精度、语义丰富的三维点云模型,为精准农业中的自动化处理提供更强大的技术支持。

    如何准确分割果实点云是本研究的关键。近年来,基于深度学习的三维点云分割方法引起了广泛关注。PointNet[28]及其变体PointNet++[29]是最早的经典方法,能够高效处理点云数据,但在大规模场景中效率较低。PointRCNN[30]通过直接生成候选区域提高了检测精度,但开销较大。PV-RCNN[31]结合点云和体素的优点,提升了检测效果,但网络结构复杂、训练过程繁琐。VoteNet[32]采用投票机制适应复杂三维环境,但在处理稀疏点云时精度下降。作为一种轻量级网络,RandLA-Net[33]通过随机采样和局部特征聚合,显著提升了计算效率,并能在大规模场景中保持高精度,尤其适用于资源有限的环境和果实点云分割任务。本研究基于RandLA-Net的优势,并对其进行改进,增加双边增强模块,以便更好地捕捉果实的局部几何特征和全局空间关系。此外,还采用了更适合果实点云分割的损失函数,进一步提升网络的分割精度和鲁棒性,使其能够在复杂的果树点云中更准确地检测和分割果实,同时保持较高的计算效率。

    本研究旨在解决复杂果园环境下的果实精准分割的问题。通过引入NeRF进行高质量三维建模,并结合改进的RandLA-Net进行语义分割,以期能够有效提升果实点云的分割精度和效率,从而为果园自动化管理提供新的技术支持。

    研究地点位于中国广东省肇庆市四会市黄田镇柑橘园(23°36'N, 112°68'E),如图1所示,本研究选取的40棵柑橘树年龄相近,生长环境条件良好,且还未进行果实收获,试验于2024年1月进行。此时的柑橘正处于成熟期,该阶段的主要任务为果实采摘。

    图  1  研究区域
    Figure  1.  Study area

    使用OAK-D-PRO相机在离果树树干约2 m、离地约1.5 m的位置对果树进行环绕拍摄录制果树的RGB视频。数据采集在室外自然光条件下进行,本次采集包含处于成熟期且未进行收获作业的40棵柑橘果树的RGB视频。录制视频分辨率为1920×1080,帧率为30帧/s。为了方便后续的三维重建工作,本研究从视频里每2帧图片提取出1帧来作为数据集。OAK-D-PRO相机的具体参数如表1所示。

    表  1  相机参数表
    Table  1.  Camera parameter table
    相机
    Camera
    视场角/(°)
    Field of view (FOV)
    分辨率
    Resolution
    最大帧率/(帧·s−1)
    Max frame rate
    焦距/mm
    Focal distance
    光圈/%
    Aperture
    镜头尺寸
    Lens size
    像素/(µm×µm)
    Pixel
    对角
    Diagonal
    水平
    Horizontal
    垂直
    Vertical
    RGB 78 66 54 12(4032×3040) 60 4.81 1.8±5 1/2.3” 1.55×1.55
    OAK-D-PRO 82 72 50 1(1280×800) 120 2.35 2.0±5 1/4” 3×3
    下载: 导出CSV 
    | 显示表格

    基于NeRF对果树进行三维重建。在进行三维重建之前,需要使用Colmap来计算相机的位姿,Colmap支持自动化的特征提取、匹配、增量式结构从SfM以及稠密重建等功能,能够在不依赖特定硬件的情况下,生成高精度的三维模型[34]。Colmap首先对每张输入图像提取尺度不变特征变换(Scale-invariant feature transform, SIFT)特征点,通过基于FLANN(Fast library for approximate nearest neighbors)的近邻匹配算法进行特征匹配,并使用(随机抽样一致性Random sample consensus, RANSAC)算法剔除错误匹配点获得可靠的匹配对。在此基础上,算法选择最佳的初始图像并利用五点算法估计相对位姿。接着通过增量式SfM方法,利用PnP算法逐步计算其他图像的位姿,最后使用光束平差法(Bundle adjustment, BA)进行全局优化,得到准确的相机位姿参数[35],相机位姿如图2所示。

    图  2  相机位姿
    Figure  2.  Camera pose

    获取相机的位置和姿态信息后,将这些数据与对应的RGB图像一起输入到NeRF模型中,NeRF网络结构如图3所示。NeRF通过对场景进行密集采样,并使用多层感知机(Multi-layer perceptron, MLP)来预测每个位置的体积密度和视角依赖的辐射率,从而实现从新视角生成高质量图像的能力。

    图  3  NeRF网络结构
    FC layer:全连接层;OutPut layer:输出层。
    Figure  3.  NeRF network structure
    FC: Fully connected layer; OutPut layer: Output layer.

    在NeRF处理的最终阶段,模型输出用于构建果树的详细点云图。这些点云图不仅捕捉了果树与果实的几何结构和颜色信息,还能反映出树体的复杂纹理和枝杈分布,为后续的农业应用如果实成熟度判断,果实自动化采摘、果树的自动化修剪和健康监测提供精确的三维数据。

    图4可以看出,通过Colmap和NeRF的结合,本研究能够实现对果树的精确三维重建。此外,该方法为使用非侵入性方式获取果树三维结构数据提供了一种新的技术途径,具有推广到其他植物或复杂场景的潜力。

    图  4  果树实际RGB图像与重建结果对比
    Figure  4.  Comparison between actual RGB image of fruit trees and reconstructed result

    完成三维重建后,使用CloudCompare软件对生成的点云数据进行处理。CloudCompare是一款强大的三维点云处理软件,能够对点云数据进行精细的分割和标签化。在本研究中,CloudCompare使用步骤如下:使用CloudCompare的分割工具对果树的点云数据进行手动分割,将果实从整体点云中分离出来。此过程通过视觉检查和手动选取果实部分的点云完成,确保果实点云的准确分割;在成功分割出果实点云后,对点云数据进行标签化处理。每个果实点云均被赋予标签,以便在后续的数据分析和处理中能够进行准确地识别和使用。本试验一共重建了35棵果树,包含560个果实,按照果树所处的种植行对数据进行划分,将1~6行的果树数据分别划分为6个子集。通过上述步骤,构建一个包含精确果实点云的高质量数据集。该数据集不仅保留了果树整体结构的信息,还提供了详细的果实点云数据,为后续的果实检测与分析提供了坚实的数据基础。

    RandLA-Net是一种专为大规模点云语义分割设计的端到端的神经网络。它通过编码和解码结构,并利用跳跃连接(Skip Connection)和MLP作为基本单元,显著提高了点云处理的效率。RandLA-Net 依赖于随机采样(Random sampling,RS)原则和局部特征聚合(Local feature aggregation,LFA)模块,实现高效的点云语义分割。

    在处理大规模点云时,RandLA-Net不需要额外的预处理或后处理步骤,极大地减少了内存消耗,使得大规模点云可以快速分割。在编码阶段,通过局部特征聚合算法,每一层点的特征得以丰富和学习,并通过随机采样减少点云的规模。在解码阶段,使用线性插值和 K 近邻算法(KNN)获取最近点进行上采样,并通过跳跃连接将编码端的特征叠加,然后输入共享的 MLP 进行特征维度的缩减。最后通过若干全连接层进行分类预测。RandLA-Net的具体结构图见图5

    图  5  RandLA-Net的结构
    N代表输入点的数量,din代表每个点的特征维度,n_classes代表点的种类数,数字代表特征的通道数。FC、LFA、RS、MLP、US分别表示全连接层、局部特征聚合、随机采样、多层感知器、上采样。
    Figure  5.  Structure of RandLA-Net
    N represents the number of input points, din represents the Characteristic dimension of each point, n_classes represents the number of point categories, numbers represent the feature channel dimensions. FC, LFA, RS, MLP and US stand for fully connected layer, local feature aggregation, random sampling, multi-layer perceptron, and upsampling, respectively.

    RandLA-Net网络在进行局部空间编码后,简单地把点的几何信息进行融合,然而对于大部分数据来说,数据里还可能包括大量的语义信息如点的颜色、反射强度、类别标签等,会造成网络并不能充分利用并学习到点之间的差异,从而使网络性能下降。果实点云的分割需要高度精确地区分果实与周围的环境,这在高密度植被中尤具挑战性。果实通常体积较小且与其他植物部件在空间上紧密相连,这使得普通的点云处理网络难以准确分割。为了解决这个问题,本研究设计了一个双边增强模块(Bilateral enhancement module, BEM),提高网络在捕捉一些复杂结构,特别是在形状不规则的果树环境里的特征的能力。BEM通过邻域查找、局部上下文提取、双边偏移估计、上下文增强和混合局部特征步骤实现特征增强,具体操作如下。

    首先,对于每个点$ i $,使用KNN找到其邻域点集合$ N({p}_{i} $):

    $$ N({p}_{i}=\{{p}_{j}|{p}_{j}\in \mathrm{k}-\mathrm{N}\mathrm{N}\left({p}_{i}\right)\} \text{,} $$ (1)

    式中,$ i $为当前处理的点,$ j $为点$ i $的邻域点。

    局部上下文提取公式如下所示:

    $$ {G}_{{\psi }\mathrm{}}\left({p}_{i}\right)=\left\{{{\boldsymbol{p}}}_{{\boldsymbol{j}}}-{{\boldsymbol{p}}}_{{\boldsymbol{i}}}|{p}_{j}\in N\left({p}_{i}\right)\right\} \text{,} $$ (2)
    $$ {G}_{\mathrm{\phi }\mathrm{}}\left({f}_{i}\right)=\left\{{{\boldsymbol{f}}}_{{\boldsymbol{j}}}-{{\boldsymbol{f}}}_{{\boldsymbol{i}}}|{p}_{j}\in N\left({f}_{i}\right)\right\} \text{,} $$ (3)

    式中,$ {G}_{\mathrm{\psi }\mathrm{}}\left({p}_{i}\right) $为点$ i $的局部几何上下文, $ {G}_{\mathrm{\phi }\mathrm{}}\left({f}_{i}\right) $为点$ i $的局部语义上下文, $ {{\boldsymbol{p}}}_{{\boldsymbol{j}}}-{{\boldsymbol{p}}}_{{\boldsymbol{i}}} $为邻域点$ j $相对于点$ i $的位移向量, $ {{\boldsymbol{f}}}_{{\boldsymbol{j}}}-{{\boldsymbol{f}}}_{{\boldsymbol{i}}} $为邻域点$ j $相对于点$ i $的特征向量差。

    通过MLP对局部几何和语义上下文进行处理,估计出邻域点和特征的偏移量,计算公式如下所示。

    $$ \mathrm{\Delta }{p}_{j}={{\mathrm{MLP}}}_{{\mathrm{geo}}}\left[{G}_{\mathrm{\phi }\mathrm{}}\left({f}_{i}\right)\right] \text{,} $$ (4)
    $$ {\widetilde{p}_{j}}={p}_{j}+\mathrm{\Delta }{p}_{j} \text{,} $$ (5)
    $$ \mathrm{\Delta }{f}_{j}={{\mathrm{MLP}}}_{{\mathrm{sem}}}\left[{G}_{\mathrm{\psi }\mathrm{}}\left({p}_{i}\right)\right] \text{,} $$ (6)
    $$ {\widetilde{f}_{j}}={f}_{j}+\mathrm{\Delta }{f}_{j} \text{,} $$ (7)

    式中,$ \mathrm{\Delta }{p}_{j} $$ \mathrm{\Delta }{f}_{j} $为估计的邻域点$ j $的几何偏移和语义偏移, $ {{\mathrm{MLP}}}_{{\mathrm{geo}}} $$ {{\mathrm{MLP}}}_{{\mathrm{sem}}} $为MLP网络,用于估计几何偏移和语义偏移, $ {\widetilde{p}_{j}} $$ {\widetilde{f}_{j}} $是邻域点$ j $增强后的几何特征与语义特征。

    将增强后的几何和语义特征拼接起来,形成增强后的局部上下文($ {\widetilde{G}_{i}} $)。

    $$ {\widetilde{G}_{i}}={{\mathrm{MLP}}}_{{\mathrm{fusion}}}\left({\widetilde{p}_{j}}\oplus {\widetilde{f}_{j}}\right){\text{,}} $$ (8)

    式中,$ {{\mathrm{MLP}}}_{{\mathrm{fusion}}} $用于融合几何和语义特征,$ \oplus $是拼接操作,将增强后的几何和语义特征拼接在一起。

    对增强后的局部上下文信息进行聚合,形成最终的点特征表示($ {s}_{i} $)。

    $$ {s}_{i}=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left[{max}_{j\in \mathrm{N}\left(\mathrm{i}\right)}\left({\widetilde{G}_{i}}\right),{{\mathrm{mean}}}_{j\in \mathrm{N}\left(\mathrm{i}\right)}\left({\widetilde{G}_{i}}\right)\right]{\text{,}} $$ (9)

    式中,concat代表拼接操作,max代表对增强后的局部上下文$ {\widetilde{G}_{i}} $进行最大池化,mean代表对增强后的局部上下文$ {\widetilde{G}_{i}} $进行加权平均。

    在自制的果树数据集中,本研究的分割目标果实点云的占比很小,约占总点云数量的8%,为了应对数据集中存在的类不平衡问题,即不同的标签样本数量可能存在明显差距,RandLA-Net采用的损失函数是加权交叉熵损失函数(Weighted cross-entropy loss, WCEL),此外,本研究引入焦点损失(Focal loss, FL)与戴斯损失(Dice loss, DL)。加权交叉熵损失函数是在标准交叉熵损失函数的基础上,对不同类别分配不同的权重,以应对类别不平衡的问题。其定义如下:

    $$ {L}_{\mathrm{W}\mathrm{C}\mathrm{E}}=-{\sum }_{i=1}^{N}{w}_{{y}_{i}}\left[{y}_{i}\mathrm{lg}\left(\widehat{{y}_{i}}\right)+\left(1-{y}_{i}\right)\mathrm{lg}\left(1-\widehat{{y}_{i}}\right)\right] \text{,} $$ (10)

    式中, $ {y}_{i} $是第$ i $个样本的真实标签,取值为0或1。$ \widehat{{y}_{i}} $是第$ i $个样本被预测为正类的概率,$ {w}_{{y}_{i}} $是与第$ i $个样本真实标签对应的权重,N是样本的总数。

    焦点损失是为了处理类别极度不平衡问题而设计的,它在标准交叉熵损失的基础上增加了1个调制因子,以减少易分类样本的权重。其定义如下:

    $$ {L}_{{\mathrm{F}}}=-{\sum }_{i=1}^{N}\alpha {\left(1-\widehat{{y}_{i}}\right)}^{\gamma }{y}_{i}\mathrm{lg}\left(\widehat{{y}_{i}}\right) \text{,} $$ (11)

    式中, α是平衡因子,用于平衡正负样本,$ \gamma $是调制因子,控制难易样本的权重,通常取值为 [0, 5] 。

    戴斯损失主要用于分割任务,它基于戴斯系数设计,能够有效处理类别不平衡和预测不稳定的问题。其定义如下:

    $$ {L}_{{\mathrm{D}}}=1-\frac{2{\displaystyle\sum }_{i=1}^{N}{y}_{i}\widehat{{y}_{i}}}{{\displaystyle\sum }_{i=1}^{N}{y}_{i}+{\displaystyle\sum }_{i=1}^{N}\widehat{{y}_{i}}} 。 $$ (12)

    本研究使用自制的果树数据集来评估所提出的方法。在单个GeForce RTX3090GPU上进行训练,项目使用Linux系统和TensorFlow2.60框架实现。在训练过程中,将数据集其中的1个子集作为验证集,剩余的5个子集作为训练集进行模型训练,并计算模型在验证集上的表现。此过程重复6次,每次选择1个不同的子集作为验证集。最终,模型的性能通过6次验证试验的平均值来衡量。这种方法可以有效地减少模型评估中因数据划分带来的随机性,从而提供更加稳定和可靠的性能估计。在本研究中,模型训练采用了以下超参数设置:训练轮数(Epochs)设为100;批次大小(Batch size)为6;优化器(Optimizer)选用Adam;学习率(Learning rate)设定为0.01;学习率衰减系数(lr_decay)为0.95;K近邻(KNN)参数设为16。

    采用平均分类准确率(Mean accuracy, mAcc)、总体分类准确率(Overall accuracy, OA)、交并比(Intersection over union, IoU)和平均交并比(Mean intersection over union, mIoU) 4个指标来评价模型在自制数据集上的性能。IoU表示预测区域与真实区域的交集与并集的比值,mIoU则是所有类别IoU的平均值。计算公式如下。

    $$ \mathrm{m}\mathrm{A}\mathrm{c}\mathrm{c}=\frac{1}{N}{\sum }_{i=1}^{N}{A}_{i} \text{,} $$ (13)
    $$ \mathrm{O}\mathrm{A}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}} \text{,} $$ (14)
    $$ \mathrm{m}\mathrm{I}\mathrm{o}\mathrm{U}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}} \text{,} $$ (15)

    式中,$ {A}_{i} $表示第i类的准确率,N为类别总数,TP为真阳性(True positive),TN为真阴性(True negative),FP为假阳性(False positive),FN为假阴性(False negative)。

    以RandLA-Net网络为基准网络,在网络的编码器层后面加入双边增强模块。这样能最低程度增加模型的复杂程度,从而处理高层次的全局特征,提升全局特征的表达能力。为了直观地体现双边增强模块的有效性,在相同的试验条件下使用RandLA-Net与增加了双边增强模块的RandLA-Net对自建的果树数据集进行分割,得到的结果如表2所示,与基准网络RandLA-Net相比,加入BEM的RandLA-Net在各项评估指标上均有所提升。具体而言,mAcc提高了1.33个百分点,mIoU提高了2.64个百分点,特别是在果实这一类别的IoU上,性能提升更为显著,达到了4.8个百分点,OA也有小幅提升,从96.3%增加到96.5%。这些结果充分证明加入BEM的模型在保持整体性能的同时重点加强了对关键目标的识别能力,这对果实点云的分割任务来说尤为重要。值得注意的是,在2个模型训练过程中的每批次耗时几乎相当,即使加入BEM会给网络增加新的计算量,但耗时比基准网络平均少2.52ms。BEM引入的流动性和更新机制,使得优化过程更加高效,从而略微减少了每个批次的训练时间。

    表  2  BEM对模型性能的影响
    Table  2.  Influence of BFM on model performance
    模型 Model mAcc/% mIoU/% OA/% $ \mathrm{I}\mathrm{o}{\mathrm{U}}_{\mathrm{f}\mathrm{r}\mathrm{u}\mathrm{i}\mathrm{t}} $/% t/ms
    RandLA-Net 87.45 85.24 96.3 74.76 228.64
    RandLA-Net+BEM 88.78 87.88 96.5 79.56 226.12
    下载: 导出CSV 
    | 显示表格

    试验结果表明,BEM不仅显著提升了模型的分割性能,特别是对关键类别果实的分割能力,且并未增加额外的计算负担。这种性能的提升和计算效率的优化,使得改进后的模型更适用于实际应用场景中的果树点云分割任务。

    为解决点云数据中类别比例不平衡的问题,本研究探讨了不同损失函数对分割性能的影响。以使用WCEL的RandLA-Net+BEM为基准网络,对比使用FL、DL以及FL+DL组合。试验结果如表3所示,不同的损失函数对模型的分割性能产生了显著影响,尤其是在关键指标果实IoU上。基准网络采用的WCEL通过为不同类别分配不同权重来平衡类别差异,在所有指标上都取得了较好的表现。FL虽通过自适应调整样本权重来增强对少数类别的学习能力,但由于类别不平衡问题与空间分布特征相关,其性能略低于基准网络。单独使用DL时性能最差,果实IoU仅为65.79%,这主要是因为在处理样本数量差异大的点云数据时,其梯度优化不稳定,难以有效学习类别特征。FL+DL组合在果实分割任务中表现最为出色,果实IoU达到82.09%,相比基准网络提升了2.53个百分点,同时获得了最高的mIoU(88.76%),比基准网络提升了0.88个百分点,表明该组合不仅增强了模型对样本较少目标的分割性能,还提升了整体分割性能。各损失函数在背景类别的IoU上的表现均比较优越(93.27%~96.21%),表明模型在样本目标较多时能保持分割性能的稳定。FL+DL组合的优异表现可归因于其互补性,FL通过动态调整样本权重有效缓解了类别不平衡问题,而DL则专注于提高整体分割准确性,尤其在处理小目标和优化边界区域方面表现卓越。这种组合实现了点和区域级别的协同优化,在保持高分类准确率的同时,显著提高了区域分割质量,特别是对于数量较少的果实点云。总体而言,试验结果强有力地支持了FL+DL组合在处理类别不平衡和提高果实分割精度方面的优越性,为优化果树点云分割任务提供了有效的解决方案。

    表  3  损失函数对模型性能的影响
    Table  3.  Influence of loss functions on model performance %
    损失函数
    Loss function
    mAcc mIoU IoU
    果实 fruit 背景 background
    WCEL 88.78 87.88 79.56 96.21
    FL 83.54 86.43 77.91 96.11
    DL 71.82 75.95 65.79 93.27
    FL+DL 87.99 88.76 82.09 96.16
    下载: 导出CSV 
    | 显示表格

    为直观展示本文提出的改进,在RandLA-Net基础上添加BEM并采用FL与DL组合损失函数所带来的性能提升,图6展示了原版RandLA-Net与改进后模型的分割效果,以地面真值(Ground-truth)为参考。对比结果显示,改进后的模型在果实边界分割和整体识别上均明显优于原版RandLA-Net。这种提升主要归因于两方面:首先,本文设计的BEM不仅捕获局部几何信息,还将局部语义信息纳入特征提取过程,显著增强了果实点云与背景点云的特征区分度;其次,组合损失函数的应用对识别数量较少的果实点云起到了关键作用。

    图  6  分割结果可视化
    Figure  6.  Visualization of segmentation results

    这种改进方案不仅从总体上提升了网络的分割能力,并且对于本研究数据集中所出现的类不平衡问题也有很大程度地改善。这对于果实的估产来说十分重要,在一些小果实的分割处理上,改进模型的效果也优于RandLA-Net。可视化结果有力地支持了前文中定量分析的结论,证实了本研究方法在果树点云分割任务中的有效性。

    本研究提出了一种基于NeRF和RandLA-Net的柑橘果树三维重建与果实语义分割方法。试验结果表明,改进后的RandLA-Net在果实语义分割任务中表现出色,mIoU提高了2.64个百分点,果实IoU提升了7.33个百分点,显著增强了模型分割能力。这证实了引入BEM和优化损失函数能有效提高复杂果树场景的处理能力。此外,研究发现损失函数的选择对结果有显著影响,采用更适合果实点云分割任务的损失函数能进一步提升性能。综上所述,本文提出的方法不仅能准确重建果树三维结构和识别果实,还为果园智能管理和自动采摘提供了新的技术支持,这种非破坏性的果树分析方法可以帮助果园管理者更好地掌握果树的生长状况,提高农业生产的效率和质量。未来,将进一步优化算法性能,探索在更大规模果园和不同果树品种上的应用,以及研究与农业机器人系统的集成,实现实时、高效的果实检测和采摘。通过这些深入研究,期望能够进一步推动智慧农业的发展,为农业现代化和可持续发展做出更大贡献。

  • 图  1   甘蔗整秆立式收获−集捆装置结构简图

    1:甘蔗整秆,2:剥叶辊筒,3:切梢器,4:扶蔗器, 5:根切器, 6:拨蔗轮,7:夹持通道,8:打结器,9:立式集捆装置,10:排料器;图中红色框选区域为本文研究的立式集捆装置。

    Figure  1.   Brief structural diagram of the vertical harvesting-pre-baling device for whole-stalk sugarcane

    1: Whole-stalk sugarcane, 2: Stripping rollers, 3: Topper, 4: Pick-up device, 5: Base cutters, 6: Dividers, 7: Clamping feed-train, 8: Knotting device, 9: Vertical pre-baling device, 10: Discharging device; The red boxed area in the figure represents the vertical pre-baling device studied in this article.

    图  2   甘蔗整秆立式收获−集捆作业流程图

    图中红色框区域为立式集捆作业流程。

    Figure  2.   Vertical harvesting-pre-baling process of whole-stalk sugarcane

    The red boxed area in the figure represents the working process of vertical pre-baling.

    图  3   甘蔗整秆立式输送姿态与受力分析

    1:甘蔗整秆,2:上转指,3:下转指,4:基座;ABCO为外力作用于甘蔗的接触点; F1F2F3FfG为作用于甘蔗整秆上的外力;h1h2hs为作用于甘蔗整秆的外力与支撑点间的距离。

    Figure  3.   Posture and force analysis of whole-stalk sugarcane in vertical transport

    1: Whole-stalk sugarcane, 2: Upper rotating finger, 3: Lower rotating finger, 4: Base; A, B, C, O: Contact points of external forces on sugarcane stalk; F1, F2, F3, Ff, G: External forces acting on the sugarcane stalk; h1, h2, h, s: Distances between external forces and support points.

    图  4   甘蔗整秆立式集捆装置的结构组成

    1:上拨指;2:下拨指;3:下转指;4:基座;5:上转指;6:喂入组件;7:集料区;8:打结器;9:转运过渡区;10:压捆打结区;11:送绳机构;Ⅰ:时序控制部件;Ⅱ:转运集拢部件;Ⅲ:打结部件;Ⅳ:喂入部件。

    Figure  4.   Structure diagram of the vertical pre-baling device for whole-stalk sugarcane

    1: Upper bundling finger; 2: Lower bundling finger; 3: Lower rotating finger; 4: Base; 5: Upper rotating finger; 6: Feeding component; 7: Collecting area; 8: Knotting device; 9: Transfer transition area; 10: Baling and knotting area; 11: Rope feeding mechanism; Ⅰ: Sequential control part; Ⅱ: Transfer and pre-baling part; Ⅲ: Knotting part; Ⅳ: Feeding part.

    图  5   不同下转指高度和转速下的甘蔗整秆质心高度动态仿真结果

    Figure  5.   Simulation results of the centroid height dynamic of whole-stalk sugarcane under different heights and rotational speeds of lower rotating finger

    图  6   甘蔗整秆立式集捆装置的台架试验平台

    1:喂入部件;2:甘蔗整秆;3:打结器;4:转运集拢部件;5:时序控制部件; 6:液压站;7:电脑;8:电器控制箱。

    Figure  6.   Bench test platform of the vertical pre-baling device for whole-stalk sugarcane

    1: Feeding part; 2: Whole-stalk sugarcane; 3: Knotting device; 4: Transfer and pre-baling part; 5: Sequential control part; 6: Hydraulic station; 7: Computer; 8: Electrical control box.

    图  7   仿真试验(a)与台架试验(b)对比

    Figure  7.   Comparison of simulation test (a) and bench test (b)

    表  1   不同下转指高度和转速下的仿真集捆成功率

    Table  1   Pre-baling success rates of simulation under different heights and rotational speeds of lower rotating finger %

    下转指高度/mm
    Height of lower rotating finger
    15 r/min 30 r/min 45 r/min
    300 100 100 100
    400 100 100 100
    500 100 100 100
    600 100 80 93
    700 73 80 93
    800 53 46 53
    下载: 导出CSV

    表  2   台架试验不同下转指高度和转速下的集捆成功率1)

    Table  2   Pre-baling success rates under different heights and rotational speeds of lower rotating finger in bench test %

    下转指高度/mm
    Height of lower
    rotating finger
    15 r/min 30 r/min 45 r/min
    300 93±8aA 100±0aA 100±0aA
    400 98±4aA 100±0aA 100±0aA
    500 53±7bcB 55±14bB 91±4aA
    600 57±10bB 48±4bcB 75±10bA
    700 37±8cA 40±6cdA 37±8cA
    800 37±14cA 28±4dA 26±7cA
     1)同列数据后的不同小写字母表示不同下转指高度间差异显著(P<0.05, Duncan’s 法),同行数据后的不同大写字母表示不同转速间差异显著(P<0.05, Duncan’s 法)。
     1)Different lowercase letters of the same column indicate significant differences among different heights of lower rotating finger (P<0.05, Duncan’s method), while different uppercase letters of the same row indicate significant differences among different rotational speeds (P<0.05, Duncan’s method).
    下载: 导出CSV
  • [1] 刘庆庭, 莫建霖, 区颖刚, 等. 我国整秆与切段2种甘蔗收获方式发展历程与前景分析[J]. 甘蔗糖业, 2013(6): 45-55.
    [2]

    MA S, KARKEE M, SCHARF P A, et al. Sugarcane harvester technology: A critical overview[J]. Applied Engineering in Agriculture, 2014, 30: 727-739.

    [3]

    OU Y, WEGENER M, YANG D, et al. Mechanization technology: The key to sugarcane production in China[J]. International Journal of Agricultural and Biological Engineering, 2013, 6(1): 1-27.

    [4]

    LI Y, YANG L. Sugarcane agriculture and sugar industry in China[J]. Sugar Tech, 2015, 17(1): 1-8. doi: 10.1007/s12355-014-0342-1

    [5] 郑小兵. 整杆式甘蔗收获机新的生命力[J]. 农机市场, 2020(11): 26-27.
    [6] 刘庆庭, 区颖刚, 袁纳新. 甘蔗茎在弯曲荷载下的破坏[J]. 农业工程学报, 2004, 20(3): 6-9.
    [7] 王美美. 单芽段甘蔗种植机排种机理与种植均匀性研究[D]. 广州: 华南农业大学, 2014.
    [8] 蒲明辉, 吴江. 基于ADAMS的甘蔗柔性体模型建模研究[J]. 系统仿真学报, 2009, 21(7): 1930-1932.
    [9]

    XIE L, WANG J, CHENG S, et al. Optimization of a whole-stalk operating system after sugarcane base cutting[J]. Transactions of the ASABE, 2019, 62(1): 157-166. doi: 10.13031/trans.12508

    [10]

    MA S, SCHARF P A, ZHANG Q, et al. Effect of cane stool density and stubble height on sugarcane stubble damage in Hawaii fields[J]. Transactions of the ASABE, 2016, 59(3): 813e820.

    [11] 李腾辉, 周德强, 何冯光, 等. 基于遗传算法优化模糊PID的甘蔗收获机切割器控制系统[J]. 华中农业大学学报, 2023, 42(2): 243-250.
    [12] 周绍鹏, 刘庆庭, 杨丹彤, 等. 甘蔗立式夹持输送通道剥叶装置设计与试验[J]. 华南农业大学学报, 2019, 40(3): 117-124.
    [13] 李志红, 区颖刚. 整秆式甘蔗收获机甘蔗铺放运动学分析[J]. 农业工程学报, 2008, 24(11): 103-108.
    [14] 陈连飞, 区颖刚, 李志红, 等. 整秆式甘蔗收割机柔性夹持输送装置[J]. 农机化研究, 2009, 31(1): 71-75.
    [15] 许志伟, 李尚平, 麻芳兰, 等. 不同辊齿对甘蔗收割机辊轮输送影响仿真分析[J]. 农机化研究, 2011, 33(12): 47-50.
    [16] 程绍明, 王俊, 卢志乐, 等. 小型整秆式甘蔗收割机改进设计与试验[J]. 农业工程学报, 2014, 30(4): 12-17.
    [17] 谢卢鑫, 王俊, 程绍明, 等. 整秆式甘蔗收割机剥叶过程仿真分析与试验[J]. 农业工程学报, 2020, 36(18): 56-65. doi: 10.11975/j.issn.1002-6819.2020.18.008
    [18]

    XIE L, WANG J, CHENG S, et al. Optimisation and dynamic simulation of a conveying and top breaking system for whole-stalk sugarcane harvesters[J]. Biosystems Engineering, 2020, 197: 156-169.

    [19]

    LI X, LIN S H, HUANG Q Y, et al. Advances in research of lodging and evaluation in sugarcane[J]. Applied Ecology and Environmental Research, 2019, 17(3): 6095-6105.

    [20]

    LI X, LI X, LIU W, et al. A UAV-based framework for crop lodging assessment[J]. European Journal of Agronomy, 2021, 123: 126201. doi: 10.1016/j.eja.2020.126201

    [21] 安雪斌, 潘尚峰. 多体系统动力学仿真中的接触碰撞模型分析[J]. 计算机仿真, 2008, 25(10): 98-101.
    [22] 闻邦椿. 机械设计手册: 第1卷[M]. 5版. 北京: 机械工业出版社, 2010.
  • 期刊类型引用(5)

    1. 许文英. 西南桦的生长特征及栽培技术探讨. 农村科学实验. 2024(07): 82-84 . 百度学术
    2. 连晓倩,田云龙,黄健,钟兆全,周垂帆,黄伟,吴鹏飞. 杉木林分密度对套种闽楠树型、光合能力及生物量分配的影响. 林业科学研究. 2024(05): 13-22 . 百度学术
    3. 余清海. 不同基质·遮阴强度对盐肤木种子萌发的影响. 安徽农业科学. 2023(23): 90-92+103 . 百度学术
    4. 代嵩华,黄印冉,冯树香,闫淑芳,刘易超,陈丽英,樊彦聪. 不同遮阴强度对白桦幼苗生长情况的影响. 河北林业科技. 2022(02): 25-27+36 . 百度学术
    5. 朱秀征,靳超,房丽莎,刘震,王艳梅,蔡齐飞,李志,耿晓东. 不同密度下山桐子自然整枝差异性分析. 河南科学. 2022(08): 1257-1263 . 百度学术

    其他类型引用(3)

图(7)  /  表(2)
计量
  • 文章访问数:  77
  • HTML全文浏览量:  15
  • PDF下载量:  38
  • 被引次数: 8
出版历程
  • 收稿日期:  2024-01-15
  • 网络出版日期:  2024-12-10
  • 发布日期:  2024-12-15
  • 刊出日期:  2025-01-09

目录

/

返回文章
返回