3D reconstruction of fruit trees and fruit semantic segmentation based on NeRF and improved RandLA-Net
-
摘要:目的
解决复杂果园环境下的果实精准分割问题。
方法本文提出一种新颖的柑橘果树三维重建与果实语义分割方法。首先，利用神经辐射场(Neural radiance field, NeRF)技术从多视角图像中学习果树的隐式三维表示，生成高质量的果树点云模型；然后，采用改进后的随机局部点云特征聚合网络(Random local point cloud feature aggregation network, RandLA-Net)对果树点云进行端到端的语义分割，准确提取出果实点云。对RandLA-Net进行针对性改进，在编码器层后增加双边增强模块，采用更适合果实点云分割任务的损失函数，并通过柑橘果树数据集对改进后的分割网络进行验证试验。
结果所提出的方法能够有效地重建果树三维结构，改进后网络的平均交并比提高了2.64个百分点，果实的交并比提高了7.33个百分点，验证了该方法在智慧果园场景下的实用性。
结论研究为实现果园智能化管理和自动化采摘提供了新的技术支撑。
Abstract:ObjectiveTo solve the problem of accurate fruit segmentation in complex orchard environment.
MethodA novel method for 3D reconstruction citrus fruit trees and fruit semantic segmentation of was proposed. First, the implicit 3D representation of the fruit tree was learned from multi-view images using the neural radiance field (NeRF) technology, generating high-quality point cloud models of the fruit tree. Then, the improved random local point cloud feature aggregation network (RandLA-Net) was adopted to conduct end-to-end semantic segmentation of the fruit tree point cloud, accurately extracting the fruit point cloud. In this study, targeted improvements were made to RandLA-Net. A bilateral enhancement module was added after the encoder layer, and a loss function more suitable for the fruit point cloud segmentation task was adopted. The improved segmentation network was verified using the citrus fruit tree dataset.
ResultThe results showed that the proposed method could effectively reconstruct the 3D structure of fruit tree. The average intersection over union (mIoU) of the improved network increased by 2.64 percentage points, and the intersection over union (IoU) of the fruit increased by 7.33 percentage points, verifying the practicality of this method in the scenario of smart orchards.
ConclusionThis study provides a new technical support for achieving intelligent management and automated fruit harvesting in orchards.
-
奶牛养殖业在畜牧业发展中具有极其重要的地位[1]。集成化、智能化和标准化养殖已成为保证奶牛进食量、提高牛奶产量及保障乳制品品质的必然选择[2]。对于奶牛饲养，自由采食能提高饲料摄入量和牛奶产量，但奶牛进食时易将饲料拱出饲喂区，造成饲料的分散，不利于奶牛的进食。这样不仅浪费饲料，最重要的是影响奶牛的营养摄入量，最终影响产奶量和产奶质量[3-4]。目前，国外很多牛场采用以Lely、Valmetal公司的PRO-FEED为代表的推料机器人，Lely推料机器人[5]通过旋转的圆柱形外壳将饲料推回到栏杆下，PRO-FEED推料机器人[6]是螺旋式结构，通过滚动的螺旋式叶片将饲料推回到栏杆下。这两种机器人在推进过程中能对饲料进行一定的搅拌，推料效果较好，但结构复杂、加工难度大。现如今国内牛场养殖的推料方式有三种，一是人工扫料，二是人工驾驶的刮板式推料车，三是自走式推料机器人[7]。3种推料工作中，传统的人工扫料方式劳动强度大，需要投入大量的人力[8]。张勤等[9]研发的基于信息融合的智能推料机器人是采用刮板的推料方式，虽然刮板式推料车刮板小、结构简单、便于操作，但推料效果一般，且在纵向方向上有推料现象，影响奶牛采食。现有的自旋式推料机器人[5]推料效果较好，没有漏料情况，但推料效率较低；螺旋式推料机器人推料效率较高，但推料效果不好，有漏料现象。
对于皮带式推料机，具有代表性的是德国RMH-futterschieber皮带式推料机，针对含水率高、撒料量和撒料面积大的青饲料的推料效果较好。因此，本文对皮带式推料机结构进行设计，并对其推料过程进行仿真试验，为自动推料机实际推料作业参数提供参考。该研究利用离散元软件EDEM创建颗粒实体的参数化模型，此外，将材料力学特性和其他物理特性添加到EDEM中，形成颗粒模型和力学分析过程；基于Design-Expert软件进行正交试验设计，运用EDEM在不同试验条件下对皮带式推料机进行虚拟试验仿真和分析，探究推料机推料过程中物料颗粒群的运动规律，分析推料机不同推料角度、皮带速度、前进速度3个试验因素对推送率和推送效率的影响，以期为寻求推料机推料最优参数组合提供一定的指导。
1. 推料机器人结构及工作原理
1.1 整机结构
可变角度皮带式推料机器人主要由大容量锂电池、机器人主体部分、控制系统、精料抛撒装置、TMR搅拌撒料装置、激光雷达、RGB相机和IMU以及皮带式推料机组成，整机结构如图1所示。
![]()
图 1 推料机器人结构简图1：机器人主体部分，2：控制系统，3：精料抛撒装置，4：TMR饲料搅拌装置，5：RGB相机和IMU，6：激光雷达，7：皮带式推料机Figure 1. Structure sketch of pushing robot1: The main part of the robot, 2: Control system, 3: Concentrate throwing device, 4: TMR feed stirring device, 5: RGB camera and IMU, 6: LiDAR, 7: Belt type pusher工作时，首先，推料机器人融合RGB和雷达信息智能识别牛舍饲料带，控制机器人沿着饲料带自主行走；其次，根据饲料带是否存在饲料，机器人控制推料电机带动推料皮带转动，皮带上的推板将草料推回饲料带，从而完成推料作业。
1.2 皮带式推料机结构
皮带式推料机采用的是立式结构，外形尺寸长×宽×高为1 000 mm × 460 mm × 550 mm。如图2所示，皮带式推料机主要由1个伺服电机、2个滚筒、软质PVC带、推料机支撑架和可变角度连接架组成。
![]()
图 2 皮带式推料机结构图1：滚筒，2：皮带，3：伺服电机，4：张紧装置，5：皮带机支撑架Figure 2. Structure sketch of belt pusher1: Roller, 2: Belt, 3: Servo motor, 4: Tensioning device, 5: Belt conveyor support frame其中，滚筒的尺寸直接影响其与皮带的接触面积与摩擦力，这将影响皮带推料效率。滚筒的直径越大，皮带与滚筒的接触面积越大，两者之间的摩擦力越大，皮带运动越稳定。然而，滚筒直径过大会导致设备整机尺寸增大，增大能量消耗。因此，本设计选用的滚筒直径为155 mm、高度为450 mm、材质为碳钢、壁厚为2.5 mm，滚筒表面采用车床粗加工，以增加表面的摩擦力，满足推料作业的实际需求，三维模型如图3所示。
2. TMR饲料特性参数测量与接触参数仿真标定
2.1 试验材料
TMR饲料于2024年4月取自山东省泰安市岱岳区满庄镇泥沟村的金兰奶牛养殖牧场，分别在撒料1、2、3 h后进行取料，含水率(w)为55%~70%。
2.2 饲料特性参数测量
2.2.1 TMR饲料休止角测量
利用TMR饲料休止角对饲料间的恢复系数进行仿真标定试验，间接得出饲料间的恢复系数。采用排出法对TMR饲料的休止角进行测定，如图4所示。将一定量的饲料装入无底圆筒中，向上提升圆筒使饲料缓慢排出，待料堆稳定后，测量料堆竖直高度(h)与底面直径(d)的尺寸大小，通过公式(1)计算其休止角[10]，试验重复3次取平均值，测得休止角为45°~47°，平均46.75°。为降低摩擦因数对测量结果的影响，圆筒材质选用钢制。
![]()
图 4 休止角测定h：料堆竖直高度，d：料堆底面直径Figure 4. Determination of rest angleh: Vertical height of feed pile, d: Basal diameter of feed pile休止角计算公式：
$$ \varphi = {\tan ^{ - 1}}\dfrac{{2h}}{d} 。 $$ (1) 2.2.2 滑动摩擦角测量
通过饲料与皮带、饲料与地面间的滑动摩擦角，可以仿真标定饲料与皮带、饲料与瓷砖地面间的恢复系数。饲料滑动摩擦角测量所用仪器为斜面仪，摩擦面材料为PVC皮带和瓷砖。将所取饲料样本放置在水平摩擦面上，缓慢匀速转动手柄，使摩擦面一端缓慢上升，避免振动。如图5所示，当饲料试样开始向下滑动时，记录此时的摩擦面倾角，即为饲料滑动摩擦角(θ)。测得饲料与皮带间的滑动摩擦角平均值为37°，饲料与瓷砖间的滑动摩擦角平均值为42°。
![]()
图 5 滑动摩擦角测量θ：饲料滑动摩擦角Figure 5. Measurement of sliding friction angleθ: Sliding friction angle of feed2.2.3 摩擦系数测定
使用MXD-2型摩擦因数试验仪，测定饲料之间、饲料与皮带之间以及饲料与瓷砖地面之间的动、静摩擦系数，如图6所示。测定饲料之间的动、静摩擦系数时，将饲料用胶水平整均匀地固定在水平试验台上，并在试验仪滑块底面也均匀粘固一层饲料，使2个面上的饲料平整接触，启动试验仪后2个接触面上的饲料产生相对移动，滑块产生一定距离的相对移动后，仪器根据摩擦力的大小自动计算摩擦系数。试验重复5次取平均值，结果如表1所示。
表 1 试验测定摩擦系数Table 1. Determination of friction coefficient by tests参数
Parameter饲料与饲料
Feed and
feed饲料与皮带
Feed and
belt饲料与地面
Feed and
ground静摩擦系数
Static friction
coefficient0.54 0.75 0.80 滚动摩擦系数
Rolling friction
coefficient0.85 0.40 0.48 2.3 TMR饲料接触参数仿真标定
采用试验测试与离散元仿真相结合的方法对饲料进行仿真参数标定及优化。试验时，以实测的休止角、滑动摩擦角为响应值设计中心组合试验方案，利用Design-Expert软件分析各因素的编码值和数据，对各项进行方差分析和回归系数显著性检验，分析仿真参数对仿真结果的影响，确定饲料EDEM的最优参数。TMR饲料仿真离散元模型建立方法如下。
1)TMR饲料模型。由作物秸秆、球形米粒和青贮块组成奶牛饲料，并进行仿真建模。采用理想球形颗粒组合法对实际物料进行替代。对混合物料几何尺寸进行实测并取平均值[11]，3种球形填充物料颗粒的直径分别设为12、10和8 mm。物料离散元模型如图7a~7c所示。
2)接触模型。利用EDEM软件对推料作业进行仿真。由于不考虑传热及磨损等问题，选用Hertz Mindlin(no slip)模型作为离散元仿真中饲料颗粒与皮带的接触模型[12]。
3)碰撞恢复系数仿真标定试验。利用EDEM离散元参数标定对饲料堆积过程进行仿真，如图8所示；对饲料滑动摩擦角测定过程进行仿真，如图9所示。通过优化碰撞恢复系数，使饲料仿真堆积过程的休止角与实际休止角一致，以及饲料仿真过程的滑动摩擦角与实际滑动摩擦角一致，从而预测碰撞恢复系数，为推料仿真分析提供基础数据[13]。
![]()
图 9 TMR饲料滑动摩擦角测定过程模拟θ：饲料滑动摩擦角Figure 9. Simulation of TMR feed sliding friction angle measurement processθ: Sliding friction angle of feed4)仿真参数。TMR饲料模型参数包括材料参数和接触参数。其中，材料参数包括TMR饲料、皮带、地面的密度、泊松比、剪切模量等[5, 10, 14-15]，具体数值如表2所示。
表 2 物料特性参数Table 2. Property parameters of materials材料
Material密度/(kg·m−3)
Density泊松比
Poisson’s ratio剪切模量/Pa
Shear modulus饲料 Feed 700 0.30 2.30×107 皮带 Belt 1 380 0.45 2.40×108 地面 Ground 1 500 0.20 1.25×1010 通过以上测量试验、仿真测定及查阅相关文献，得到饲料与饲料之间、饲料与推料皮带装置之间、饲料与瓷砖地面之间的碰撞恢复系数均为0.30。
3. EDEM推料仿真试验
3.1 EDEM推料仿真模型及参数设置
为便于推料仿真的计算，本研究去除了与物料运动无接触关系的部件。推料机的皮带与饲料直接接触，其材质为软质PVC材料，将其导入EDEM中，如图10所示。
根据表1、2和标定的碰撞恢复系数设置仿真参数，通过动态生成的方式在颗粒工厂中生成物料颗粒，设定颗粒总质量为180 kg，作物秸秆、球形米粒、青贮块的质量比为35∶10∶55。
根据相关文献[14]可知，推送率随着饲料含水率的增加而增大。本研究推料机皮带速度、推料角度以及前进速度的定义图如图11所示。
在推料机构作用下，饲料颗粒间相互作用，饲料颗粒沿着皮带表面速度方向运动。如图12所示，当推料角度为0°时，饲料运动轨迹垂直运动方向，若运动速度增大会将未及时推送到饲喂区的饲料向斜前方推送，出现饲料分布不均匀现象；随着推送角度增大，饲料运动轨迹开始向斜后方运动，在一定前进速度下，饲料可以更好地被推到原位置；但当推料角度超过30°时，会出现将已推过去的饲料带到皮带后面的现象。
![]()
图 12 物料颗粒在各个角度的运动方向各小图中的箭头指饲料运动方向Figure 12. Movement direction of the material particles at various anglesThe arrows in each figure indicate the movement direction of feed选取推送率(Y1)和推送效率(Y2)作为推料效果的评价指标，计算方式如公式(2)和(3)。设置图13中阴影区域的颗粒质量为150 kg，仿真完成后对未被推到撒料带的饲料进行统计。
$$ {Y}_{1}=\dfrac{m-{m}_{_{{0}}}}{m}\times 100{\text{%}} \text{，} $$ (2) $$ {Y}_{2}=\dfrac{m-{m}_{_{{0}}}}{{t}} \text{，} $$ (3) 式中，m：推送前阴影区域饲料的质量，kg；
$m_{_{{0}}} $ ：推送后未推到撒料带饲料的质量，kg；t：推料时间，min。3.2 推料试验仿真分析
以推料机推料角度(x1)、皮带速度(x2)和前进速度(x3)为研究因素，设计三因素三水平试验表，如表3所示。
表 3 试验因素水平表1)Table 3. Table of test factor and level水平
Levelx1/(°) x2/(m·s−1) x3/(m·s−1) −1 0 1 0.5 0 15 2 1.0 1 30 3 1.5 1)x1：推料角度，x2：皮带速度，x3：前进速度
1) x1: Pushing angle, x2: Belt speed, x3: Forward speed以各因素编码值x1、x2、x3为自变量，Y1和Y2为目标值，试验设计与结果如表4所示。
表 4 推料仿真试验设计与结果1)Table 4. Design and results of pushing simulation experiment序号
Serial numberx1 x2 x3 Y1/% Y2/(kg·min−1) 1 0 1 1 92.6 833.4 2 1 1 0 96.5 579.0 3 −1 0 1 91.8 826.2 4 1 −1 0 93.3 559.8 5 1 0 1 92.0 828.0 6 −1 1 0 94.8 568.8 7 0 0 0 93.5 561.0 8 0 −1 −1 93.9 281.7 9 −1 −1 0 91.1 546.6 10 1 0 −1 95.8 287.4 11 0 0 0 94.0 564.0 12 −1 0 −1 95.1 285.3 13 0 −1 1 89.7 807.3 14 0 0 0 93.9 563.4 15 0 0 0 94.3 565.8 16 0 1 −1 98.1 294.3 17 0 0 0 95.0 570.0 1) x1：推料角度，x2：皮带速度，x3：前进速度，Y1：推送率，Y2：推送效率
1) x1: Pushing angle, x2: Belt speed, x3: Forward speed, Y1: Pushing rate, Y2: Pushing efficiency对各因素与推送率和推送效率的关系进行方差分析和回归系数显著性检验，结果如表5、6所示。依据表5，利用响应面法建立推送率与试验因素编码值的关系模型为
表 5 推料仿真试验推送率响应面方差分析Table 5. Variance analysis of response surface of pushing rate in material pushing simulation test来源
Source平方和
Square
sum自由度
Freedom
degree均方
Mean
squareF P1) 模型
Model64.08 9 7.12 15.44 0.000 8** x1 2.88 1 2.88 6.25 0.042 0* x2 24.50 1 24.50 53.15 0.000 2** x3 35.28 1 35.28 76.53 <0.000 1** x1x2 0.06 1 0.06 0.14 0.723 6 x1x3 0.06 1 0.06 0.14 0.723 6 x2x3 0.42 1 0.42 0.92 0.370 3 x12 0.01 1 0.01 0.03 0.867 0 x22 0.10 1 0.10 0.23 0.648 6 x32 0.70 1 0.70 1.52 0.257 9 残差
Residual error3.23 7 0.46 失拟项
Misfit term1.98 3 0.66 2.10 0.240 0 纯误差
Pure error1.30 4 0.31 总和
Sum67.30 16 1)“*”“**”分别表示在P<0.05和P<0.01水平影响显著(方差分析)
1) “*” and “**” indicate significant effects at P<0.05 and P<0.01 levels, respectively (Analysis of variance)Y1=94.140 0+0.600 0x1+1.750.0 x2−2.100 0x3−0.125 0x1x2−0.125 0x1x3+0.325 0x2x3−0.057 5x12−0.157 5x22−0.408 0x32。
由表5可知，推送率与试验因素编码值之间的关系是极显著的(P<0.01)，失拟项影响不显著(P>0.05)，表示模型合理。其中x1对推料率影响显著，x2和x3对推送率影响极显著，其余各项都影响不显著。从单因素分析来看，各因素对推送率的影响由大到小为x3>x2>x1。从各因素交互作用来看，交互作用项对推送率的影响由大到小为x2x3>x1x3>x1x2。
各因素的交互作用对推送率的响应面如图14。当推料角度在中间水平时，推送率随皮带速度增加而增大；当皮带速度在中间水平时，推送率随推料角度增加而增大。当推料角度在中间水平时，推送率随前进速度增加而明显降低；当前进速度在中间水平时，推送率随推送角度增加而增加。当前进速度在中间水平时，推送率随皮带速度增加而明显增高。
![]()
图 14 各因素对推送率的响应面图Figure 14. Response surface graph of various factors to pushing rate依据表6，利用响应面法建立推送效率与试验因素编码值之间的关系模型为
表 6 推料仿真试验推送效率响应面方差分析Table 6. Variance analysis of response surface of pushing efficiency in material pushing simulation test来源
Source平方和
Square
sum自由度
Freedom
degree均方
Mean
squareF P1) 模型
Model5.77×105 9 64 117 3 484 <0.000 1** x1 93.16 1 93.16 5.06 0.060 0 x2 802.00 1 802.00 43.60 0.000 3** x3 5.76×105 1 5.76×105 31 293 <0.000 1** x1x2 2.25 1 2.25 0.12 0.736 9 x1x3 0.02 1 0.02 0.00 0.973 1 x2x3 45.56 1 45.56 2.48 0.159 6 x12 1.67 1 1.67 0.09 0.771 9 x22 15.52 1 15.52 0.84 0.388 9 x32 322.00 1 322.00 17.50 0.004 1** 残差
Residual error128.79 7 18.40 失拟项
Misfit term83.72 3 27.91 2.48 0.200 8 纯误差
Pure error45.07 4 11.27 总和
Sum5.77×105 16 1)“**”表示在P<0.01水平影响显著(方差分析)
1) “**” indicates significant effect at P<0.01 level (Analysis of variance)Y2=564.840+3.410x1+10.010x2+268.280x3−0.750x1x2−0.075x1x3+3.380x2x3+0.630x12−1.920x22−8.740x32。
由表6可知，推送效率与试验因素编码值之间的关系是极显著的(P<0.01)，失拟项影响不显著(P>0.05)；这表明模型合理，可以用来预测推料机推送效率。其中，x2、x3和x32对推料机推送效率影响极显著，其余各项均不显著。从单因素分析来看，各因素对推送效率的影响由大到小为x3>x2>x1。从各因素交互作用来看，交互作用项对推送效率的影响由大到小为x2x3>x1x2>x1x3。
各因素的交互作用对推送效率的响应面如图15。推料角度和皮带速度对推料效率的影响不明显。当推料角度和皮带速度分别在中间水平时，推料效率都会随着前进速度增加而明显增高。
![]()
图 15 各因素对推送效率的响应面图Figure 15. Response surface graph of various factors to pushing efficiency以推料机的推送率和推料效率最大为目标值，通过响应面法进行优化求解，得到推料机理论最优作业参数水平组合：推料角度30°、皮带速度2.99 m/s、前进速度0.83 m/s。在此作业参数下，推送率和推送效率分别为94.6%、724.5 kg/min。
4. 样机的推料试验
4.1 试验方案
如图16所示，在泰安市金兰奶牛场进行试验，选取推料机理论最优作业参数水平组合和仿真结果较好的2组试验参数进行试验。每次推料前对图13阴影区域TMR饲料的质量进行记录，推料作业完成后收集未推到撒料区的TMR饲料并称质量，推料过程中TMR饲料水分损失忽略不计，每组试验重复3次。选取推送率和推送效率作为推料效果的评价指标，将结果与EDEM仿真试验结果做对比，测试皮带式推料机器人在真实工作情况下的推料效果。
4.2 试验结果与分析
利用TMR饲料进行试验，推料机器人3次推料试验推送率为91%~96%，推送效率为720~820 kg/min。当推料前进速度为1.5 m/s时，机器人推料效率最高；但是当皮带速度低于2 m/s时，皮带无法及时完成推料作业，导致大量饲料堆积在皮带前方。当推料机器人推送到位的饲料较少，剩余饲料会导致饲料流反向运动，造成饲料分布不均匀。前进速度和皮带速度一定时，当推料角度为0°时，饲料运动轨迹是斜前方，当推送角度逐渐增大时，饲料运动轨迹逐渐向斜后方运动，但是推送角度过大会导致出现将已推过去的饲料带到皮带后面的现象，即漏料现象。当皮带速度为3 m/s时，无论推料机器人的前进速度是高速还是低速，在3个工作角度下的推料效果都是良好的；在皮带高速转动的情况下，皮带通过摩擦力和皮带表面凸起将饲料从一侧带动到另一侧，高速转动的皮带能快速地将饲料推送到指定位置，从而验证了本文的推料机推料效果可以满足牧场需求。实际试验结果与仿真结果基本一致，验证了推料机结构和作业参数的合理性。
5. 结论
针对目前国内采用螺旋式推料机器人对含水率高、撒料量多的TMR饲料推料效果不好等问题，研制了一种皮带式推料机，采用旋转的皮带将饲料推回到奶牛采食区域。皮带式推料机试验表明，推送效率达到牧场的要求，仿真模拟结果为皮带式推料机的动力学分析和参数优化提供了参考。
-
![]()
图 4 果树实际RGB图像与重建结果对比
Figure 4. Comparison between actual RGB image of fruit trees and reconstructed result
![]()
图 5 RandLA-Net的结构
N代表输入点的数量，din代表每个点的特征维度，n_classes代表点的种类数，数字代表特征的通道数。FC、LFA、RS、MLP、US分别表示全连接层、局部特征聚合、随机采样、多层感知器和上采样。
Figure 5. Structure of RandLA-Net
N represents the number of input points, din represents the characteristic dimension of each point, n_classes represents the number of point categories, numbers represent the feature channel dimensions. FC, LFA, RS, MLP and US stand for fully connected layer, local feature aggregation, random sampling, multi-layer perceptron and upsampling, respectively.
表 1 相机参数表
Table 1 Camera parameter table
相机
Camera视场角/(°)
Field of view分辨率
Resolution最大帧率/(帧·s−1)
Max. frame rate焦距/mm
Focal distance光圈/%
Aperture镜头尺寸/(”)
Lens size像素/(µm×µm)
Pixel对角
Diagonal水平
Horizontal垂直
VerticalRGB 78 66 54 12( 4032 ×3040 )60 4.81 1.8±5 1/2.3 1.55×1.55 OAK-D-PRO 82 72 50 1( 1280 ×800)120 2.35 2.0±5 1/4.0 3.00×3.00 
下载: 导出CSV
表 2 BEM对模型性能的影响
Table 2 Influence of BFM on model performance
模型 Model mAcc/% mIoU/% OA/% $ \mathrm{I}\mathrm{o}{\mathrm{U}}_{\mathrm{f}\mathrm{r}\mathrm{u}\mathrm{i}\mathrm{t}} $/% t/ms RandLA-Net 87.45 85.24 96.3 74.76 228.64 RandLA-Net+BEM 88.78 87.88 96.5 79.56 226.12
下载: 导出CSV
表 3 损失函数对模型性能的影响
Table 3 Influence of loss functions on model performance
损失函数
Loss functionmAcc/% mIoU/% IoU/% 果实 Fruit 背景 Background WCEL 88.78 87.88 79.56 96.21 FL 83.54 86.43 77.91 96.11 DL 71.82 75.95 65.79 93.27 FL+DL 87.99 88.76 82.09 96.16
下载: 导出CSV
-
[1] SANGIORGIO P, VERARDI A, SPAGNOLETTA A, et al. Citrus as a multifunctional crop to promote new bio-products and valorize the supply chain[J]. Environmental Engineering and Management Journal, 2020, 19(10): 1869-1889. doi: 10.30638/eemj.2020.179
[2] 肖阳, 项明宇, 李熹. 基于改进YOLOv8n的轻量化柑橘成熟度检测[J]. 计算机系统应用, 2024, 33(11): 202-208. [3] 伍倩. 基于Kinect v2相机的柑橘点云分割与配准研究[D]. 桂林: 广西师范大学, 2022. [4] 邹密. 基于三维重建的柑橘冠层特征检测系统设计与实现[D]. 重庆: 西南大学, 2023. [5] 韩旭洁. 基于深度学习的果实点云分类与分割[D]. 杨凌: 西北农林科技大学, 2022. [6] AFONSO M, FONTEIJN H, FIORENTIN F S, et al. Tomato fruit detection and counting in greenhouses using deep learning[J]. Frontiers in Plant Science, 2020(11): 571299. doi: 10.3389/fpls.2020.571299.
[7] PENG H, XUE C, SHAO Y, et al. Semantic segmentation of litchi branches using DeepLabV3+ model[J]. IEEE Access, 2020(8): 164546-164555.
[8] KANG H, CHEN C. Fruit detection and segmentation for apple harvesting using visual sensor in orchards[J]. Sensors, 2019, 19(20): 4599. doi: 10.3390/s19204599
[9] BARGOTI S, UNDERWOOD J P. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics, 2017, 34(6): 1039-1060. doi: 10.1002/rob.21699
[10] FU K, WEI P, VILLACRES J, et al. Fusion-driven tree reconstruction and fruit localization: Advancing precision in agriculture[EB/OL]. arXiv: 2310.15138(2023-10-23)[2024-10-01]. https://arxiv.org/abs/2310.15138v2.
[11] GE Y, XIONG Y, FROM P J. Symmetry-based 3D shape completion for fruit localisation for harvesting robots[J]. Biosystems Engineering, 2020, 197: 188-202. doi: 10.1016/j.biosystemseng.2020.07.003
[12] ZHAO L, HUANG S, DISSANAYAKE G. Linear SFM: A hierarchical approach to solving structure-from-motion problems by decoupling the linear and nonlinear components[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 141: 275-289. doi: 10.1016/j.isprsjprs.2018.04.007
[13] SEITZ S M, CURLESS B, DIEBEL J, et al. A comparison and evaluation of multi-view stereo reconstruction algorithms[C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06). New York, NY, USA: IEEE, 2006: 519-528.
[14] DONG J, BURNHAM J G, BOOTS B, et al. 4D crop monitoring: Spatio-temporal reconstruction for agriculture[C]//2017 IEEE International Conference on Robotics and Automation (ICRA), Singapore: IEEE, 2017: 3878-3885.
[15] LI Z, ZHANG Z, LUO S, et al. An improved matting-SfM algorithm for 3D reconstruction of self-rotating objects[J]. Mathematics, 2022, 10(16): 2892. doi: 10.3390/math10162892.
[16] GENÉ-MOLA J, GREGORIO E, CHEEIN F A, et al. Fruit detection, yield prediction and canopy geometric characterization using LiDAR with forced air flow[J]. Computers and Electronics in Agriculture, 2019, 168: 105121. doi: 10.1016/j.compag.2019.105121.
[17] CHAKRABORTY M, KHOT L R, SANKARAN S, et al. Evaluation of mobile 3D light detection and ranging based canopy mapping system for tree fruit crops[J]. Computers and Electronics in Agriculture, 2019, 158: 284-293. doi: 10.1016/j.compag.2019.02.012
[18] CAO W, WU J, SHI Y, et al. Restoration of individual tree missing point cloud based on local features of point cloud[J]. Remote Sensing, 2022(14): 1346. doi: 10.3390/rs14061346.
[19] AI M, YAO Y, HU Q, et al. An automatic tree skeleton extraction approach based on multi-view slicing using terrestrial LiDAR scans data[J]. Remote Sensing, 2020, 12(22): 3824. doi: 10.3390/RS12223824.
[20] HUANG S, GOJCIC Z, HUANG J, et al. Dynamic 3D scene analysis by point cloud accumulation[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 674-690.
[21] ZAPATA N T, TSOULIAS N, SAHA K K, et al. Fourier analysis of LiDAR scanned 3D point cloud data for surface reconstruction and fruit size estimation[C]//2022 IEEE Workshop on Metrology for Agriculture and Forestry (MetroAgriFor). Perugia, Italy: IEEE, 2022: 197-202.
[22] MILDENHALL B, SRINIVASAN P P, TANCIK M, et al. NeRF: Representing scenes as neural radiance fields for view synthesis[C]//Computer Vision, Cham: Springer International Publishing, 2020: 99-106.
[23] ADAMKIEWICZ M, CHEN T, CACCAVALE A, et al. Vision-only robot navigation in a neural radiance world[J]. IEEE Robotics and Automation Letters, 2022, 7(2): 4506-4613.
[24] SHEN S, WANG Z, LIU P, et al. Non-line-of-sight imaging via neural transient fields[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(7): 2257-2268. doi: 10.1109/TPAMI.2021.3076062
[25] HONG K, WANG H, YUAN B. Inspection-Nerf: Rendering multi-type local images for dam surface inspection task using climbing robot and neural radiance field[J]. Buildings, 2023, 13(1): 213. doi: 10.3390/buildings13010213.
[26] GAO X, YANG J, KIM J, et al. MPS-NeRF: Generalizable 3D human rendering from multiview images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(12): 9154-9167.
[27] DENG N, HE Z, YE J, et al. FoV-NeRF: Foveated neural radiance fields for virtual reality[J]. IEEE Transactions on Visualization and Computer Graphics, 2022, 28(11): 3854-3864. doi: 10.1109/TVCG.2022.3203102
[28] QI C R, SU H, MO K, et al. PointNet: Deep learning on point sets for 3D classification and segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA: IEEE, 2017: 652-660.
[29] QI C R, YI L, SU H, et al. PointNet++: Deep hierarchical feature learning on point sets in a metric space[C]//31st Conference on Neural Information Processing Systems (NeurIPS 2017), Long Beach, CA: NeurIPS, 2017: 5099-5108.
[30] SHI S, WANG X, LI H. PointRCNN: 3D object proposal generation and detection from point cloud[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA: IEEE, 2019: 770-779.
[31] SHI S, GUO C, JIANG L, et al. PV-RCNN: point-voxel feature set abstraction for 3D object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, 2020: 10529-10538.
[32] DING Z, HAN X, NIETHAMMER M. VoteNet: A deep learning label fusion method for multi-atlas segmentation[J]. Medical Image Computing and Computer-Assisted Intervention, 2019, 11766: 202-210.
[33] HU Q, YANG B, XIE L, et al. RandLA-Net: Efficient semantic segmentation of large-scale point clouds[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, 2020: 11105-11114.
[34] CUI Y, CHANG Q, LIU Q, et al. 3D reconstruction with spherical cameras[J]. IEEE Access, 2021, 9: 143531-143544. doi: 10.1109/ACCESS.2021.3119367.
[35] 钱德宇. 可移动文物数字化原真采集系统研究与实现[D]. 北京: 北京邮电大学, 2023.
计量
- 文章访问数: 107
- HTML全文浏览量: 31
- PDF下载量: 36
