3D reconstruction and semantic segmentation of fruit trees based on NeRF and improved RandLA-Net
-
摘要:目的
随着智慧农业的快速发展，果树三维重建与果实分割已成为实现果园智能化管理的关键技术。本文提出一种新颖的柑橘果树三维重建与果实语义分割方法。
方法首先，利用神经辐射场(Neural radiance field, NeRF)技术从多视角图像中学习果树的隐式三维表示，生成高质量的果树点云模型。然后，采用改进后的随机局部点云特征聚合网络(Random local point cloud feature aggregation network, RandLA-Net)对果树点云进行端到端的语义分割，准确提取出果实点云。本研究对RandLA-Net进行了针对性改进，在编码器层后增加了双边增强模块，并采用了更适合果实点云分割任务的损失函数。改进后的分割网络通过柑橘果树数据集进行验证试验。
结果所提出的方法能够有效地重建果树三维结构，改进后的网络的平均交并比提高了2.64个百分点，果实的交并比提高了7.33个百分点，验证了该方法在智慧果园场景下的实用性。
结论研究为实现果园智能化管理和自动化采摘提供了新的技术支撑。
Abstract:ObjectiveWith the rapid development of smart agriculture, 3D reconstruction and fruit segmentation of fruit trees have become key technologies for achieving intelligent management of fruit gardens. This paper proposes a novel method for 3D reconstruction and semantic segmentation of citrus fruit trees.
MethodFirst, the implicit 3D representation of the fruit tree was learned from multi-view images using the neural radiance field (NeRF) technology, generating high-quality point cloud models of the fruit tree. Then, the improved random local point cloud feature aggregation network (RandLA-Net) was adopted to conduct end-to-end semantic segmentation of the fruit tree point cloud, accurately extracting the fruit point cloud. In this study, targeted improvements were made to RandLA-Net. A bilateral enhancement module was added after the encoder layer, and a loss function more suitable for the fruit point cloud segmentation task was adopted. The improved segmentation network was verified through experiments using the citrus fruit tree dataset.
ResultThe results showed that the proposed method could effectively reconstruct the 3D structure of the fruit tree. The average intersection over union (mIoU) of the improved network increased by 2.64 percentage points, and the intersection over union (IoU) of the fruit increased by 7.33 percentage points, verifying the practicality of this method in the scenario of smart orchards.
ConclusionThis study provides new technical support for achieving intelligent management and automated fruit harvesting in orchards.
-
红树林是在陆地与海洋交界带间重要的植物群落，受海水周期性浸淹，在改善滩涂环境、防风消浪、固岸护堤、增加海滩生物多样性、维系全球海洋生物资源等方面具有重要作用，被称为 “海洋卫士” [1-2]。福建省是我国红树林自然分布最北的省份，在我国红树林地理分布研究中具有特殊的地位[3]。近年来，红树林特殊生态环境下生存的异常丰富的微生物资源受到越来越多的关注，研究人员已从红树林中筛选到具有抗肿瘤、抗病毒、抗细菌等功能的多种微生物[4-6]，在医学领域展现出良好的应用潜力。然而，筛选和鉴定红树林中具有拮抗植物病原物活性的微生物资源的报道还较少，其优异的生防微生物资源有待进一步的挖掘和应用。
长期不合理使用农药造成环境污染、病原菌抗药性产生等诸多问题，严重制约了农业的可持续发展[7]。在日益重视环境保护的背景下，迫切需要挖掘新的生防资源，开发安全、高效、绿色环保的生防产品，以应对农业病虫害暴发与流行的威胁，维护全球粮食安全。芽孢杆菌Bacillus spp.是一类重要的植物病害生防资源，其生长速度快、营养需求简单，能够产生耐热、耐旱的内生孢子，有很强的抗逆能力，且不易产生抗药性，在植物病害绿色防控中具有广阔的应用前景。目前报道的主要生防芽孢杆菌包括枯草芽孢杆菌B. subtilis、蜡样芽孢杆菌B. cereus、苏云金芽孢杆菌B. thuringiensis、多黏类芽孢杆菌Paenibacillus polymyxa、短小芽孢杆菌B. pumilus等[8-10]。如从药用石豆兰中分离出枯草芽孢杆菌BBs-27对黄色镰刀菌有较强抑制作用[11]；短小芽孢杆菌KX-33种衣剂处理对棉花枯萎病的防效达到60.83%[12]。此外，一些芽孢杆菌具有广谱拮抗活性，能同时防治多种病害，如枯草芽孢杆菌的不同菌株QST713、GB03、MB1600和FZB24，其中QST713主要用于防治蔬菜、樱桃、葡萄、葫芦和胡桃病害，GB03和MB1600主要用于防治豆类、麦类、棉花和花生根部病， FZB24主要用于防治植物根腐病和枯萎病[13]；贝莱斯芽孢杆菌DJ1对白菜软腐病菌Pectobacterium carotovorum BC2、圆葱软腐病菌Burkholderia gladioli YC1、娃娃菜软腐病菌Pseudomonas sp. WWC2离体防效分别为84.30%、60.21%和69.96%，在防治蔬菜软腐病方面具有很好的应用潜能[14]。
本研究从福建省采集了8份红树林根际沉积物样品，从中筛选并获得10株对梨火疫病原细菌Erwinia amylovora具有良好拮抗活性的芽孢杆菌。选择其中拮抗活性最高的3株芽孢杆菌，分析其对水稻白叶枯病菌Xanthomonas oryzae pv. oryzae、番茄青枯病菌Ralstonia solanacearum、草莓炭疽病菌Colletotrichum gloeosporioides和小麦赤霉病菌Fusarium graminearum的抑制作用。本研究旨在为下一步高效绿色广谱生防菌株的开发和利用奠定理论基础。
1. 材料与方法
1.1 材料
所用菌株：梨火疫病菌、番茄青枯病菌、水稻白叶枯病菌、草莓炭疽病菌、小麦赤霉病菌，均来自中国农业科学院植物保护研究所植物病虫害综合治理全国重点实验室。
样品采集：2023年5月于福建漳州采集了8份红树林(秋茄Kandelia candel和白骨壤Avicennia marina混植林)根际沉积物样品，每份样品约200 g，装于密封袋，室温保存。
培养基：固体NA培养基(蛋白胨10 g，牛肉膏3 g，氯化钠5 g，琼脂15 g，蒸馏水
1000 mL，pH 7.4)；固体LB培养基(胰蛋白胨10 g，酵母提取物5 g，琼脂15 g，蒸馏水1000 mL，pH 7.2)；PSA培养基(蛋白胨10 g，蔗糖10 g，谷氨酸1 g，琼脂15 g，蒸馏水1000 mL，pH 7.0)；PDA培养基(马铃薯200 g，葡萄糖20 g，琼脂15 g，蒸馏水1000 mL，pH 7.0)。液体培养基配方为相应固体培养基中不加琼脂。1.2 方法
1.2.1 拮抗菌初筛
参照刘国红等[15]方法，称取土壤样品10 g，加入装有90 mL无菌水的三角瓶，振荡摇匀后80 ℃水浴10 min，水浴期间摇匀2~3次，使之水浴充分，即配成10−1浓度的稀释液，作为土壤悬液原液。将土壤悬液原液继续稀释为10−2、10−3和10−4 3个浓度梯度，吸取200 µL不同浓度梯度的土壤悬浮液，涂布到事先倒好含梨火疫病菌(1.0×106 CFU/mL)的NA平板上，每个浓度梯度重复3次，待涂布好的平板晾干后放入28 ℃恒温培养箱静置培养48 h，随后对着光观察平板上的抑菌圈，挑取有抑菌圈的菌株，在新的LB平板上划线培养48 h，得到纯培养物。将纯化后的菌株接种到LB液体培养基中，28 ℃、180 r/min震荡培养过夜后，与50%(φ)甘油溶液按体积比1∶1混匀，于−80 ℃保存。
1.2.2 拮抗菌的复筛
将得到的对梨火疫病菌具有拮抗作用的菌株在LB固体培养基上活化后，用直径为0.5 cm的打孔器打菌饼，随后将菌饼挑至含梨火疫病菌的NA固体培养基上，28 ℃恒温静置培养48 h，测量并记录抑菌圈直径，每个处理重复3次。
1.2.3 拮抗菌的分类鉴定
将筛选得到的菌株在LB液体培养基上28 ℃、180 r/min震荡培养24 h，收集菌体，参照细菌DNA提取试剂盒(DP302-02，天根生化科技有限公司)说明书提取基因组DNA，以芽孢杆菌16S rDNA通用引物27F(AGAGTTTGATCCTGGCTCAG)和1492R(TACGACTTAACCCCAATCGC)进行PCR扩增。扩增产物经10 g/L琼脂糖凝胶电泳检测合格后，送北京六合华大基因科技有限公司进行测序，所得序列通过EzBioCloud数据库(https://www.ezbiocloud.net/)进行在线比对，以相似性最高菌株的序列作为参比对象，参照鲁晏宏等[16]方法，采用MEGA6.0软件对各菌株的系统发育地位进行分析。
将菌株PBIB1、PBIB4和PBIB7在LB液体培养基上28 ℃、180 r/min震荡培养24 h，收集菌体，参照细菌DNA提取试剂盒(DP302-02，天根生化科技有限公司)说明书提取基因组DNA。将菌株基因组DNA送至北京赛默百合生物科技有限公司进行基因组测序，并进行比对分析，最终鉴定PBIB1、PBIB4和PBIB7。
1.2.4 拮抗菌对其他病原菌的拮抗活性测定
对病原细菌的拮抗活性测定：将芽孢杆菌在LB固体培养基上活化后，用打孔器打取直径为0.5 cm的菌饼，分别放置在含番茄青枯病菌(1.0×106 CFU/mL)的NA固体培养基和含水稻白叶枯病菌(1.0×106 CFU/mL)的PSA固体培养基上，28 ℃恒温静置培养48 h，测量并记录抑菌圈直径，每个处理重复3次。
对病原真菌的拮抗活性测定：将病原真菌在PDA固体培养基上28 ℃恒温静置培养5 d后，用打孔器打取直径为0.5 cm的菌饼，放置在新鲜的PDA平板中间；将准备好的芽孢杆菌菌饼围绕病原真菌呈三角形放置，于28 ℃恒温静置培养5 d，测量病菌半径(r)，并计算抑制率。以只放置病原菌菌饼的PDA平板为对照，每个处理重复3次。
$$ \text { 抑菌率 }=\left(r_{\text {对照 }}-r_{\text {处理 }}\right) / r_{\text {对照 }} \times 100 {\text{%}} 。 $$ (1) 1.2.5 室内防效测定
对梨火疫病菌的室内防效测定：参照Kharadi等[17]方法，挑取新鲜的芽孢杆菌和梨火疫病菌，分别在LB液体培养基和NA液体培养基中，28 ℃、180 r/min震荡培养24 h，测定菌液浓度并调至D600 nm=1.0。将等体积的芽孢杆菌和梨火疫病菌混合，取10 µL混合菌液接种在库尔勒香梨上，分别接种3 g/L四霉素(辽宁微科生物工程有限公司)
1000 倍稀释液和梨火疫病菌混合液、生防菌，以只接种病原菌为阳性对照，以只接种无菌水为阴性对照。试验重复3次，每次每个处理接种5个梨。将接种后的梨放置于28 ℃静置，5 d后和7 d后分别拍照记录发病情况，并于7 d后计算防治效果。对草莓炭疽病菌的室内防效测定：参照Ma等[18]方法，将草莓炭疽病菌在PDA固体培养基上，28 ℃培养8 d，刮取菌丝放入适量无菌水中，用无菌涂布棒搅拌混匀，4层无菌纱布过滤，采用血球计数板统计滤液中的孢子浓度，用无菌水将孢子浓度稀释至1.0×106 CFU/mL，备用。挑取新鲜的芽孢杆菌，在LB液体培养基中28 ℃、180 r/min震荡培养48 h，测定菌液浓度并调至D600 nm=1.0。将等体积的草莓炭疽病菌孢子悬浮液和芽孢杆菌菌悬液混合，吸取10 µL注射至草莓叶片上，同时设只接种生防菌处理，以只接种病原菌为阳性对照，以只接无菌水处理为阴性对照。试验重复3次，每次每个处理接种10片叶片。将接种后的叶片放置于28 ℃静置并保湿，第4 天和第6 天分别拍照记录发病情况，并于第6 天根据病斑直径(d)计算防效。
$$ \text { 防效 }=\left(d_{\text {阳性对照 }}-d_{\text {处理 }}\right) / d_{\text {阳性对照 }} \times 100 {\text{%}} \text { 。 } $$ (2) 1.2.6 数据分析
数据采用SPSS软件进行单因素方差分析中的Duncan’s法进行显著性分析。
2. 结果与分析
2.1 拮抗菌筛选
通过对采集的8份土样初筛，共获得10个对梨火疫病菌具有拮抗作用的菌株。采用平板对峙法对得到的10个菌株的抑菌能力进行复筛，以抑菌圈直径的大小表示拮抗能力的强弱。结果(图1)显示，菌株PBIB4和PBIB1的抑菌作用最强，抑菌圈直径分别为4.23和4.17 cm；其次为PBIB9和PBIB7，抑菌圈直径分别为4.07和3.70 cm；有8个菌株对梨火疫病菌的抑菌圈直径超过3 cm，占总筛选菌株总数的80%。
![]()
图 1 生防芽孢杆菌菌株对梨火疫病菌的拮抗作用柱子上方的不同小写字母表明差异显著(P<0. 05， Duncan’s法)。Figure 1. Antagonistic effects of biocontrol Bacillus strains on Erwinia amylovoraDifferent lowercase letters on bars indicate significant differences (P<0. 05，Duncan’s method).2.2 拮抗菌的分类鉴定
对所得的10个拮抗菌株分别提取基因组DNA，以16S rDNA引物进行PCR 扩增，对获得的序列进行测序，得到的测序结果提交NCBI数据库进行比对，选择相似度较高的模式菌株序列以及测序获得的序列构建系统发育树。结果(图2)显示，所得10个菌株均为芽孢杆菌，其中PBIB1、PBIB2、PBIB4、PBIB5、PBIB6和PBIB9初步鉴定为贝莱斯芽孢杆菌B. velezensis，PBIB3为席勒氏短芽孢杆菌B. schisleri，PBIB7 和PBIB8为特基拉芽孢杆菌B. tequilensis或枯草芽孢杆菌，PBIB10为多黏类芽孢杆菌。
![]()
图 2 基于16S rDNA基因序列构建的拮抗芽孢杆菌系统发育树Figure 2. Phylogenetic tree of antagonist Bacillus strains based on 16S rDNA gene sequences为进一步鉴定这些芽孢杆菌，我们挑选对梨火疫病菌拮抗效果较好的3株菌PBIB1、PBIB4和PBIB7，提取其基因组并进行测序分析。测序结果和NCBI基因组数据库进行比对，结果显示，PBIB1(BioSample accessions：SAMN40965255)、PBIB4(BioSample accessions：SAMN40965255)和PBIB7(BioSample accessions：SAMN40965255)分别与贝莱斯芽孢杆菌SF334、贝莱斯芽孢杆菌AD8和枯草芽孢杆菌YB-15的序列相似性最高，分别为99.85%、99.99%和99.78%，表明PBIB1和PBIB4为贝莱斯芽孢杆菌，PBIB7为枯草芽孢杆菌。
2.3 拮抗菌对番茄青枯病菌和水稻白叶枯病菌的拮抗活性
为进一步测定所得拮抗菌株对植物病原细菌的抑制效果，选择生产上对蔬菜和水稻威胁严重的2种病原细菌番茄青枯病菌和水稻白叶枯病菌，检测PBIB1、PBIB4和PBIB7对其的拮抗活性。平板拮抗试验结果(图3)显示，这3个芽孢杆菌对番茄青枯病菌和水稻白叶枯病菌均具有拮抗作用，其中，PBIB1、PBIB4和PBIB7对番茄青枯病菌的抑菌圈直径分别为3.15、3.20和2.85 cm，对水稻白叶枯病菌的抑菌圈直径分别为5.80、5.95和4.50 cm。
![]()
图 3 3株芽孢杆菌对番茄青枯病菌和水稻白叶枯病菌的拮抗活性Figure 3. Antagonistic activities of three Bacillus strains against Ralstonia solanacearum and Xanthomonas oryzae pv. oryzae2.4 拮抗菌对草莓炭疽病菌和小麦赤霉病菌的拮抗活性
为进一步检测所得拮抗菌株的抑菌谱，本研究采用平板对峙法，测定了PBIB1、PBIB4和PBIB7对重要的植物病原真菌草莓炭疽病菌和小麦赤霉病菌的拮抗作用。结果(图4)显示，PBIB1、PBIB4和PBIB7对2个病原真菌均具有明显的拮抗作用，三者对草莓炭疽病菌的抑菌率分别为86.77%、82.09%和76.40%，对小麦赤霉病菌的抑菌率分别为78.89%、71.85%和65.93%(表1)。
![]()
图 4 3株芽孢杆菌对草莓炭疽病菌和小麦赤霉病菌的拮抗活性Figure 4. Antagonistic activities of three Bacillus strains against Colletotrichum gloeosporioides and Fusarium graminearum表 1 3株芽孢杆菌对草莓炭疽病菌和小麦赤霉病菌的抑菌率1)Table 1. Inhibition rates of three Bacillus strains against Colletotrichum gloeosporioides and Fusarium graminearum% 菌株 Strain 草莓炭疽病菌 C. gloeosporioides 小麦赤霉病菌 F. graminearum PBIB1 86.77±1.83a 78.89±3.33a PBIB4 82.09±1.33ab 71.85±1.28b PBIB7 76.40±1.86b 65.93±2.57c 1) 同列数据后的不同小写字母表示差异显著(P<0. 05， Duncan’s法)。
1) Different lowercase letters in the same column indicate significant differences (P<0. 05，Duncan’s method).2.5 拮抗菌对梨火疫病的室内防效
对梨火疫病室内防效测定结果(图5)显示，接种5和7 d后，拮抗菌和四霉素均能显著抑制火疫病菌侵染梨果实。进一步分析(表2)表明，接种7 d后，PBIB1和PBIB4对梨火疫病防治效果最好，分别为82.83%和78.84%；其次为PBIB7，对梨火疫病的防治效果68.86%。此外，对照组四霉素处理对梨火疫病的防效为63.87%。
![]()
图 5 3株芽孢杆菌对梨火疫病的室内防效1：Erwinia amylovora；2：PBIB1+E. amylovora；3：PBIB4+E. amylovora；4：PBIB7+E. amylovora；5：四霉素Tetramycin+E. amylovor；6：ddH2O。Figure 5. Control effects of three Bacillus strains on fire blight in greenhouse表 2 不同处理后梨火疫病病斑直径和防效Table 2. The lesion diameters and the control effects on fire blight after different treatments处理 Treatment 病斑直径/cm
Disease spot diameter防效1)/%
Control effectPBIB1 0 PBIB1+Erwinia amylovora 0.28±0.03 82.83±1.17a PBIB4 0 PBIB4+E. amylovora 0.35±0.09 78.84±4.56a PBIB7 0 PBIB7+E. amylovora 0.51±0.08 68.86±3.82b E. amylovora 1.67±0.06 四霉素+E. amylovora Tetramycin+E. amylovora 0.60±0.08 63.87±4.03b ddH2O 0 1) 同列数据后的不同小写字母表示差异显著(P<0. 05， Duncan’s法)。
1) Different lowercase letters in the same column indicate significant differences (P<0. 05，Duncan’s method).2.6 拮抗菌对草莓炭疽病的室内防效
对草莓炭疽病室内防效测定结果(图6)显示，接种4和6 d后，拮抗菌均能显著抑制炭疽病菌侵染草莓叶片。进一步分析(表3)表明接种6 d后， PBIB1和PBIB4对草莓炭疽病的防治效果最好，分别为92.31%和90.38%； PBIB7次之，对草莓炭疽病的防治效果为67.30%。
![]()
图 6 3株芽孢杆菌对草莓炭疽病的室内防效Figure 6. Control effect of three Bacillus strains on strawberry anthracnose in greenhouse表 3 不同处理后草莓炭疽病病斑直径和防效Table 3. The lesion diameters and the control effects on strawberry anthracnose after different treatments处理
Treatment病斑直径/cm
Disease spot diameter防效1)/%
Control effectPBIB1 0 PBIB1+Colletotrichum gloeosporioides 0.13±0.05 92.31±3.03a PBIB4 0 PBIB4+C. gloeosporioides 0.17±0.06 90.38±3.67a PBIB7 0 PBIB7+C. gloeosporioides 0.57±0.09 67.30±4.88b C. gloeosporioides 1.73±0.12 ddH2O 0 1) 同列数据后的不同小写字母表示差异显著(P<0. 05， Duncan’s法)。
1) Different lowercase letters in the same column indicate significant differences (P<0. 05，Duncan’s method).3. 讨论与结论
红树林复杂而独特的生态系统决定了其微生物的多样性及资源的珍稀性[19]。研究表明，细菌是红树林生态系统中最主要的微生物类群，其次是真菌，放线菌和微型藻类相对较少[20]。崔莹等[21]在海南红树林土壤中分离到155株芽孢杆菌，分属21个遗传类群，显示出海南红树林土壤中芽孢杆菌丰富的遗传多样性。本研究以梨火疫病菌为生防靶标，在8份福建红树林沉积物中特异筛选到10株具有拮抗活性的芽孢杆菌。16S rDNA鉴定结果显示，这10株菌分属于贝莱斯芽孢杆菌、席勒氏短芽孢杆菌、特基拉芽孢杆菌或枯草芽孢杆菌，以及多黏类芽孢杆菌等，表明福建红树林沉积物中具有丰富的生防资源。戴悦等[22]在广东省湛江市红树林根际土壤中筛选到107株对动物病原细菌有拮抗作用的菌株，其中肠杆菌属占比最多，为69.2%，其次为芽孢杆菌属，占比为15.9%。本研究特异性筛选了芽孢杆菌，而对红树林中其他类型生防资源的挖掘与利用，还有待下一步的研究。
梨火疫病是我国进境植物检疫危险性病害，于2016年入侵我国新疆地区[23-24]。目前，我国种植的梨树多为梨火疫病感病品种，尤其是经济价值较高的库尔勒香梨，对梨火疫病表现为高感[25]。基于近年对绿色环保的要求，农用链霉素产品已全部退出我国市场[26]，因此急需开发高效绿色的生防产品，以应对梨火疫病流行风险。本研究对筛选到的3株生防芽孢杆菌进行梨火疫病室内防效测定，结果显示，PBIB1、PBIB4和PBIB7对梨火疫病的防治效果分别为82.83%、78.84%和68.86%。下一步将以这3株菌为基础，重点研究其抑菌机制，优化其发酵条件，为开发梨火疫病的生防制剂打好基础。
在田间环境下，由多种病原菌复合侵染导致的病害较为常见，和单一病原菌侵染引起的病害相比，其造成的损失要更加严重，且防控难度高[27]。如不同尖孢镰刀菌专化型复合侵染引起的番茄枯萎病[28]，黑点根腐病菌和镰孢菌复合侵染引起的甜瓜根腐病[29]，围小丛壳菌与葡萄座腔菌复合侵染引起茶褐枯病等[30]。在新疆梨园中，也观察到火疫病菌和轮纹病菌共同侵染导致梨树发病的现象。利用广谱拮抗活性的生防菌是防治复合侵染病害的有效手段。本研究对PBIB1、PBIB4和PBIB7的进一步分析显示，其对番茄青枯病菌、水稻白叶枯病菌、草莓炭疽病菌、小麦赤霉病菌等主要作物病原菌均具有很好的拮抗作用，且对草莓炭疽病菌的盆栽防效分别为92.31%、90.38%和67.30%，表明PBIB1、PBIB4和PBIB7具有作为广谱拮抗菌的应用潜力。
-
![]()
图 4 果树实际RGB图像与重建结果对比
Figure 4. Comparison between actual RGB image of fruit trees and reconstructed result
![]()
图 5 RandLA-Net的结构
方块中的N代表输入点的数量，另外的数字代表特征的通道数，n_classes代表点的种类数。FC、LFA、RS、MLP、US分别表示全连接层、局部特征聚合、随机采样、多层感知器、上采样。
Figure 5. Structure of RandLA-Net
N in the blocks represents the number of input points, while other numbers represent the feature channel dimensions. n_classes represents the number of point categories. FC, LFA, RS, MLP, and US stand for Fully Connected layer, Local Feature Aggregation, Random Sampling, Multi-Layer Perceptron, and Upsampling, respectively.
表 1 相机参数表
Table 1 Camera parameter table
参数 DFOV / HFOV / VFOV 分辨率/MP 最大帧率/(帧·s−1) 焦距/mm 光圈 镜头尺寸 像素/(µm×µm) RGB相机 78°D / 66°H / 54°V 12( 4032 ×3040 )60 4.81 1.8±5% 1/2.3” 1.55×1.55 OAK-D-PRO相机 82°D / 72°H / 50°V 1( 1280 ×800)120 2.35 2.0±5% 1/4” 3×3 
下载: 导出CSV
表 2 RandLA-Net与加入BEM模块的结果对比
Table 2 Comparison of results between RandLA-Net and RandLA-Net adding BEM module
模型 mAcc/% mIoU/% OA/% $ \mathrm{I}\mathrm{o}{\mathrm{U}}_{\mathrm{f}\mathrm{r}\mathrm{u}\mathrm{i}\mathrm{t}} $/% t/ms RandLA-Net 87.45 85.24 96.3 74.76 228.64 RandLA-Net+BEM 88.78 87.88 96.5 79.56 226.12
下载: 导出CSV
表 3 使用不同的损失函数方案的结果对比
Table 3 Comparison of results using different loss function schemes
损失函数 mAcc mIoU $ \mathrm{I}\mathrm{o}{\mathrm{U}}_{\mathrm{f}\mathrm{r}\mathrm{u}\mathrm{i}\mathrm{t}} $ $ \mathrm{I}\mathrm{o}{\mathrm{U}}_{\mathrm{b}\mathrm{a}\mathrm{c}\mathrm{k}\mathrm{g}\mathrm{r}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{d}} $ WCEL 88.78 87.88 79.56 96.21 FL 83.54 86.43 77.91 96.11 DL 71.82 75.95 65.79 93.27 FL+DL 87.99 88.76 82.09 96.16
下载: 导出CSV
-
[1] SANGIORGIO P, VERARDI A, SPAGNOLETTA A, et al. Citrus as a multifunctional crop to promote new bio-products and valorize the supply chain[J]. Environmental Engineering and Management Journal, 2020, 19(10): 1869-1889. doi: 10.30638/eemj.2020.179
[2] 肖阳, 项明宇, 李熹. 基于改进YOLOv8n的轻量化柑橘成熟度检测[J]. 计算机系统应用, 2024, 33(11): 202-208. [3] 伍倩. 基于Kinect v2相机的柑橘点云分割与配准研究[D]. 桂林: 广西师范大学, 2022. [4] 邹密. 基于三维重建的柑橘冠层特征检测系统设计与实现[D]. 重庆: 西南大学, 2023. [5] 韩旭洁. 基于深度学习的果实点云分类与分割[D]. 杨凌: 西北农林科技大学, 2022. [6] AFONSO M, FONTEIJN H, FIORENTIN F S, et al. Tomato fruit detection and counting in greenhouses using deep learning[J]. Frontiers in Plant Science, 2020(11): 571299. doi: 10.3389/fpls.2020.571299.
[7] PENG H, XUE C, SHAO Y, et al. Semantic segmentation of Litchi branches using DeepLabV3+ model[J]. IEEE Access, 2020(8): 164546-164555.
[8] KANG H, CHEN C. Fruit detection and segmentation for apple harvesting using visual sensor in orchards[J]. Sensors, 2019, 19(20): 4599. doi: 10.3390/s19204599
[9] BARGOTI S, UNDERWOOD J P. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics, 2017, 34(6): 1039-1060. doi: 10.1002/rob.21699
[10] FU K, WEI P, VILLACRES J, et al. Fusion-driven tree reconstruction and fruit localization: Advancing precision in agriculture[EB/OL]. arXiv: 2310.15138(2023-10-23)[2024-10-01]. https://arxiv.org/abs/2310.15138v2.
[11] GE Y, XIONG Y, FROM P J. Symmetry-based 3D shape completion for fruit localisation for harvesting robots[J]. Biosystems Engineering, 2020, 197: 188-202. doi: 10.1016/j.biosystemseng.2020.07.003
[12] ZHAO L, HUANG S, DISSANAYAKE G. Linear SFM: A hierarchical approach to solving structure-from-motion problems by decoupling the linear and nonlinear components[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 141: 275-289. doi: 10.1016/j.isprsjprs.2018.04.007
[13] SEITZ S M, CURLESS B, DIEBEL J, et al. A comparison and evaluation of multi-view stereo reconstruction algorithms[C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). New York, NY, USA: IEEE, 2006: 519-528.
[14] DONG J, BURNHAM J G, BOOTS B, et al. 4D crop monitoring: Spatio-temporal reconstruction for agriculture[C]//2017 IEEE International Conference on Robotics and Automation (ICRA), Singapore: IEEE, 2017: 3878-3885.
[15] LI Z, ZHANG Z, LUO S, et al. An improved matting-SfM algorithm for 3D reconstruction of self-rotating objects[J]. Mathematics, 2022, 10(16): 2892. doi: 10.3390/math10162892.
[16] GENÉ-MOLA J, GREGORIO E, CHEEIN F A, et al. Fruit detection, yield prediction and canopy geometric characterization using LiDAR with forced air flow[J]. Computers and Electronics in Agriculture, 2019, 168: 105121. doi: 10.1016/j.compag.2019.105121.
[17] CHAKRABORTY M, KHOT L R, SANKARAN S, et al. Evaluation of mobile 3D light detection and ranging based canopy mapping system for tree fruit crops[J]. Computers and Electronics in Agriculture, 2019, 158: 284-293. doi: 10.1016/j.compag.2019.02.012
[18] CAO W, WU J, SHI Y, et al. Restoration of individual tree missing point cloud based on local features of point cloud[J]. Remote Sensing, 2022(14): 1346. doi: 10.3390/rs14061346.
[19] AI M, YAO Y, HU Q, et al. An automatic tree skeleton extraction approach based on multi-view slicing using terrestrial LiDAR scans data[J]. Remote Sensing, 2020, 12(22): 3824. doi: 10.3390/RS12223824.
[20] HUANG S, GOJCIC Z, HUANG J, et al. Dynamic 3D scene analysis by point cloud accumulation[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 674-690.
[21] ZAPATA N T, TSOULIAS N, SAHA K K, et al. Fourier analysis of LiDAR scanned 3D point cloud data for surface reconstruction and fruit size estimation[C]//2022 IEEE Workshop on Metrology for Agriculture and Forestry (MetroAgriFor). Perugia, Italy: IEEE, 2022: 197-202.
[22] MILDENHALL B, SRINIVASAN P P, TANCIK M, et al. NeRF: Representing scenes as neural radiance fields for view synthesis[C]//Computer Vision, Cham: Springer International Publishing, 2020: 99-106.
[23] ADAMKIEWICZ M, CHEN T, CACCAVALE A, et al. Vision-only robot navigation in a neural radiance world[J]. IEEE Robotics and Automation Letters, 2022, 7(2): 4506-4613.
[24] SHEN S, WANG Z, LIU P, et al. Non-line-of-sight imaging via neural transient fields[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(7): 2257-2268. doi: 10.1109/TPAMI.2021.3076062
[25] HONG K, WANG H, YUAN B. Inspection-Nerf: Rendering multi-type local images for dam surface inspection task using climbing robot and neural radiance field[J]. Buildings, 2023, 13(1): 213. doi: 10.3390/buildings13010213.
[26] GAO X, YANG J, KIM J, et al. MPS-NeRF: Generalizable 3D human rendering from multiview images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(12): 9154-9167.
[27] DENG N, HE Z, YE J, et al. FoV-NeRF: Foveated neural radiance fields for virtual reality[J]. IEEE Transactions on Visualization and Computer Graphics, 2022, 28(11): 3854-3864. doi: 10.1109/TVCG.2022.3203102
[28] QI C R, SU H, MO K, et al. PointNet: Deep learning on point sets for 3D classification and segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA: IEEE, 2017: 652-660.
[29] QI C R, YI L, SU H, et al. PointNet++: Deep hierarchical feature learning on point sets in a metric space[C]//31st Conference on Neural Information Processing Systems (NeurIPS 2017), Long Beach, CA: NeurIPS, 2017: 5099-5108.
[30] SHI S, WANG X, LI H. PointRCNN: 3D object proposal generation and detection from point cloud[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA: IEEE, 2019: 770-779.
[31] SHI S, GUO C, JIANG L, et al. PV-RCNN: point-voxel feature set abstraction for 3D object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, 2020: 10529-10538.
[32] DING Z, HAN X, NIETHAMMER M. VoteNet: A deep learning label fusion method for multi-atlas segmentation[J]. Medical Image Computing and Computer-Assisted Intervention, 2019, 11766: 202-210.
[33] HU Q, YANG B, XIE L, et al. RandLA-Net: Efficient semantic segmentation of large-scale point clouds[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, 2020: 11105-11114.
[34] CUI Y, CHANG Q, LIU Q, et al. 3D reconstruction with spherical cameras[J]. IEEE Access, 2021, 9: 143531-143544. doi: 10.1109/ACCESS.2021.3119367.
[35] 钱德宇. 可移动文物数字化原真采集系统研究与实现[D]. 北京: 北京邮电大学, 2023.
计量
- 文章访问数: 33
- HTML全文浏览量: 7
- PDF下载量: 12
