Depth estimation for corn plant images based on hybrid group dilated convolution
-
摘要:目的
研究面向玉米田间场景的图像深度估计方法，解决深度估计模型因缺少有效光度损失度量而易产生的精度不足问题，为田间智能农业机械视觉系统设计及导航避障等提供技术支持。
方法应用双目相机作为视觉传感器，提出一种基于混合分组扩张卷积的无监督场景深度估计模型。设计一种混合分组扩张卷积结构及对应的自注意力机制，由此构建反向残差模块和深度估计骨干网络；并将光照不敏感的图像梯度和Gabor纹理特征引入视图表观差异度量，构建模型优化目标。以田间玉米植株图像深度估计为例，开展模型的训练和测试试验。
结果与固定扩张因子相比，采用混合分组扩张卷积使田间玉米植株深度估计平均相对误差降低了63.9%，平均绝对误差和均方根误差则分别降低32.3%和10.2%，模型精度显著提高；图像梯度、Gabor纹理特征和自注意力机制的引入，使田间玉米植株深度估计平均绝对误差和均方根误差进一步降低3.2%和4.6%。增加浅层编码器的网络宽度和深度可显著提高模型深度估计精度，但该处理对深层编码器的作用不明显。该研究设计的自注意力机制对编码器浅层反向残差模块中不同扩张因子的卷积分组体现出选择性，说明该机制具有自主调节感受野的能力。与Monodepth2相比，该研究模型田间玉米植株深度估计的平均相对误差降低48.2%，平均绝对误差降低17.1%；在20 m采样范围内，估计深度的平均绝对误差小于16 cm，计算速度为14.3帧/s。
结论基于混合分组扩张卷积的图像深度估计模型优于现有方法，有效提升了深度估计的精度，能够满足田间玉米植株图像的深度估计要求。
Abstract:ObjectiveTo study the image depth estimation methods for corn field scenes, solve the problem of insufficient accuracy in depth estimation models due to the lack of effective photometric loss measures, and provide technical support for the vision system design of field intelligent agricultural machinery and navigation obstacle avoidance.
MethodThis study applied binocular cameras as visual sensors, and proposed an unsupervised depth estimation model based on hybrid grouping extended convolution. A hybrid grouping extended convolution structure and its corresponding self-attention regulation mechanism were designed. The reverse residual module and deep neural network were constructed as the backbone of the model. The illumination insensitive image gradient and Gabor texture features were introduced into the apparent difference measurement of view, and the model optimization objective was constructed based on them. Taking maize plant image as an example, the model training and verification tests were carried out.
ResultCompared with the fixed expansion factor, the average relative error of maize plant depth estimation in the field was reduced by 63.9%, the average absolute error and root mean square error were reduced by 32.3% and 10.2% respectively, and the accuracy of the model was significantly improved. With the introduction of image gradient, Gabor texture feature and self-attention mechanism, the mean absolute error and root mean square error of field scene depth estimation were further reduced by 3.2% and 4.6% respectively. Increasing the network width and depth of shallow encoder could significantly improve the accuracy of model depth estimation, but the effect of this treatment on deep encoder was not obvious. The self-attention mechanism designed in this study was selective to the convolution grouping of different expansion factors in the shallow reverse residual module of the encoder, indicating that the mechanism had the ability to adjust the receptive field. Compared with Monodepth2, the average relative error and the average absolute error of the estimated depth of maize plants in the field of the research model were reduced by 48.2% and 17.1% respectively. Within the sampling range of 20 m, the average absolute error of the estimated depth was no more than 16 cm, and the calculation speed was 14.3 frames per second.
ConclusionThe image depth estimation model based on hybrid group dilated convolution is superior to existing methods, effectively improves the accuracy of depth estimation and can meet the depth estimation requirements of field corn plant images.
-
Keywords:
- Depth estimation /
- Dilated convolution /
- Self-attention /
- Unsupervised learning /
- Corn plant image
-
播种是蔬菜生产的基础环节之一。播种机是实现高效、高质量播种作业的重要机具，其关键零部件为排种器。精密排种器的作用是按照农艺要求将种子从种箱成穴有序地排出，实现精密播种，提高播种精度及效率，有利于作物的后期管理以及收获，不仅可以节省种子、减少人工劳动成本，还能够提高作物产量；其性能直接决定播种机的作业质量。为适应小葱等不同密植蔬菜的种植要求[1]，需要排种器的结构尺寸较小。
目前，国内外对小粒种排种器均有研究与应用，国外学者Panning等[2]研制了一种气吸式甜菜排种器，Karayel等[3]研制了应用于黄瓜、西瓜和甜菜等作物的气吸式精密穴播器，但作业效率较低。德国LEMKEN公司生产的Solitair 9气吸式精量播种机[4]，可播种谷物、油菜、草籽和豆类等，实现整地、播种、施肥作业。英国Ferguson公司[5]生产的MF543型气吹式播种机，采用高速气流吹掉重吸的种子，并使用气压差辅助吸种。华中农业大学廖庆喜教授研究团队研制了气吸圆盘式排种器[6]、气吸滚筒式排种器[7]和气压集排式排种器[8-9]，可实现油菜的精量播种。曹秀龙等[10]研制了气吸滚筒式油菜穴盘育苗精密排种器，能够满足油菜和部分蔬菜穴盘育苗的要求。东北农业大学李杞超[11]和Wang等[12]研制了舀勺式小粒径蔬菜种子精量排种器，可实现小粒种蔬菜的播种作业，但田间作业时易受机器振动影响播种质量。以上研究均不能完全满足小粒种蔬菜的精量穴播要求；因此，需要研制一种小粒种精量穴播的排种器。
针对小粒种子不规则、难吸附的问题，种子丸粒化技术可对此进行改善；而且该技术对蔬菜种植业具有明显的促进作用[13]，丸粒化材料当中的营养物质和杀虫杀菌成分可为种子提供良好的萌芽环境，对提高田间发芽率，增强植株的抗病虫、抗自然灾害能力有明显的积极作用[14-15]。此外，丸粒化技术可以填充不规则种子的粗糙表层，形成规则形状，有利于气力式排种器的引导播种[16]。因此，本文的排种器设计以丸粒化种子作为依据。
离散元仿真技术已经较多地应用于对气吸式排种器的工作原理分析，可以研究排种器进种、搅种等过程。目前，离散元仿真软件主要包括EDEM软件和Rocky软件。相对于EDEM软件，Rocky软件设置简单，计算效率高，可实现较大的颗粒尺寸分配，颗粒与边界几何模型导入流程简单，并且与ANSYS软件集成，无需设置耦合接口等优点；因此，本文采用Rocky软件对排种器进种过程进行仿真分析。
根据小粒种排种器设计过程中遇到的种子不规则、难吸附、排种不稳定等问题[17]，本文使用SolidWorks2020建模设计，采用Rocky离散元仿真软件虚拟试验的方法对外壳体种箱结构、进种管结构进行优化设计，并通过试验求解最佳工作参数，以期为气吸式小粒种精量穴播排种器结构设计与优化提供参考。
1. 排种器结构与工作原理
气吸式小粒种精量穴播排种器为负压吸种、正压投种的圆盘循环式排种器，其结构包括底壳、轴承端盖、转轴、链轮压盖、链轮、滚针轴承、背板、排种盘、排种盘压盖、外壳体等零部件。排种器通过底壳上的法兰座与机架螺栓连接，由链轮带动转轴使排种盘转动，种子由种箱经过进种管进入充种区，装配结构图见图1。工作时，种子由种箱经过进种管进入到储种室，在负压作用下吸附在吸种孔上，由转轴带动排种盘转动，将种子携带至落种口处。种子在正压气体作用下落入开沟器开出的播种沟中[18]，并通过镇压轮覆土镇压。
![]()
图 1 气吸式小粒种蔬菜精量穴播排种器结构1：底壳；2：轴承端盖；3：转轴；4：链轮压盖；5：链轮；6：滚针轴承；7：背板；8：排种盘；9：排种盘压盖；10：外壳体Figure 1. Structure of air-suction precision hole sowing seed metering device for small-seeds vegetables1: Bottom shell; 2: Bearing end cover; 3: Rotating shaft; 4: Sprocket gland; 5: Sprocket; 6: Needle roller bearing; 7: Back plate; 8: Seed metering tray; 9: End cover for seed metering tray; 10: Outer shell2. 种子物料特性测定
种子物料特性是排种器设计的重要依据；因此，必须准确测量研究对象的各项物料特性，为排种器种箱、进种管、储种室等提供设计依据[19]。由于2020年广东白菜类蔬菜累计种植面积超过21万公顷，年产量超过590万吨，其种植面积和产量在广东蔬菜种植中占有较大的比例，机械化种植需求日益增长。菜心等白菜类蔬菜种子具有相似的力学和物理特性，其丸粒化处理后的相关特性也取决于包衣材料和技术。因此本文选用‘四九菜心’种子为研究对象，对种子进行丸粒化处理并染红色，为十字花科蔬菜排种器的研究提供参考。
2.1 丸粒化种子尺寸
由于种子的形状和尺寸差异，其在排种器内的流动情况和填充状态也有所不同。种子尺寸一般采用三轴尺寸来表示。小粒种丸粒化处理后为球形，因此测量其直径表示尺寸特征。采用东莞三量量具有限公司生产的JD017型数字式测厚仪(量程：0~10 mm)测量，随机抽取测量1 000粒，绘制粒径频率分布图见图2。由图2可知，种子直径分布在2.3~3.3 mm之间；其中，约65%分布在2.7~3.0 mm之间，约80%分布在2.5~3.1 mm之间，最大频次分布区间为2.80~2.88 mm，符合正态分布规律。
2.2 滑动摩擦角和休止角
种子的滑动摩擦角和休止角直接关系种子在排种器内的流动和相互之间的作用关系。对于缺乏黏聚力的散粒物料，其休止角等于内摩擦角[20]，则摩擦系数为摩擦角的正切值。在Rocky软件中需要对种子的摩擦参数进行输入标定，以获得接近真实状态的仿真效果。
试验采用自制的滑动摩擦角测试装置对种子的摩擦参数进行测量，如图3所示。采用倾斜法[21]对休止角参数进行测量。每项测量重复5次，取平均值，结果见表1。
表 1 种子摩擦参数Table 1. Seed friction parameter项目 Item 角度/(°)
Angle摩擦系数
Coefficient
of friction种子休止角
Seed angle of repose22.24 0.408 9 种子与不锈钢板的滑动摩擦角
Sliding friction angle between seed
and stainless steel plate29.62 0.568 5 种子与光敏树脂板的滑动摩擦角
Sliding friction angle between seed
and photosensitive resin plate28.15 0.535 0 2.3 千粒质量与容重
千粒质量和容重关系种箱大小的设计。根据千粒质量和容重，结合农艺要求和播种机的设计要求确定种箱大小。采用成都倍赛克仪表研究所生产的XH30001型号电子天平和100 mL量杯进行测量，重复5次，取平均值计算千粒质量(T)：13.07 g，容重(R)：0.586 9 g/mL。
3. 排种器外壳体方案设计
外壳体主要包括种箱、进种管等。由于小粒种蔬菜种植密度较大，对播种均匀性要求高，需要对排种器结构尺寸进行紧凑化设计。排种器种箱至储种室之间的进种管布置在外壳体内部。
3.1 种箱容积
配套播种机设计为6行排种器，垄宽(W)为1.1 m，单侧垄沟宽(V)为0.3 m，则行距(M)为0.2 m，穴距(N)按照最小农艺要求，为0.1 m，则666.67 m2用种量(Z总)为：
$$ {Z}_{总}\text=\frac{6\times 666.67}{(W+V)N} ， $$ (1) Z总=28 572粒，则单个排种器每666.67 m2用种量(Z单)=4 762粒。
以每公顷加1次种子计算，根据种子的千粒质量和容重参数。种箱容积(B单)为：
$$ B_{\text{单}}=\frac{{0.015}Z_{{\text{单}}}T}{R} {\text{，}}$$ (2) B单=1 590 mL，取B单=1 600 mL。
3.2 进种管出口大小仿真优化
采用离散元软件对排种器的性能仿真分析，对试验研究具有指导意义，也可以解释试验结果与现象内在的动力学机理[22]。本文采用Rocky软件对排种器外壳体的种子堆积过程进行仿真，以解决和优化进种过程中出现的种子卡顿问题。
在SolidWorks软件中绘制并装配排种盘与外壳体，首先设置排种盘旋转轴与世界坐标系某一轴重合，并且在导出STL文件时勾选“不要转换STL输出数据到正的坐标系”，保证导入的模型在Rocky软件中的坐标系与建模装配时的坐标系一致，能在Rocky软件中准确设置排种盘的旋转运动和颗粒工厂的位置等。
在Rocky软件中导入边界模型，新建颗粒入口、颗粒工厂，根据之前的测量结果设置颗粒大小形状与分布，各实体之间的摩擦参数等。
根据较小尺寸的设计目标，设计了垂直式和侧下式2种外壳体进种管方案，分别在Rocky软件中对其进种过程进行仿真(图4、图5)。
在仿真动画中可以看到，垂直式进种方式中，由于进种管间隙较小，种子流具有明显的卡顿现象(图4)；而侧下式进种方式中，种子流动效果良好，从进种管出口处形成明显的斜坡，吸种孔处的种子层厚度较大，有利于充种(图5)。
根据改进后的进种效果，确定侧下式进种管为优选方案，采用光敏树脂打印加工改进后的外壳体，经过试验，卡种现象没有出现。优化的侧下式进种管进种效果如图6所示。
![]()
图 6 优化的侧下式进种管不同时刻的进种效果Figure 6. Effects of optimized side-down feed mode at different time4. 二次旋转正交组合试验
4.1 排种器性能试验条件
采用自制排种器试验台，试验台由ZX-42GA775F-3500型直流减速电机(减速比115、转速55 r/min)，盛科电子CCM6DS型直流电机调速器，Hti鑫思特HT-1890型数字微压压差计(测量范围±13.79 kPa)，宁波奉化伟成电机厂的WM7060-24V型无刷直流风机，台湾明纬24 v−500 W开关电源和待测排种器等组成，见图7。
![]()
图 7 排种器试验台1：排种器；2：驱动电机；3：正压风机；4：负压风机；5：负压气压表；6：正压气压表Figure 7. Testing platform for seed metering device1: Seed metering device; 2: Drive motor; 3: Positive pressure fan; 4: Negative pressure fan; 5: Negative pressure barometer; 6: Positive pressure barometer根据GB/T 6973—2005《单粒(精密)播种机试验方法》[23]，每次试验采集250穴统计单粒穴数、空穴数和重播穴数，重复3次，取平均值进行分析。统计单粒率(Z1)、空穴率(Z2)、重播率(Z3)，计算公式如下：
$$ {Z_1} = \dfrac{{{{n}_1}}}{N} \times 100{{\text{%}}} , $$ (3) $$ {Z_2} = \dfrac{{{{n}_2}}}{N} \times 100{{\text{%}}} , $$ (4) $$ {Z_3} = \dfrac{{{{n}_3}}}{N} \times 100{{\text{%}}} , $$ (5) 式中，N为理论排种总数，n1为单粒穴数，n2为空穴数，n3为重播穴数。
4.2 试验方案
影响排种器性能的因素之间相互影响与约束，为了研究各因素对排种器性能的影响效果，需确定各因素之间的主次关系和最优组合。采用广东省良种引进有限公司生产、丸粒化处理并染色的‘四九菜心’种子进行试验，根据初步试验结果选择转速范围为5~34 r/min，气压范围为−800~−4 300 Pa，对排种器进行二因素二次旋转正交组合试验，每组试验取250穴，重复3次，取平均值，表2为试验因素编码表。
表 2 排种器试验因素编码表Table 2. Seed metering device test factor and code table变量x范围
Range of variable x标准化后X(编码)
Normalized X(coding)实际变量值
Actual value of variableX1 X2 x1/(r·min−1) x2/Pa 上水平 Upper level 1 1 30.00 −3 800.00 零水平 Baseline level 0 0 20.00 −2 550.00 下水平 Lower level −1 −1 10.00 −1 300.00 距零水平上r点 r above the reference baseline level 1.414 2 1.414 2 34.14 −4 317.75 距零水平下r点 r below the reference baseline level −1.414 2 −1.414 2 5.86 −782.25 标准差 Standard deviation 1 1 10.00 1 250.00 4.3 结果与分析
4.3.1 回归分析与显著性检验
根据二次旋转正交组合试验，使用自行搭建的排种器试验台测试得到各试验组排种器单粒率、空穴率、重播率指数，试验结果见表3。采用Design-expert10.0软件对试验数据进行多元回归拟合，得到单粒率的回归方程，并采用F检验验证其显著性。
表 3 二次旋转正交组合试验设计与结果Table 3. Quadratic orthogonal rotation combination design and experimental results序号
Test number转速(x1)
Rotation speed气压(x2)
Air pressure单粒率(Z1)/%
Single grain rate空穴率(Z2)/%
Leak seeding rate重播率(Z3)/%
Replay seeding rate1 −1 −1 94.93 5.07 0.00 2 1 −1 60.67 39.33 0.00 3 −1 1 98.00 1.33 0.67 4 1 1 96.80 2.80 0.40 5 −1.414 0 97.73 2.00 0.27 6 1.414 0 85.47 14.53 0.00 7 0 −1.414 52.13 47.87 0.00 8 0 1.414 97.73 2.00 0.27 9 0 0 94.93 5.07 0.00 10 0 0 95.73 4.27 0.00 11 0 0 95.73 4.27 0.00 12 0 0 95.47 4.53 0.00 13 0 0 97.20 2.80 0.00 多元回归拟合得到各因素影响排种器单粒率(Z1)和排种器空穴率(Z2)的回归模型分别为：
$$ {Z_1} = 95.1 - 6.6{x_1} + 12.96{x_2} + 8.27{x_1}{x_2} - 9.22{x_2}^2 ， $$ (6) $$ \begin{split} &\;\\ &{Z_2} = 4.82 + 6.68{x_1} - 13.14{\text{ }}{x_2} - 8.19{\text{ }}{x_1}{x_2} + 9.14{\text{ }}{x_2}^2 ， \end{split} $$ (7) 式中，x1为排种器转速，x2为气压。
回归模型的显著性检验与方差分析表见表4。由表4可知，该模型的拟合度极显著(P<0.000 1)，其中排种器转速(x1)、气压(x2)以及两者交互项(x1x2)、气压平方项(x22)的P值均小于0.01；因此这些因素与排种器单粒率、空穴率均显著相关。
表 4 回归方程方差分析Table 4. Variance analysis of regression equation指数
Index来源
Source平方和
Sum of squares自由度
df均方
Mean squareF P 单粒率(Z1)
Single grain rate模型 Model 2 567.93 4 641.98 30.45 <0.000 1 X1 348.66 1 348.66 16.54 0.003 6 X2 1343.90 1 1343.90 63.75 <0.000 1 X1X2 273.35 1 273.35 12.97 0.007 0 X22 602.01 1 602.01 28.56 0.000 7 残差 Residual 168.64 8 21.08 失拟误差 Lack of fit 165.81 4 41.45 58.59 0.000 8 误差 Error 2.83 4 0.71 总和 Total 2 736.58 12 641.98 30.45 空穴率(Z2)
Leak seeding rate模型 Model 2 598.49 4 649.62 31.53 <0.000 1 X1 357.22 1 357.22 17.34 0.0031 X2 1 381.59 1 1381.59 67.05 <0.000 1 X1X2 268.96 1 268.96 13.05 0.006 9 X22 590.72 1 590.72 28.67 0.000 7 残差 Residual 164.84 8 20.60 失拟误差 Lack of fit 162.01 4 40.50 57.24 0.000 9 误差 Error 2.83 4 0.71 总和 Total 2 763.33 12 通过回归系数的检验得知，影响排种器单粒率与空穴率的因素主次顺序为气压、排种器转速。
4.3.2 响应曲面分析
排种器转速与负压以及两者的交互作用对排种器的性能指标均有显著影响，根据响应曲面图(图8)可以分析其对单粒率和空穴率的影响。由于试验中重播率均小于0.8%，满足实际农艺要求，因此对其不再进行讨论。
![]()
图 8 转速−负压对单粒率和空穴率影响的响应曲面图和等高线图Figure 8. Response surface figure and contour map of influences of rotation speed-negative pressure on single grain rate and leak seeding rate依据图8A、8B，当转速一定时，随着负压的增加，单粒率也随之增加；当负压一定时，随着转速的增加，单粒率随之降低。当负压大于−2 800 Pa时，转速在5~30 r/min的范围内对排种器单粒率影响不明显，且此时单粒率均在90%以上。
依据图8C、8D，当转速一定时，随着负压的增加，空穴率也随之降低；当负压一定时，随着转速的增加，空穴率随之增加。当负压大于−2 800 Pa时，速度在5~30 r/min的范围内对排种器空穴率影响不明显，且此时空穴率均在10%以下。
4.3.3 参数优化与试验验证
为了得到排种器的最优工作参数组合，采用目标函数优化的方法，得到最优的单粒率(Z1)。依据提高单粒率、降低气压和提高转速的目标，设置各因素的边界条件：
$$ \begin{split} &\left\{ \begin{array}{l} \max {Z_1}\\ \min {Z_2}\\ \min {Z_3}\\ {\rm{s}}{\rm{.t}}\left\{ \begin{array}{l} 15 \;{{\rm{r}}\cdot {\rm{min}}^{-1}}\leqslant {x_1} \leqslant 34\; {{\rm{r}}\cdot {\rm{min}}^{-1}}\\ - 3\;175\;{\rm{Pa}} \leqslant {x_2} \leqslant - 1\;300\; {{\rm{Pa}}} \end{array} \right. \end{array} \right.， \end{split} $$ (8) 利用Design-Expert软件进行参数优化并分析求解，结果表明，当吸种负压为−2 316 Pa、转速为15 r/min时，排种器单粒率合格指数(单粒率评价指标)达到96.428%，漏播指数(空穴率评价指标)为3.499%，重播指数(重播率评价指标)为0.089%。根据实际应用情况，选择负压为−2 300 Pa，转速为15 r/min。根据预试验选择正压500 Pa作辅助清种，试验在相同条件下重复3次；单粒率、空穴率和重播率理论值分别为96.43%、3.49%、0.089%，实际值分别为96.00%、3.37%、0.267%。验证试验结果表明，单粒率合格指数平均值为96%，漏播指数平均值为3.37%，重播指数平均值为0.267%，试验结果与理论值的差值在0.45%以下，证明在该工作条件下，排种器性能满足《单粒(精密)播种机试验方法》GB/T 6973—2005[23]的要求。
5. 结论
1)设计了一种气吸式小粒种精量穴播排种器，采用负压吸种与正压投种的原理，由底壳、外壳体、排种盘、转轴等组成，结构尺寸相对紧凑，可以实现小粒种蔬菜的精量穴播要求。
2)通过Rocky离散元仿真软件分析垂直式和侧下式2种进种管的进种过程；仿真结果表明垂直式进种方式中，由于进种管间隙较小，种子流具有明显的卡顿现象，而侧下式进种方式种子流动效果良好，从进种管出口处形成明显的斜坡，吸种孔处的种子层厚度较大，有利于充种。
3)排种器二次旋转正交试验结果表明，影响排种器单粒率合格指数与漏播指数的因素主次顺序为气压、排种器转速。当转速一定时，随着负压的增加，单粒率随之增加，空穴率随之降低；当负压一定时，随着转速的增加，单粒率随之降低，空穴率随之增加。当负压大于−2 800 Pa时，转速在5~30 r/min的范围内对排种器单粒率和空穴率影响不明显，且此时单粒率均在90%以上，空穴率均在10%以下。本研究最优参数组合为吸种负压−2 300 Pa、转速15 r/min、正压500 Pa。经验证此时的排种器单粒率合格指数平均值为96%，漏播指数平均值为3.37%，重播指数平均值为0.267%，符合《单粒(精密)播种机试验方法》(GB/T 6973—2005)[23]的要求。
-
![]()
图 1 自监督深度估计模型
Il、Ir分别表示左、右目图像；Dl、Dr分别表示左、右目视差图；$ {\bar I_{\rm{l}}} $、$ {\bar I_{\rm{r}}} $分别表示左、右目重构图像；fB表示图像采样器
Figure 1. Self-supervised depth estimation model
Il and Ir are left and right images respectively; Dl and Dr are left and right disparity maps respectively; $ {\bar I_{\rm{l}}} $ and $ {\bar I_{\rm{r}}} $ represent left and right warping images respectively; fB denotes image sampler
![]()
图 2 基于混合分组扩张卷积与自注意力机制的反向残差模块
DepthConv SC，3×3， s=1，r=G等表示通道数为SC、卷积核大小为3×3、步长为1且扩张因子为G的深度化卷积；Conv表示标准卷积；FC表示全连接层；S为扩展因子，G为组数，R为缩减因子，C、C'表示输入、输出特征图通道数
Figure 2. Inverted residual module based on hybrid group dilated convolution and self-attention mechanism
DepthConv SC, 3×3, s=1, r=G represent deep convolutions with SC channels, 3×3 kernel size, 1 stride, and dilation factor of G; Conv denotes regular convolution; FC means fully connected layers; S is expansion factor; G is the number of group; R is reduction factor; C and C' denote the numbers of input and output channels respectively
![]()
图 3 基于IRM的卷积自编码器
C"为用于调整网络宽度的超参数；TransConv表示转置卷积；$ D_{\rm{l}}^{(1)} $、$ D_{\rm{r}}^{(1)} $、$ E_{\rm{l}}^{(1)} $、$ E_{\rm{r}}^{(1)} $表示多尺度视差图及遮罩平面；/2等表示输出步长
Figure 3. IRM-based convolutional auto-encoder
C" is the super parameter used to adjust network width; TransConv stands for transposed convolution; $ D_{\rm{l}}^{(1)} $, $ D_{\rm{r}}^{(1)} $, $ E_{\rm{l}}^{(1)} $ and $ E_{\rm{r}}^{(1)} $ denote multi-scale disparity maps and mask planes; /2 and so on denote output stride
![]()
图 5 各反向残差模块(IRMs)门限均值比较
Stage i-j表示Stage i的第j个IRM；同一模块的不同小写字母表示差异显著(P< 0.05，Duncan’s法)
Figure 5. Comparison of mean threshold for inverted residual modules (IRMs)
Stage i-j represent the j IRM of stage i; Different lowercase letters of the same module indicate significant differences (P< 0.05, Duncan’s method)
![]()
图 6 各反向残差模块(IRMs)组选择向量标准差
Stage i-j等表示Stage i的第j个IRM；图中的不同小写字母表示差异显著(P< 0.05，Duncan’s 法)
Figure 6. Standard deviation of selection vector for each inverted residual modules group
Stage i-j represent the j IRM of stage i; Different lowercase letters indicate significant differences (P<0.05, Duncan’s method)
![]()
图 7 门限均值与图像平均深度的关系
Figure 7. Relationship between mean threshold and mean depth of image
![]()
图 8 田间玉米植株图像深度估计示例(1~12)
Figure 8. Examples (1−12) of depth estimation for corn plant image
表 1 不同深度估计模型的测试结果1)
Table 1 Test results for different depth estimation models
模型
Model处理 Treatment 深度估计误差 Depth estimation error 阈值限定精度/% Accuracy with threshold 混合扩张
Hybrid
dilation梯度纹理
Gradient and
texture自注意力
Self-attentionRel/% Sq Rel/mm RMSE/mm RMSElg MAE/mm MRE/mm $ \delta < 1.15 $ $ \delta < {1.15^2} $ $ \delta < {1.15^3} $ A 20.8±0.08a 85.3±0.87a 667.0±2.0a 0.1364±0.0007a 249.7±1.1a 272.8±2.3a 80.8±0.35b 85.2±0.23b 89.0±0.31b B √ 7.5±0.02b 66.9±0.67b 599.2±2.0c 0.0764±0.0004b 169.1±1.0b 185.6±1.1b 93.0±0.14a 95.5±0.19a 96.6±0.10a C √ √ 7.3±0.02c 64.9±0.34c 625.1±1.8b 0.0739±0.0002c 167.2±1.0c 184.9±1.7c 92.5±0.20a 95.7±0.14a 97.0±0.12a D √ √ √ 6.7±0.02d 58.0±0.47d 568.2±2.0d 0.0722±0.0002d 161.0±1.0d 177.0±3.4d 93.9±0.13a 96.0±0.20a 97.2±0.09a 1) Rel：平均相对误差，Sq Rel：平方相对误差，MAE：平均绝对误差，MRE：平均距离误差；同列数据后的不同小写字母表示不同模型间差异显著(P<0.05，Duncan’s法)
1) Rel: Mean relative error, Sq Rel: Squared relative error, MAE: Mean absolute error, MRE: Mean range error; Different lowercase letters in the same column indicate significant differences among different models (P<0.05, Duncan’s method)
下载: 导出CSV
表 2 结构超参数对深度估计性能的影响1)
Table 2 Effects of structural hyper parameters on depth estimation performance
模型2)
Model深度估计误差 Depth estimation error 阈值限定精度/% Accuracy with threshold 参数(×106)
Parameter速度/
(帧·s−1)
SpeedRel/% Sq Rel/mm RMSE/mm RMSElg MAE/mm MRE/mm δ < 1.15 δ < 1.152 δ < 1.153 C (2, 8, —) 7.3±0.02e 64.9±0.34d 623.4±1.8b 0.0741±0.0001d 170.7±1.0c 183.7±1.0c 93.5±0.20abc 95.7±0.14ab 97.0±0.12a 2.70 15.7±0.1e C1 (1, 8, —) 7.8±0.05c 79.1±0.82b 723.6±1.9a 0.0764±0.0002c 188.2±1.0a 204.3±1.1a 93.2±0.15bc 95.6±0.15ab 96.9±0.10ab 1.35 20.2±0.5c C2 (4, 8, —) 7.0±0.05f 58.7±0.58e 564.7±2.0f 0.0719±0.0003e 151.6±1.1f 163.5±1.1f 94.2±0.15a 95.9±0.12ab 97.0±0.17a 5.40 10.6±0.1g C3 (2, 2, —) 11.2±0.01a 88.1±0.47a 588.7±1.8d 0.0953±0.0001a 184.3±1.0b 198.7±1.1b 89.7±0.27d 92.8±0.17c 95.0±0.10c 2.44 28.0±0.1a C4 (2, 4, —) 8.0±0.02b 69.7±0.59c 612.8±1.8c 0.0789±0.0005b 169.7±1.0c 183.6±1.1c 93.0±0.18c 95.2±0.14b 96.5±0.13b 2.52 21.6±0.4b C5 (2, 6, —) 7.4±0.02d 63.8±0.81d 576.4±1.9e 0.0759±0.0004c 160.9±0.9de 173.8±0.9de 93.6±0.17ab 95.6±0.18ab 96.7±0.12ab 2.61 18.5±0.0d D (2, 8, 1) 6.9±0.02f 59.0±0.47e 572.1±2.0ef 0.0723±0.0002e 163.2±1.0d 175.9±1.0d 93.8±0.15abc 95.9±0.20ab 97.1±0.09a 4.98 12.3±0.2f D1 (2, 8, 4) 6.8±0.05f 58.2±0.99e 576.9±1.6e 0.0717±0.0003e 158.6±0.9e 171.7±1.0e 93.9±0.19ab 96.0±0.18a 97.2±0.11a 3.27 12.5±0.1f D2 (2, 8, 8) 7.1±0.03e 59.4±0.65e 567.1±1.7f 0.0735±0.0001d 164.2±0.8d 177.1±1.0d 93.8±0.17abc 95.8±0.22ab 97.0±0.07a 2.99 12.5±0.1f D3 (2, 8, 16) 7.2±0.03e 60.1±0.83e 559.0±1.8g 0.0743±0.0004d 163.7±1.1d 175.6±1.1d 93.6±0.12abc 95.7±0.17ab 97.0±0.10a 2.85 12.4±0.1f 1) Rel：平均相对误差，Sq Rel：平方相对误差，MAE：平均绝对误差，MRE：平均距离误差；同列数据后的不同小写字母表示不同模型间差异显著(P<0.05，Duncan’s法)；2)括号中数字依次为超参数S、G和R，其中“—”表示模型不包含R参数
1) Rel: Mean relative error, Sq Rel: Squared relative error, MAE: Mean absolute error, MRE: Mean range error; Different lowercase letters in the same column indicate significant differences among different models (P<0.05, Duncan’s method); 2) The numbers in brackets are super parameters S, G and R in turn, “—” indicates that the model does not contain parameter R
下载: 导出CSV
表 3 编码器架构对深度估计性能的影响1)
Table 3 Effects of encoder architectures on depth estimation performance
模型
Model编码器架构
Encoder architectureC″ 深度估计误差 Depth estimation error 阈值限定精度/% Accuracy with threshold 速度/(帧·s−1)
SpeedRel/% Sq Rel/mm RMSE/mm RMSElg MAE/mm MRE/mm $ \delta < 1.15 $ $ \delta < {1.15^2} $ $ \delta < {1.15^3} $ D1 ResNet50 24 6.9±0.05f 58.4±0.99e 576.4±1.6d 0.0717±0.0003f 158.6±0.9ef 171.7±1.0ef 94.03±0.19a 96.1±0.18a 97.2±0.11a 12.5±0.1e D1a ResNet50 32 7.1±0.03e 57.5±0.75e 537.2±1.7f 0.0736±0.0003e 157.2±1.0f 170.5±1.1f 93.96±0.14a 95.9±0.25a 97.0±0.19a 11.2±0.2f D1b ResNet50 16 8.3±0.06c 71.6±0.94c 620.1±2.0b 0.0804±0.0005c 184.1±1.1c 199.2±0.9c 92.56±0.21c 95.1±0.19bc 96.4±0.18bc 15.1±0.1d D1c ResNet18 24 9.1±0.05b 75.0±0.65b 617.4±1.9b 0.0837±0.0003b 187.6±1.0b 202.5±1.0b 92.51±0.15c 94.7±0.16c 96.1±0.09c 23.9±0.2b D1d ResNet18 32 8.2±0.04c 70.0±0.99c 600.5±1.7c 0.0806±0.0006c 170.5±1.1d 184.1±1.1d 92.82±0.14bc 94.9±0.15bc 96.4±0.17bc 20.7±0.1c D1e ResNet18 16 10.8±0.07a 106.8±0.94a 750.5±1.9a 0.1020±0.0004a 230.4±1.0a 249.3±0.9a 88.78±0.49d 92.2±0.14d 94.1±0.09d 27.4±0.3a D1f ResNet101 24 7.4±0.04d 62.1±0.94d 568.6±1.8e 0.0758±0.0005d 161.8±1.1e 174.6±1.1e 92.51±0.15ab 95.6±0.14ab 96.9±0.18ab 6.3±0.2g 1)Rel：平均相对误差，Sq Rel：平方相对误差，MAE：平均绝对误差，MRE：平均距离误差；同列数据后的不同小写字母表示不同模型间差异显著(P<0.05，Duncan’s法)
1) Rel: Mean relative error, Sq Rel: Squared relative error, MAE: Mean absolute error; MRE: Mean range error; Different lowercase letters in the same column indicate significant differences among different models (P<0.05, Duncan’s method)
下载: 导出CSV
表 4 编码器深层IRMs的自注意力机制对深度估计性能的影响1)
Table 4 Effects of self-attention mechanism of encoder deep IRMs on depth estimation performance
模型
Model移除自注意力阶段
Self-attention detached stage深度估计误差
Depth estimation error阈值限定精度/%
Accuracy with threshold参数
(×106)
Parameter速度/
(帧·s−1)
SpeedRel/% Sq Rel/mm RMSE/mm RMSElg MAE/mm MRE/mm $ \delta < 1.15 $ $ \delta < {1.15^2} $ $ \delta < {1.15^3} $ D1 6.9±0.05a 58.4±0.99a 576.8±1.6a 0.0717±0.0003a 157.9±0.9a 170.6±1.0a 93.9±0.19a 96.0±0.18a 97.2±0.11a 3.27 12.5±0.1fc D1I Stage 4、5 7.0±0.02a 55.8±0.80a 534.3±1.7c 0.0719±0.0003a 154.7±0.9b 167.2±1.0b 94.0±0.11a 96.0±0.06a 97.1±0.09a 2.71 14.3±0.0a D1II Stage 5 7.1±0.02a 58.8±1.01a 560.0±1.9b 0.0722±0.0003a 158.3±1.0a 170.9±0.9a 93.7±0.15a 95.9±0.21a 97.1±0.14a 2.76 13.1±0.1b 1)Rel：平均相对误差，Sq Rel：平方相对误差，MAE：平均绝对误差，MRE：平均距离误差；同列数据后的不同小写字母表示不同模型间差异显著(P<0.05，Duncan’s法)
1) Rel: Mean relative error, Sq Rel: Squared relative error, MAE: Mean absolute error, MRE: Mean range error; Different lowercase letters in the same column indicate significant differences among different models (P<0.05, Duncan’s method)
下载: 导出CSV
表 5 方法间比较1)
Table 5 Comparison of methods
方法
Method深度估计误差 Depth estimation error 阈值限定精度/% Accuracy with threshold Rel/% Sq Rel/mm RMSE/mm RMSElg MAE/mm MRE/mm $ \delta < 1.15 $ $ \delta < {1.15^2} $ $ \delta < {1.15^3} $ D1I 7.0±0.02d 51.1±0.80d 533.3±1.7b 0.0719±0.0003d 155.6±0.9d 167.2±1.0d 94.0±0.11a 96.0±0.06a 96.3±0.09a Monodepth[13] 14.4±0.07b 131.5±1.33b 504.5±2.1b 0.1218±0.0006b 211.2±1.5b 225.2±1.7b 85.9±0.43c 88.5±0.32c 90.3±0.37c Monodepth2[14] 13.5±0.17c 101.5±1.09c 543.4±2.4b 0.1012±0.0006c 187.8±1.8c 198.2±1.6c 87.0±0.17b 91.1±0.07b 93.3±0.11b SGM[34] 27.9±0.26a 932.1±7.05a 2120.0±21.8a 0.1678±0.0034a 676.2±11.7a 728.1±5.6a 80.5±0.44d 81.4±0.33d 81.5±0.18d 1)Rel：平均相对误差，Sq Rel：平方相对误差，MAE：平均绝对误差，MRE：平均距离误差；同列数据后的不同小写字母表示不同方法间差异显著(P<0.05，Duncan’s法)
1) Rel: Mean relative error, Sq Rel: Squared relative error, MAE: Mean absolute error, MRE: Mean range error; Different lowercase letters in the same column indicate significant differences among different methods (P<0.05, Duncan’s method)
下载: 导出CSV
-
[1] MALAVAZI F B P, GUYONNEAU R, FASQUEL J B, et al. LiDAR-only based navigation algorithm for an autonomous agricultural robot[J]. Computers and Electronics in Agriculture, 2018, 154: 71-79. doi: 10.1016/j.compag.2018.08.034
[2] 毛文菊, 刘恒, 王小乐, 等. 双导航模式果园运输机器人设计与试验[J]. 农业机械学报, 2022, 53(3): 27-39. [3] 王亮, 翟志强, 朱忠祥, 等. 基于深度图像和神经网络的拖拉机识别与定位方法[J]. 农业机械学报, 2020, 51(S2): 554-560. [4] 何勇, 蒋浩, 方慧, 等. 车辆智能障碍物检测方法及其农业应用研究进展[J]. 农业工程学报, 2018, 34(9): 21-32. doi: 10.11975/j.issn.1002-6819.2018.09.003 [5] 景亮, 王瑞, 刘慧, 等. 基于双目相机与改进YOLOv3算法的果园行人检测与定位[J]. 农业机械学报, 2020, 51(9): 34-39. doi: 10.6041/j.issn.1000-1298.2020.09.004 [6] 魏建胜, 潘树国, 田光兆, 等. 农业车辆双目视觉障碍物感知系统设计与试验[J]. 农业工程学报, 2021, 37(9): 55-63. doi: 10.11975/j.issn.1002-6819.2021.09.007 [7] 翟志强, 熊坤, 王亮, 等. 采用双目视觉和自适应Kalman滤波的作物行识别与跟踪[J]. 农业工程学报, 2022, 38(8): 143-151. [8] 洪梓嘉, 李彦明, 林洪振, 等. 基于双目视觉的种植前期农田边界距离检测方法[J]. 农业机械学报, 2022, 53(5): 27-33. [9] EIGEN D, PUHRSCH C, FERGUS R. Depth map prediction from a single image using a multi-scale deep network[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems (NIPS 2014). Montreal, Canada: ACM, 2014: 2366-2374.
[10] XIE J Y, GIRSHICK R, FARHADI A. Deep3D: Fully automatic 2D-to-3D video conversion with deep convolutional neural networks[C]//14th European Conference on Computer Vision (ECCV 2016). Amsterdam, Netherlands: Springer, 2016: 842-857.
[11] GARG R, BG V K, CARNEIRO G, et al. Unsupervised CNN for single view depth estimation: Geometry to the rescue[C]//14th European Conference on Computer Vision (ECCV 2016). Amsterdam, Netherlands: Springer, 2016: 740-756.
[12] ZHOU T H, BROWN M, SNAVELY N, et al. Unsupervised learning of depth and ego-motion from video[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017: 6612-6619.
[13] GODARD C, MAC AODHA O, BROSTOW G J. Unsupervised monocular depth estimation with left-right consistency[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017: 6602-6211.
[14] GODARD C, MAC AODHA O, FIRMAN M, et al. Digging into self-supervised monocular depth estimation[C]//IEEE International Conference on Computer Vision (ICCV). Seoul, Korea: IEEE, 2020: 3827-3837.
[15] 周云成, 邓寒冰, 许童羽, 等. 基于稠密自编码器的无监督番茄植株图像深度估计模型[J]. 农业工程学报, 2020, 36(11): 182-192. [16] PILZER A, XU D, PUSCAS M, et al. Unsupervised adversarial depth estimation using cycled generative networks[C]//2018 International Conference on 3D Vision. Verona, Italy: IEEE, 2018: 587-595.
[17] MIYATO T, KATAOKA T, KOYAMA M, et al. Spectral normalization for generative adversarial networks[EB/OL]. arXiv: 1802.05957. https://arxiv.org/abs/1802.05957.pdf.
[18] WAN Y C, ZHAO Q K, GUO C, et al. Multi-sensor fusion self-supervised deep odometry and depth estimation[J]. Remote Sensing, 2022, 14(5): 1228. doi: 10.3390/rs14051228.
[19] JADERBERG M, SIMONYAN K, ZISSERMAN A, et al. Spatial transformer networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS 2015). Montreal, Canada: ACM, 2015: 2017-2025.
[20] IDRISSA M, ACHEROY M. Texture classification using Gabor filters[J]. Pattern Recognition Letters, 2002, 23(9): 1095-1102. doi: 10.1016/S0167-8655(02)00056-9
[21] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015). Munich, Germany: Springer, 2015: 234-241.
[22] YU F, KOLTUN V. Multi-scale context aggregation by dilated convolutions[C]//International Conference on Learning Representations. San Juan, Puerto Rico: IEEE, 2016.
[23] WANG P Q, CHEN P F, YUAN Y, et al. Understanding convolution for semantic segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe, NV, USA: IEEE, 2018: 1451-1460.
[24] YU F, KOLTUN V, FUNKHOUSER T. Dilated residual networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 636-644.
[25] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 1-9.
[26] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the 31st AAAI Conference on Artificial Intelligence (AAAI-17). San Francisco, California, USA: ACM, 2017: 4278-4284.
[27] CHEN Y P, FAN H Q, XU B, et al. Drop an octave: Reducing spatial redundancy in convolutional neural networks with octave convolution[C]//2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea: IEEE, 2020: 3434-3443.
[28] CHOLLET F. Xception: Deep learning with depth wise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 1800-1807.
[29] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 4510-4520.
[30] HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3[C]//2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea: IEEE, 2020: 1314-1324.
[31] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 7132-7141.
[32] KINGMA D P, BA J. Adam: A method for stochastic optimization[J]. Computer Science, 2014.
[33] HIRSCHMÜLLER H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341. doi: 10.1109/TPAMI.2007.1166
[34] SMOLYANSKIY N, KAMENEV A, BIRCHFIFLD S. On the importance of stereo for accurate depth estimation: An efficient semi-supervised deep neural network approach[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City, UT, USA: IEEE, 2018: 11200-11208.
-
期刊类型引用(6)
1. 任德港，王东伟，李墨贤，李绪，马振家，董彤彤，常学良，马世宽，于华丽. 苜蓿小区育种气吸式排种器设计与试验. 农机化研究. 2025(01): 39-45 . 
百度学术
2. 刘海，杜铮，郭翔，李华，马翔远，廖宜涛. 蔬菜种子精量直播技术与装备研究进展. 华中农业大学学报. 2025(01): 225-238 . 百度学术
3. 杨文彩，田梓园，潘吴建，赵静，张海东，李贵荣. 蔬菜穴盘育苗播种机清种装置的设计与试验. 华南农业大学学报. 2024(01): 116-126 . 本站查看
4. 臧英，黄子顺，秦伟，何思禹，钱诚，姜有聪，陶婉琰，张美林，王在满. 气吸式杂交稻单粒排种器研制. 农业工程学报. 2024(06): 181-191 . 百度学术
5. 贾桃，谭蓉，赵倩，王利春，郭文忠. 我国设施生菜无土生产装备研究现状及展望. 中国农机化学报. 2022(02): 67-74 . 百度学术
6. 梅玉茹，谢方平，王修善，李旭，刘大为. 番茄气吸滚筒式排种器的优化设计与试验. 湖南农业大学学报(自然科学版). 2022(06): 730-736 . 百度学术
其他类型引用(5)
计量
- 文章访问数: 110
- HTML全文浏览量: 29
- PDF下载量: 23
- 被引次数: 11
