Multi-sensor data fusion and navigation line extraction method based on discrete factor
-
摘要:目的
针对玉米田间路径边界模糊和形状不规则特点,普通的田间导航线提取算法在农业机器人实际应用中会出现偏差过大的问题，本文针对3~5叶期玉米田提出了基于离散因子的相机与三维激光雷达融合的导航线提取算法。
方法首先利用三维激光雷达获取玉米植株点云数据，同时将相机采集的图像利用超绿化算法和最大类间方差法自动获得绿色特征二值图像，然后将聚类分析后的点云数据投影到图像中的目标边框上，构建多传感器数据融合支持度模型进行特征识别，最后拟合所获取特征中心点即为导航基准线。
结果该算法能够很好地适应复杂环境，具有很强的抗干扰能力，单帧平均处理时间仅为95.62 ms，正确率高达95.33%。
结论该算法解决了传统算法寻找特征质心偏移、识别结果不可靠等问题，为机器人在玉米田间行走提供了可靠的、实时的导航路径。
Abstract:ObjectiveIn view of the fuzzy and irregular shape of the path boundary in the corn field, the common field navigation line extraction algorithm will have the problem of excessive deviation in practical application of agricultural robot. In this paper, a navigation line extraction algorithm based on discrete factor fusion of camera and 3D LiDAR is proposed for the field of corn at 3rd−5th leaf stage.
MethodFirst, three-dimensional lidar was used to obtain corn plant point cloud data. At the same time, the green feature binary images were obtained from the images taken by the camera using the super-green algorithm and the maximum between-cluster variance method, and then the point cloud data after cluster analysis were projected onto the target bounding box in the image. A multi-sensor data fusion support model was constructed for feature recognition. Finally the acquired feature center point was fitted as the navigation baseline.
ResultThe algorithm could adapt well to complex environments and had strong anti-interference ability. The average processing time of a single frame was only 95.62 ms, and the accuracy rate was as high as 95.33%.
ConclusionThe algorithm solves the problems of shifting in finding feature centroid and unreliable recognition results in traditional algorithms, and provides a reliable and real-time navigation path for the robot to walk in corn field.
-
Keywords:
- Multi-sensor /
- Discrete factor /
- Agricultural robot /
- Navigation /
- Laser point cloud /
- Data fusion
-
直流电机具有起动转矩大、制动性能好、调速平滑且调速范围宽、过载能力强、清洁环保等优良特性，被广泛应用于工农业生产的各个领域[1~5]。现有直流电机驱动的研究中，最常见的就是基于PWM的H型全桥驱动电路，这种驱动方式具有快速、精确、高效、低功耗等特点[6-10]，但在大功率电机应用场合，MOSFET过流很大，高达几十安，电路发热严重，不适合长时间工作。病死猪搬运车采用2台较大功率永磁有刷直流电机驱动，需要低速大转矩驱动，电机启动电流大，目前还没有商业化的专用驱动系统。本研究结合病死猪搬运车所用的永磁有刷直流电机底盘驱动需求，设计了用于病死猪搬运车的底盘驱动控制系统并开展了试验研究，为解决病死猪搬运车的大功率永磁有刷直流电机驱动控制问题提供一种方案。
1. 驱动系统总体结构
系统总体框图如图1所示。以单片机STM32F103ZET6为主控制器，将产生的脉宽调制(PWM)信号和方向控制信号(DIR)通过信号线传输至电机驱动电路[11]。电机驱动电路分为功率驱动电路和继电器驱动电路。PWM信号经过光电耦合芯片TLP250后，多个MOS管的栅极并联连接TLP250的输出，由TLP250驱动MOS管，构成功率驱动电路；方向控制信号经逻辑运算后产生新的控制信号，通过继电器驱动电路分别控制2组继电器的关断，从而控制电机的正转或反转[12]。稳压供电电路为整个电机驱动系统提供所需电压。由于所用电机工作电流较大，大电流的冲击很容易烧坏芯片，因此设计过流保护电路很有必要，当电机电流超出设定值时，通过过流保护电路使继电器失电停止工作，电机停转[13]。利用LM358设计电流检测和反馈电路，通过闭环反馈稳定电机工作电流，当电流过大时，反馈信号和PWM信号经逻辑运算后产生的信号使继电器关断，从而保护整个驱动电路[13-17]。
2. 硬件电路和控制方法
2.1 硬件电路设计
硬件电路是控制系统的重要组成部分，是实现系统控制目的的载体。本驱动控制系统的硬件电路主要包括功率驱动电路、继电器驱动电路、稳压供电电路、电流采样与转换电路以及过流保护电路。
2.1.1 功率驱动电路
在功率驱动电路中，采用光耦芯片TLP250经三极管放大后驱动8个MOS管IRF3205，多个MOS管并联起到分流作用，查看IRF3205的芯片资料可以知道，该芯片在25 ℃下，最大漏源极电压(耐压)UDSS=55 V、持续漏极电流ID=110 A。对于大功率永磁有刷直流电机，单个MOS管的持续电流虽满足要求，但在实际工作中要留3~4倍的余量，且随着电流的增大，MOS管发热，内阻也随之增大，影响持续漏极电流，因此采用多颗MOS管并联的方式来分流。功率驱动电路如图2所示。图2中，R1、R3、…、R15为栅极驱动电阻，每个MOS管都由独立的栅极驱动电阻隔离驱动，可以防止各个MOS管的寄生振荡，起到阻尼作用；R2、R4、…、R16是栅极下拉电阻，主要作用是在驱动芯片损坏开路的情况下防止MOS管误导通。采用多个MOS管并联的方式，漏极和源极的走线要通过多个MOS管的电流，要求其总线上的阻抗控制在所有MOS管并联后的内阻的10%以内。理论上计算，单个MOS管的电流偏移不能超过平均电流的10%。IRF3205的内阻为8 mΩ，因此总线上的电阻不能超过1 mΩ。
2.1.2 继电器驱动控制电路
继电器是用小电流控制大电流的开关器件，具有驱动简单、动作迅速可靠、维护方便、使用寿命长等特点，适用于低频率开关场合。本文采用2个JD1914五脚大电流继电器，由主控制器STM32F103ZET6产生的2路方向控制信号DIR1和DIR2，经大电流驱动阵列芯片ULN2003，ULN2003可产生高达500 mA的电流驱动三极管导通，从而驱动控制2个继电器的导通与关断。继电器驱动电路图如图3所示，当继电器K1动作时，常开触点吸合，常闭触点断开，电机反转；当继电器K2动作时，电机正转；当K1和K2的常开触点同时吸合或常闭触点同时吸合时，电机不工作。
2.1.3 稳压供电电路
整个系统由2块12 V的铅酸电池并联提供24 V工作电压，由于3个器件TLP250、JD1914和ULN2003分别需要18、12和5 V电压供电，为此，本系统采用LM7918、LM7812和LM7805这3个三端稳压集成电路芯片，分别为其提供所需电压。在每个稳压芯片的输出端并联1只0.1 μF的滤波电容，能有效滤除低频杂波。由于稳压芯片内阻的存在，输入、输出两端存在电压差，在稳压芯片工作电流的作用下，芯片发热，因此需要加装散热片，以增加散热。这3种芯片均采用TO-220封装，其引脚图如图4所示。
2.1.4 电流采样与转换电路
电流反馈控制框图如图5所示。在电流采样与控制电路中，采用霍尔电流传感器ACS758LCB-050B-PFF-T电流采样芯片，其量程为50 A，可供大电流采样电路使用，满足该驱动控制系统的电流采样需求。电流采样后的输出信号经模拟信号隔离器HCNR200隔离输出，然后通过由LM358构成的电压跟随器，最后输出采样信号，该信号传递到主控制器，主控制器根据电流调节算法，调节输出的PWM占空比，进而调节电机的工作电流，形成电流闭环。电流闭环反馈的目的是调节电机转速、引入电流闭环，有助于提高搬运车的运行稳定性。
2.1.5 过流保护电路
在过流保护电路中，利用运放LM358及部分电阻、电容构建差分运放电路，采用3个直径为1.2 mm、长度为10 cm的康铜丝并联，作为电流采样电阻，并联后电阻为0.014 Ω。当电流超过设定的最大安全电流值时，运算放大器的输出信号和控制电机的方向信号经过逻辑电路运算和ULN2003放大后，作用于2个继电器，使2个继电器的常开触点同时吸合，电机两端电压为0，电机失电停止工作。
2.2 控制方法
以单片机STM32F103为主控制器，上位机编写的控制算法通过主控制器的通信串口USB_232写入，主控制器对控制算法进行解算。主控制器产生2路PWM信号和4路方向控制信号，分别控制2个直流有刷电机的运行。PWM1、DIR1和DIR2控制电机1，PWM2、DIR3和DIR4控制电机2。
电机在启动时所需克服的阻力要大于正常运行时的阻力，在启动时，电机要提供足够的转矩才能使电机正常启动。因所设计的病死猪搬运车要承受很大的负荷，车子启动需要克服很大的摩擦阻力，车子在正常行驶时，车轮所受阻力矩(M)为：
$$M = {\mu _{\rm{k}}}{F_{\rm{N}}},$$ (1) 式中，
${\mu _{\rm{k}}}$ 为有量纲的滚动摩擦系数， 根据有关资料，充气轮胎与泥土路的有量纲的滚动摩擦系数最大值为1.5×10–3；${F_{\rm{N}}}$ 是法向量压力，已知搬运车质量(m车)150 kg，吊升病死猪只的最大质量(m猪max)设定300 kg，单个轮子受力按最大计，单个轮子受力为：$${F_{{\rm{N}}\max }} = {\rm{g}}{m_{{\text{车}}}} + {\rm{g}}{m_{{\text{猪}}\max}} \approx 4.5 \times {10^3},$$ (2) 式中，g为重力加速度，取g=10 m/s2。计算可得：
$${M_{\max }}=6.75\text{。}$$ (3) 电机额定电压24 V，额定功率1.1 kW，额定转速1 500 r/min，已知：
$$P = F {{{V}}_{{\rm{max}}}},$$ (4) $$T = FR,$$ (5) $$F = \frac{T}{{{R}}},$$ (6) $${{{V}}_{{\rm{max}}}} = 2{\rm{\pi }}R {{n}}\text{。}$$ (7) 由公式(4)~(7)可得：
$$P = F {{{V}}_{\max }} = \frac{{\rm{\pi }}}{{30}}T {{n}}\text{。}$$ (8) 公式(4)~(8)中，P为功率，F为拉力，Vmax为最大线速度，T为电机输出转矩，R为作用半径，n为电机额定转速。由于电机和车轮之间连有蜗轮蜗杆减速器，其减速比为7.5∶1.0，计算可得电机实际输出转矩最大值
$\left({{{T}}_{{\rm{max}}}}\right)$ ：$${{{T}}_{{\rm{max}}}} \approx 52.52\text{。}$$ (9) 当搬运车满负荷运行时，其启动转矩势必非常大，考虑到搬运车由四轮承力、双电机驱动，车轮所受摩擦阻力并没那么大。因此，在启动时，两路PWM占空比设定为35%，当检测到车子启动时，迅速将占空比梯度降低到设定值。
3. 试验验证与结果
对搬运车驱动控制系统的硬件和软件设计进行试验验证，主要验证该驱动控制系统的启动性能、调速性能以及保持直线行驶的性能。
在试验时对驱动控制系统的输出进行数据采集，调节单片机输出PWM的占空比，用示波器测量驱动器输出波形的变化情况，并适时测量驱动器的输出电流。试验测得该车在直线行驶时在前进运行状态下，电机的工作电流随PWM占空比变化情况见表1。由表1可知，向前行驶时，从0调节单片机输出PWM的占空比，占空比达到6.8%左右时，克服电机启动时的阻力矩，电机开始启动，此时电机转速很小，不足以正常地启动行驶。占空比的小幅增长即可使电机的工作电流快速增大，电机转速随之快速增大，调节占空比至16%以后，电机工作电流随占空比增大呈现线性增长趋势。试验表明，占空比为16%时搬运车空载启动性能较好，基本实现了稳定平滑启动的功能而没有出现大电流冲击等状况，利于启动后线性调速。此时电机驱动器输出端输出波形是一个幅值为24.6 V、频率为16.7 kHz、周期为60 μs、占空比为16%的方波(图6)，与单片机此时输出的PWM信号周期、频率及占空比完全一致。表1的数据表明：在占空比为16%~94%的区间内，电机工作电流随占空比的增加呈线性增大，电机转速也随之越来越快，转速从稳定启动后的低转速至满转，调节范围大，调速效果较好，基本实现了预定的调速性能。
表 1 搬运车前进方向空载试验结果Table 1. The results of no-load test of vehicle in the moving direction左轮电机 Left-wheel motor 右轮电机 Right-wheel motor 占空比/%
Duty ratioI/A 占空比/%
Duty ratioI/A 0 0 0 0 5.7 0 5.4 0 6.8 0.32 6.9 0.33 8.1 1.26 8.5 1.34 11.8 4.97 11.8 5.07 13.4 5.85 13.7 6.24 16.0 7.41 20.0 8.74 21.3 8.72 28.4 10.31 26.7 10.09 35.6 10.96 33.3 10.94 45.3 11.90 38.7 11.21 58.1 12.40 44.0 11.63 68.9 13.10 54.1 12.11 74.5 13.56 60.0 12.55 82.3 13.88 68.0 12.87 93.9 14.26 试验测得该车在倒车行驶时，电机的工作电流随PWM占空比变化情况见表2。向后行驶时，启动与调速的状况与向前行驶时类似，由于搬运车整体重心在车的前半部分，前轮受力大，后轮受力较小，因此在启动和行驶过程中，电机克服的阻力矩较向前时要小。表2的试验结果也表明，向后行驶时，占空比在12%左右就能稳定平滑启动，比向前行驶时稳定启动所需的占空比要小，在占空比为12%~95%的区间内电机转速线性可调。
表 2 搬运车倒车方向空载试验Table 2. The results of no-load test of vehicle in the reversing direction左轮电机 Left-wheel motor 右轮电机 Right-wheel motor 占空比/%
Duty ratioI/A 占空比/%
Duty ratioI/A 0 0 0 0 5.4 0 5.6 0 6.7 0.32 6.8 0.32 8.1 1.20 8.3 1.24 11.8 5.05 11.8 4.94 12.2 5.40 12.7 5.51 22.1 6.88 22.7 6.94 26.8 7.85 32.2 8.20 33.3 8.28 40.9 8.89 37.3 8.57 46.3 9.37 44.0 9.39 54.4 9.61 48.4 9.48 63.8 10.10 55.0 9.88 70.7 10.25 65.8 10.23 81.2 10.51 82.4 10.58 95.9 10.74 利用Microsoft Excel数据处理软件对表1和表2的数据进行曲线拟合，拟合曲线如图7所示。图7中所示的4条曲线分别是左轮电机前进方向、右轮电机前进方向、左轮电机倒车方向和右轮电机倒车方向。分析对比图7中的4条曲线，在平滑路况下，该车直线行驶过程中，无论前进或倒车，该车的2个驱动电机都有较好的双机协调运转性能，保证该车直线行驶过程中在没外界强力干扰时能够稳定地直线行驶。
![]()
图 7 电机前后行驶占空比与电流拟合曲线Figure 7. The fitting curve of duty ratio and current of motor driving forward or backward4. 结论
该文所设计的病死猪搬运车底盘驱动控制系统驱动功率大、启动平稳，具有调速范围宽、调速平滑的优点，具有较好的双电机协调一致的运行性能和良好的过流过载能力，通过继电器和光耦的隔离作用，使驱动电路与电机及控制器隔离，有效防止驱动电路故障对电机和控制器的冲击损害，很好地实现了大功率永磁有刷直流电机的驱动与控制，实现了搬运车的基本行驶功能。为解决大功率直流电机驱动问题提供一种方案，并具有稳定可靠、成本低廉、实用性强的优点，便于推广使用。
-
表 1 玉米植株特征随机变量及其标准差和均值
Table 1 Random variables, standard deviations and means of maize plant characteristics
传感器编号
Sensor number目标1 Target 1 目标2 Target 2 目标3 Target 3 随机变量
Random variable标准差
Standard deviation均值
Mean标准差
Standard deviation均值
Mean标准差
Standard deviation均值
Mean1 50.0 246.0 68.0 372.0 23.0 289.0 318.0 2 1.1 1.8 0.6 2.6 0.7 2.9 3.4 
下载: 导出CSV
表 2 各传感器对不同目标的隶属度
Table 2 Membership of each sensor to different targets
传感器编号
Sensor number目标1
Target 1目标2
Target 2目标3
Target 31 0.28 0.59 0.37 2 0.27 0.33 0.64
下载: 导出CSV
表 3 不同传感器性能评价指标
Table 3 Performance evaluation index of different sensors
传感器
Sensor平均处理时间/ms
Average processing time处理帧数
No. of processing frames正确帧数
No. of correct frames正确率/%
Correct rate平均误差角度/(°)
Mean error angle相机 Camera 49.76 300 272 90.67 3.457 三维激光雷达
3D LiDAR58.15 300 278 92.67 2.670 传感器融合
Sensor fusion95.62 300 286 95.33 1.595
下载: 导出CSV
-
[1] YANG K, ZHANG Z, CHENG H, et al. Domain centralization and cross-modal reinforcement learning for vision-based robotic manipulation[J]. International Journal of Precision Agricultural Aviation, 2018, 1(1): 48-55. doi: 10.33440/j.ijpaa.20200302.77
[2] 张琳洁, 张文爱, 韩应征, 等. 农业机械导航关键技术发展分析[J]. 农机化研究, 2016, 38(6): 10-15. doi: 10.3969/j.issn.1003-188X.2016.06.002 [3] SØGAARD H T, OLSEN H J. Determination of crop rows by image analysis without segmentation[J]. Computers and Electronics in Agriculture, 2003, 38(2): 141-158. doi: 10.1016/S0168-1699(02)00140-0
[4] 常昕, 陈晓冬, 张佳琛, 等. 基于激光雷达和相机信息融合的目标检测及跟踪[J]. 光电工程, 2019, 46(7): 91-101. [5] 胡丹丹, 殷欢. 基于机器视觉的玉米收获机器人路径识别[J]. 农机化研究, 2017, 39(12): 190-194. [6] MARCHANT J A, BRIVOT R. Real-time tracking of plant rows using a hough transform[J]. Real-Time Imaging, 1995, 1(5): 363-371. doi: 10.1006/rtim.1995.1036
[7] 梁习卉子, 陈兵旗, 姜秋慧, 等. 基于图像处理的玉米收割机导航路线检测方法[J]. 农业工程学报, 2016, 32(22): 43-49. doi: 10.11975/j.issn.1002-6819.2016.22.006 [8] 俞毓锋, 赵卉菁. 基于相机与摇摆激光雷达融合的非结构化环境定位[J]. 自动化学报, 2019, 45(9): 1791-1798. [9] 宋宇, 刘永博, 刘路, 等. 基于机器视觉的玉米根茎导航基准线提取方法[J]. 农业机械学报, 2017, 48(2): 38-44. doi: 10.6041/j.issn.1000-1298.2017.02.005 [10] 冯娟, 刘刚, 司永胜, 等. 果园视觉导航基准线生成算法[J]. 农业机械学报, 2012, 43(7): 185-189. doi: 10.6041/j.issn.1000-1298.2012.07.034 [11] WOEBBECKE D M. MEYER G E, BARGEN K V, et a1. Color indices for weed identification under various soil, residue, and lighting conditions[J]. Transactions of the ASAE, 1995, 38(1): 259-269. doi: 10.13031/2013.27838
[12] KASHYAP Y, KHARE A, LIPTON M. An improved SOBEL algorithm for palm image edge detection using OTSU method[J]. Biometrics and Bioinformatics, 2012, 4(7): 312-317.
[13] YANG H, ZHAO J, LAN Y, et al. Fraction vegetation cover extraction of winter wheat based on RGB image obtained by UAV[J]. International Journal of Precision Agricultural Aviation, 2018, 1(1): 54-61.
[14] 范九伦, 赵凤. 灰度图像的二维Otsu曲线阈值分割法[J]. 电子学报, 2007, 35(4): 751-755. doi: 10.3321/j.issn:0372-2112.2007.04.029 [15] DENG X L, THOMASSON A J, PUGH A N, et al. Estimating the severity of sugarcane aphids infestation on sorghum with machine vision[J]. International Journal of Precision Agricultural Aviation, 2018, 1(1): 89-96. doi: 10.33440/j.ijpaa.20200302.89
[16] 赵高长, 张磊, 武风波. 改进的中值滤波算法在图像去噪中的应用[J]. 应用光学, 2011, 32(4): 678-682. doi: 10.3969/j.issn.1002-2082.2011.04.017 [17] DIWAKAR M, KUMAR M. A review on CT image noise and its denoising[J]. Biomedical Signal Processing and Control, 2018, 42: 73-88. doi: 10.1016/j.bspc.2018.01.010
[18] BEHARA K N S, BHASKAR A, CHUNG E. A DBSCAN-based framework to mine travel patterns from origin-destination matrices: Proof-of-concept on proxy static OD from Brisbane[J]. Transportation Research Part C: Emerging Technologies, 2021, 131: 103370. doi: 10.1016/j.trc.2021.103370
[19] GIRI K, BISWAS T K, SARKAR P. ECR-DBSCAN: An improved DBSCAN based on computational geometry[J]. Machine Learning with Applications, 2021, 6: 100148. doi: 10.1016/j.mlwa.2021.100148
[20] 张堡瑞, 肖宇峰, 郑又能. 基于激光雷达与视觉融合的水面漂浮物检测[J]. 应用激光, 2021, 41(3): 619-628. [21] 黄强, 潘常春, 裴凌, 等. 基于可重构标定板的激光与视觉联合标定方法[J]. 导航定位与授时, 2021, 8(3): 27-33. [22] 卢莉萍, 张晓倩. 复杂环境下多传感器目标识别的数据融合方法[J]. 西安电子科技大学学报, 2020, 47(4): 31-38. [23] KASPI O, YOSIPOF A, SENDEROWITZ H. RANdom SAmple Consensus (RANSAC) algorithm for material-informatics: Application to photovoltaic solar cells[J]. Journal of Cheminformatics, 2017, 9(1): 1-15. doi: 10.1186/s13321-016-0187-6
[24] 杨洋, 张博立, 查家翼, 等. 玉米行间导航线实时提取[J]. 农业工程学报, 2020, 36(12): 162-171. doi: 10.11975/j.issn.1002-6819.2020.12.020 -
期刊类型引用(3)
1. 付杰，李舒洁. 基于迁移学习和多角度图像的柿子成熟度判别研究. 现代化农业. 2024(07): 52-56 . 
百度学术
2. 韩冬梅，黄石连，欧阳思颖，张乐，卓侃，吴振先，李建光，郭栋梁，王静. 提升龙眼果实耐贮性的果期病害防治与养分优化管理. 中国农业科学. 2022(21): 4279-4293 . 百度学术
3. 彭杰椿，潘介春，吴玉，何嘉楠，邓英毅，徐炯志，段承煜，刘一. 桂丰早龙眼开花习性和果实生长模型研究. 果树学报. 2021(06): 947-956 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 1127
- HTML全文浏览量: 2
- PDF下载量: 415
- 被引次数: 4
