Recognition algorithm of drivable area between rows of fruit trees based on double robustness regression
-
摘要:目的
提出一种复杂环境下以天空为背景的果树行间可行驶区域识别算法，以便农业机器人导航系统中工作路径的提取。
方法通过蓝色分量(B分量)进行树冠和背景天空的分离，改进Otsu算法实现更好的分割效果，形态学处理后根据树顶分布规律，进行动态阈值“V形”感兴趣区域寻找及特征点提取，使用泰尔−森稳健回归剔除干扰点后，使用随机采样一致性(Random sample consensus，RANSAC)算法进行拟合，得到树顶处直线，通过斜率变换关系得到可行驶区域边缘直线斜率，利用剔除后特征点信息和剔除阈值获得关键点坐标，以斜率为约束条件，代入关键点，得到可行驶区域边缘直线方程，并使用最小二乘法进行拟合，以此实现可行驶区域识别。
结果试验结果表明，本文双重稳健回归算法较泰尔−森算法和RANSAC算法平均偏差角度分别减小了8.28%和9.88%，标准差分别减少了6.25%和22.89%，准确率分别提高了4.64%和10.49%。
结论研究结果可为农业机器人在大多数标准化果园复杂环境中的可行驶区域识别和路径提取提供研究思路。
Abstract:ObjectiveIn order to extract the working path in the agricultural robot navigation system, we proposed an algorithm for identifying the drivable area between rows of fruit trees with the sky as the background in a complex environment.
MethodThe tree crown and the background sky were separated by the blue component (B component), and the Otsu algorithm was improved to achieve a better effect of segmentation. After morphological processing, according to the regularity of tree top distribution, dynamic threshold was used to find “V-shaped” region of interest and extract feature points. After the interference points were eliminated by Theil-Sen robustness regression, the straight line at the tree top was fitted by random sample consensus (RANSAC) algorithm, the slope of the straight line at the edge of the drivable area was obtained through the slope transformation relationship, and the key point coordinates were obtained using the information of the feature points after elimination and the threshold elimination. Taking the slope as the constraint condition, the linear equation of the edge of the drivable area was obtained by substituting the key points. The least square method was used to fit the data for realizing the recognition of the drivable area.
ResultThe experimental results showed that compared with Theil-Sen algorithm and RANSAC algorithm, the average deviation angle of the double robustness regression algorithm in this paper was reduced by 8.28% and 9.88%, the standard deviation was reduced by 6.25% and 22.89%, and the accuracy was improved by 4.64% and 10.49%.
ConclusionThe research results can provide research ideas for the drivable area recognition and path extraction of agricultural robots in the complex environment of most standardized orchards.
-
奶牛体尺能够反映其生长发育状况、繁殖能力、产奶能力及潜在经济价值等重要信息[1-3]。长期以来，我国奶牛体尺测量主要采用传统的接触式测量，由经验丰富的工作人员利用卡尺、皮尺、卷尺、测杖等工具测量或者通过人眼估算，存在复杂繁琐、测量效率低、易受环境和测量人员主观因素影响等问题[4]。
随着机器视觉技术的快速发展，家禽家畜的体尺测量有更多的解决方案，主要可分为基于二维图像的体尺测量和基于三维点云的体尺测量2种方式[4]。在基于二维图像的体尺测量方面，Tasdemir等[5]拍摄荷斯坦奶牛顶部和侧面RGB图像，采用直接线性变化法标定相机，利用图像分析软件基于点云计算奶牛体尺，该方法测得奶牛体高、臀高、体长、臀宽准确率分别为97.72%、98.00%、97.89%、95.25%。刘同海等[6]在饮水器正上方采集120日龄猪只的体尺图像，将猪体目标从二值图像中分割，实时提取体尺测点，该方法测得猪只体长的平均相对误差为0.92%。薛广顺等[7]利用Logitech Webcam Pro 9000摄像机采集牛体图像，采用贝叶斯决策皮肤检测法提取牛体，基于尺度不变特征变换(Scale-invariant feature transform，SIFT)算法实现特征点匹配，利用双目相机成像模型结合相机标定参数获取牛体三维点云。张晨光等[8]采用双目视觉技术进行奶牛图像采集，提取奶牛背部轮廓与侧面轮廓，通过SIFT算法，结合相机标定参数获取特征点空间坐标，最终利用欧式距离计算奶牛体高、体长和体宽。在基于三维点云的体尺测量方面，赵建敏等[9]使用双目相机采集体尺图像，利用YOLOv5检测牛体及牛头、躯干、牛蹄、牛尻、腿关节等特征部位，基于改进的Canny边缘检测算法及曲线拟合算法提取牛体局部边缘轮廓，通过U弦长得到体尺测量特征点，最终完成体高、体长、体斜长等体尺测量，该方法平均体尺测量误差为2.4%。Huang等[10]利用IFM O3D303相机获取秦川牛侧面点云数据，采用KD-Network训练牛体轮廓提取模型，通过快速点特征直方图获得特征表面中心完成体尺测量，该方法最大测量误差为2.0%。初梦苑等[11]使用Kinect DK深度相机拍摄奶牛侧面与俯视图像，基于视频错帧补全奶牛侧面点云，采用迭代最近点算法配准奶牛侧面点云与俯视点云，基于几何特征测量奶牛体直长、肩宽、臀宽等7种体尺参数。Yang等[12]使用智能手机环绕奶牛拍摄图像，通过运动结构法构造三维点云模型，根据形态特征自动标记体尺测量点，该方法体尺测量平均相对误差小于4.67%。基于三维点云的体尺测量方法提供了精确的测量，但计算量大、测量过程复杂、测量成本高，并且需要特定的环境条件，在规模化养殖场实现其快速准确体尺测量尚需进一步验证。相比之下，使用单个深度相机进行体尺测量具有计算负担低、测量设备部署简单和设备成本低等优点，更适合家禽家畜体尺参数的快速测量。
测量关键点的快速准确检测是奶牛体尺快速准确测量的前提。Yin等[13]采用对猪只身体部位平均分割的方法定位测量关键点，并将点云姿态标准化，实现了体尺的自动测量。Hu等[14]通过PointNet++对不同姿势的猪只点云进行分割，根据几何特征定位猪体测量关键点，该方法最大体尺测量误差为5.26%。陆明洲等[15]利用图像处理技术获取山羊体尺关键点，测量最大相对误差为5.5%。本研究基于YOLOv8n-Pose快速准确获取测量关键点，利用双目立体视觉模型获取深度信息，完成奶牛体尺的快速准确测量。
1. 数据采集及数据集制作
1.1 数据采集
奶牛双目图像数据采集自陕西省咸阳市杨陵区官村奶牛养殖场与杨凌科元克隆股份有限公司奶牛养殖场，采集时间为2022年11月至2023年4月，包括奶牛侧面双目图像及视频数据，采用ZED 2i相机采集奶牛侧面图像。图像数据的图像分辨率为2 208像素×1 242像素，用于构建目标检测及关键点检测数据集；双目视频数据的视频分辨率为4 416像素×1 242像素，帧率为15 帧/s，用于最终体尺测量。图1为数据采集及数据集构建示意图，图1a为数据采集平台示意图，ZED 2i双目立体相机固定于相机支架上，距离地面约1.1 m，将相机支架置于奶牛侧面2~3 m处，拍摄奶牛侧面图像或采集视频数据，在采集过程中避免阳光直射相机，减少阳光直射对立体匹配的影响；图1b为通过采集平台采集单幅奶牛侧面图像，共采集1 895幅图像，按8∶2划分训练集与验证集，构建奶牛目标检测及关键点检测数据集；图1c为视频数据采集及体尺测量数据集构建示意图，将图1a所示的采集平台置于奶牛挤奶通道外2.5 m处采集奶牛在挤奶通道的侧面视频，并将采集的视频进行分帧，以2帧/s构建体尺测量数据集。
1.2 体尺测量标准与数据标注
本研究涉及奶牛体斜长、体高、臀高和尻长4项体尺测量。图2为奶牛体尺测量标准的示意图，奶牛体斜长近似为坐骨端(C)到肩端(D)的直线距离，体高为鬐甲部最高点(A)到前蹄与地面交点(E1)的直线距离，臀高为臀部最高点(B)到后蹄与地面交点(E2)的直线距离，尻长为坐骨端(C)到尻尖(F)的直线距离。在构建的目标检测及关键点检测数据集中标注鬐甲部、尻尖、坐骨端、肩端、蹄部等8个测量关键点。
![]()
图 2 奶牛直线体尺测量标准A：鬐甲部最高点，B：臀部最高点，C：坐骨端，D：肩端，E1、E2：前、后蹄与地面的交点，F：尻尖；G：眼睛Figure 2. Standard for linear body size measurement of dairy cowA: The highest point of wither; B: The highest point of hip; C: Ischial tuberosity; D: Point of shoulder; E1, E2: Contact points of the front and rear hooves with the ground; F: Hip; G: Eye1.3 真实体尺数据获取
奶牛体尺真实数据的准确获取是试验测试的前提，但由于手动测量体尺依赖于人工经验，存在较大的偶然误差与粗大误差，Hu等[14]采用PointNet++分割奶牛点云后获取奶牛体尺，与手动测量相比，体长、体高的平均偏差仅为2.34%，说明点云数据测量与手动测量相差少。Tran等[16]和Deris等[17]证实了ZED相机在点云三维重建与测量方面具有高精度的优势。因此，本研究采用ZED 2i相机采集奶牛侧面点云数据并依据手动测量的方法获取体尺的真实值。
2. 基于CREStereo和YOLOv8n-Pose的体尺测量
2.1 基于CREStereo立体匹配的深度估计网络
2.1.1 小孔成像模型与视差计算
小孔成像模型是常用的相机模型，双目相机基于小孔成像模型，利用2个相机从不同角度同时拍摄，通过标定参数进行畸变矫正、极限矫正，根据拍摄点在左右图像中成像位置的差异，确定点在空间中的位置。根据文献[18]，设计双目相机成像模型(图3)，Ol和Or分别是双目立体相机左右相机的光心，ol和or分别是左右相机光轴与成像平面的交点，假设两成像平面宽度为W，成像平面与相机之间的距离为焦距f，P是三维空间中的一个点，pl和pr是点P在左右相机成像平面上的像点，xl和xr是pl和pr的x坐标，z为P到左右相机所在直线的距离，根据相似三角形可得公式(1)：
![]()
图 3 双目相机成像模型Ol：左相机光心；Or：右相机光心；ol：左相机光轴与成像平面交点；or：右相机光轴与成像平面交点；W：成像平面宽度；f：相机焦距；P：三维空间中某点；pl和pr为点P在左右相机成像平面上的像点；xl和xr是pl和pr的x坐标；z为P到左右相机的距离；b：左右相机基线距离Figure 3. Binocular camera imaging modelOl: Optical center of the left camera; Or: Optical center of the right camera; ol: Intersection point of the left camera’s optical axis with the imaging plane; or: Intersection point of the right camera’s optical axis with the imaging plane; W: Width of the imaging plane; f: Camera focal length; P: A point in three-dimensional space; pl and pr: Image points of P on the imaging planes of the left and right cameras; xl and xr: x-coordinates of pl and pr; z: Distance from P to the cameras; b: Baseline distance between the left and right cameras$$ \dfrac{{z - f}}{z} = \dfrac{{b - \left( {{x_{\mathrm{l}}} - \dfrac{1}{2}W} \right) - \left( {\dfrac{1}{2}W - {x_{\mathrm{r}}}} \right)}}{b}， $$ (1) 式中，b为左右相机的基线距离。
令xl−xr为视差(d)，根据公式(1)，则点P的深度为：
$$ z = {{bf} \mathord{\left/ {\vphantom {{bf} d}} \right. } d}。 $$ (2) 根据视差值(d)，结合双目立体相机标定参数基线(b)和焦距(f)推导每个像素点在三维空间中的深度，进而推导出三维空间坐标。
2.1.2 CREStereo立体匹配
立体匹配是从一对图像中推断每个像素的深度信息。传统的立体匹配算法是将立体匹配问题转化为在左右两幅图像中寻找最相似的像素点的过程。相比传统立体匹配算法，基于深度学习的立体匹配方法具有更高的精度和更好的鲁棒性，能够处理复杂的场景[19]。因此，本研究采用CREStereo算法[20]对奶牛双目图像进行立体匹配获取视差值。图4为CREStereo算法立体匹配推理过程，推理网络采用堆叠级联架构，在保证鲁棒性的基础下，保留高分辨率输入的细节，利用循环更新模块(Recurrent update module，RUM)处理实际应用中的非理想矫正情况，尽可能地缓解下采样过程中区域的特征退化。RUM采用循环架构，逐步更新和细化深度图，通过多次迭代整合上下文信息，提高视差计算的整体精度。
2.2 基于YOLOv8n-Pose的测量关键点检测网络
2.2.1 YOLOv8n-Pose估计网络
本文基于YOLOv8n-Pose估计网络、SimAM注意力机制[21]及CoordConv卷积[22]改进网络，提出适用于奶牛关键点检测的姿态估计模型。其中YOLOv8n-Pose网络是基于YOLOv8及YOLO-Pose估计网络而提出的多任务联合学习网络，能够同时实现目标分类及姿态估计任务。图5为改进的YOLOv8n-Pose估计网络。
2.2.2 SimAM注意力机制
SimAM注意力模块是Yang等[21]基于神经科学理论，受人脑注意力机制的启发，提出的一种3D注意力模块，SimAM注意力机制通过构建一个优化能量函数来挖掘神经元的重要性以计算注意力权重，公式(3)为能量函数(et)：
$$\begin{split} {e_t}\left( {{w_t},{b_t},y,{x_i}} \right) = & \dfrac{1}{{M - 1}} \displaystyle\sum \limits_{i = 1}^{M - 1} {\left[ { - 1 - \left( {{w_t}{x_i} + {b_t}} \right)} \right]^2} +\\ & {\left[ { - 1 - \left( {{w_t}t + {b_t}} \right)} \right]^2} + \lambda {w_t}^2\text{，} \end{split} $$ (3) 式中，t为输入特征的目标神经元；λ为正则化系数；i为空间维度索引号；xi为其他神经元；M为通道上所有神经元的个数；y为标签值，用于确定该神经元是否为重要神经元；wt为权重；bt为偏置。根据公式(3)，推导最小能量函数如公式(4)：
$$ e_t^* = \dfrac{{4\left( { {{\hat \sigma ^2}} + \lambda } \right)}}{{{{\left( {t - \hat u} \right)}^2} + 2{{\hat \sigma }^2} + 2\lambda }}， $$ (4) 式中，û为输入特征t的均值，
${\hat \sigma ^2}$ 为输入特征t的方差。由公式(4)可知，能量越低，特征相关的神经元(t)与周围神经元区别越大，重要程度越高，则神经元重要性为1/et*。
本研究增加SimAM，位置如图5 Backbone部分所示，SimAM注意力模块嵌入在C2f与SPPF之间，以观察整个Backbone中的重要神经元，增强重要特征，抑制其他神经元，从而聚焦于更有利于奶牛关键点检测的特征表示。
2.2.3 CoordConv卷积
CoordConv卷积是由Liu等[22]开发的卷积方法，旨在提高神经网络对坐标信息的感知能力。图6为CoordConv结构，在传统的卷积神经网络中，通过1个拼接操作在通道维度上引入2个额外的通道，这2个通道分别包含x坐标(j)和y坐标(i)的信息。CoordConv显著提升了模型对空间布局的理解能力，使得网络能够更有效地处理具有明确空间关系的任务。在本研究中，参考PP-YOLO[23]网络，如图5 Head部分所示，在YOLOv8网络的Head部分引入2层卷积核大小为1×1的CoordConv卷积层，旨在增强网络对奶牛空间坐标的感知，从而提升目标检测及关键点检测的性能。
![]()
图 6 CoordConv结构h：输入特征的高度；w：输入特征的宽度；c：输入特征图通道数；i：特征的x坐标信息；j：特征的y坐标信息；h′：输出特征的高度；w′：输出特征的宽度；c′：输出特征图通道数Figure 6. CoordConv structureh: Height of input features; w: Width of input features; c: Number of channels in input feature map; i: x-coordinate information of features; j: y-coordinate information of features; h′: Height of output features; w′: Width of output features; c′: Number of channels in output feature map2.3 融合立体匹配与关键点检测的奶牛体尺测量
本研究中，奶牛直线体尺自动测量算法分为以下5个步骤：
1)利用双目相机拍摄奶牛侧面图像，并进行立体校正；
2)采用CREStereo算法对奶牛双目图像立体匹配，并计算左目图像深度信息；
3)采用改进YOLOv8n-Pose检测奶牛左目图像中的关键点，并分别计算每头奶牛目标检测及关键点检测置信度，优先选择关键点检测置信度高的奶牛作为最优体尺测量目标；
4)结合双目相机参数与左目图像深度信息，将奶牛关键点映射至三维空间中；
5)完成奶牛体斜长、体高、臀高和尻长指标的测量。
为计算奶牛体尺，需将关键点像素坐标映射到相机坐标系或世界坐标系下，采用相机坐标系作为三维空间坐标系，以减少因相机标定不准确及坐标变换对精度的影响。假设由步骤3)改进的YOLOv8n-Pose模型进行奶牛关键点检测后，奶牛鬐甲部最高点像素坐标为(uA, vA)，臀部为(uB, vB)，坐骨端为(uC, vC)，肩端为(uD, vD)，奶牛前、后蹄与地面交点为(uE1, vE1)和(uE2, vE2)，尻尖为(uF, vF)。根据公式(2)得到对应的相机坐标为公式(5)：
$$ \left\{ {\begin{array}{*{20}{c}} {{X'_{\mathrm{C}}} = \left( {u - {c_x}} \right) \times {Z'_{\mathrm{C}}}/{f_x}} \\ {{Y'_{\mathrm{C}}} = \left( {v - {c_y}} \right) \times {Z'_{\mathrm{C}}}/{f_y}} \end{array}} \right.， $$ (5) 式中，(u, v)为图像坐标系的像素坐标，(
${X'_{\mathrm{C}}} $ ,${Y'_{\mathrm{C}}} $ ,${Z'_{\mathrm{C}}} $ )为像素坐标对应相机坐标系的坐标，fx为相机在水平方向的焦距，fy为相机在垂直方向的焦距。关键点像素坐标经公式(5)，可映射到三维坐标系中，根据欧氏距离计算奶牛体斜长如公式(6)：
$$ {l}_{体斜长}=\sqrt{{\left({X}_{\rm{C}}-{X}_{\rm{D}}\right)}^{2}+{\left({Y}_{\rm{C}}-{Y}_{\rm{D}}\right)}^{2}+{\left({Z}_{\rm{C}}-{Z}_{\rm{D}}\right)}^{2}} \text{，} $$ (6) 式中，(XC, YC, ZC)为坐骨端坐标，(XD, YD, ZD)为肩端坐标。
奶牛体高计算方法为鬐甲部最高点到地面距离，具体计算方式如公式(7)：
$$ {h}_{体高}=\sqrt{{\left({X}_{\rm{A}}-{X}_{{\rm{E}}1}\right)}^{2}+{\left({Y}_{\rm{A}}-{Y}_{{\rm{E}}1}\right)}^{2}+{\left({Z}_{\rm{A}}-{Z}_{{\rm{E}}1}\right)}^{2}} \text{，} $$ (7) 式中，(XA, YA, ZA)为鬐甲部最高点坐标，(XE1, YE1, ZE1)为蹄部与地面交点坐标。
臀高为奶牛尻尖到地面的垂直距离，具体计算方式如公式(8)：
$$ {h}_{臀高}=\sqrt{{\left({X}_{\rm{B}}-{X}_{{\rm{E}}2}\right)}^{2}+{\left({Y}_{\rm{B}}-{Y}_{{\rm{E}}2}\right)}^{2}+{\left({Z}_{\rm{B}}-{Z}_{{\rm{E}}2}\right)}^{2}} \text{，} $$ (8) 式中，(XB, YB, ZB)为臀部最高点坐标，(XE2, YE2, ZE2)为蹄部与地面交点坐标。
尻长为坐骨端与尻尖的直线距离，具体计算方式如公式(9)：
$$ {l}_{尻长}=\sqrt{{\left({X}_{\rm{C}}-{X}_{\rm{F}}\right)}^{2}+{\left({Y}_{\rm{C}}-{Y}_{\rm{F}}\right)}^{2}+{\left({Z}_{\rm{C}}-{Z}_{\rm{F}}\right)}^{2}} \text{，} $$ (9) 式中，(XF, YF, ZF)为尻尖坐标。
3. 结果与分析
3.1 立体匹配测量与分析
为探究2~3 m不同距离的双目立体匹配结果，选用5头奶牛在距离2~3 m处进行立体匹配，图7为不同距离下立体匹配结果，表1为不同距离的体尺手动点云测量与人工测量的相对误差。可见，在2~3 m深度范围内CREStereo方法能正确地从ZED 2i拍摄的奶牛双目图像中估算深度信息，满足奶牛体尺测量要求，但在实际测量中为避免距离过近导致的信息缺失和距离过远造成的图像质量下降，应保证奶牛位于在双目图像中央完整且占据图像主体的距离。
表 1 不同距离下手动点云测量与人工测量奶牛体尺的相对误差Table 1. Relative errors of manual point clouds measurement compared to manual measurement of dairy cows body size at different distances% 距离/m
Distance体高
Body height体斜长
Body length臀高
Hip height尻长
Rump length2.00 3.01 2.87 2.96 5.00 2.25 2.85 2.81 2.98 4.52 2.50 2.77 2.74 2.67 3.26 2.75 2.62 2.62 2.55 2.73 3.00 2.81 2.75 2.67 2.66 3.2 YOLOv8n-Pose模型训练环境
本文提出的改进的YOLOv8n-Pose模型在GPU计算服务器训练的硬件配置为Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50 GHz 12核、RTX 3090 24 GB、内存为43 GB；软件环境为Ubuntu18.04、Python3.8、PyTorch1.8.1、Cuda11.1；网络训练初始学习率为0.001，周期学习率为0.02，采用Adam优化器。
3.3 模型改进的消融试验
为了验证SimAM注意力机制和CoordConv卷积在奶牛关键点检测上的作用，以YOLOv8n-Pose模型为基础，设计消融试验验证改进效果，图8为消融试验结果。在YOLOv8n-Pose中分别添加SimAM机制和CoordConv后，重叠度(Intersection over union，IoU)阈值为50%的平均精确度均值(mAP50)和IoU阈值为50%~95%的平均精确度均值(mAP50~95)均有所提高，最终网络较原网络目标检测mAP50~95提高了1.1个百分点(图8a)，关键点检测mAP50~95提高了4.5个百分点(图8b)。
![]()
图 8 消融试验测试YOLOv8n-Pose的改进效果mAP50：重叠度(Intersection over union，IoU)阈值为50%的平均精确度均值；mAP50~95：IoU为50%~95%的平均精确度均值Figure 8. Improvement effect of YOLOv8n-Pose tested by ablation experimentmAP50: Mean average precision at 50% intersection over union (IoU) threshold; mAP50−95: Mean average precision across IoU threshold from 50% to 95%表2为消融试验模型参数量与计算量的对比结果，从表2可以看出，最终改进模型的参数量仅增加了0.34%，而运算量降低了1.18%。
表 2 通过消融试验比较模型改进前后的参数量与计算量Table 2. Parameters and operations comparisons before and after model improvements through ablation tests模型
Model层数
Layers参数量/M
Parameters运算量/G
OperationsYOLOv8n-Pose 187 2.98 8.5 YOLOv8n-Pose+SimAM 189 3.01 8.6 YOLOv8n-Pose+CoordConv 195 3.01 8.5 YOLOv8n-Pose+SimAM+CoordConv 197 2.99 8.4 3.4 奶牛目标检测及关键点检测结果分析
为检验改进后模型的关键点检测性能，利用测试集验证改进的YOLOv8n-Pose模型，图9为模型在不同复杂情景下的奶牛关键点检测结果。如图9a为奶牛侧面存在遮挡时的检测结果，图9b为不同奶牛品种的检测结果，图9c为多目标奶牛检测结果；改进后的模型在多种复杂因素影响下均可较好地完成奶牛关键点检测任务。
![]()
图 9 改进后的YOLOv8n-Pose在不同情景下的检测结果Figure 9. Detection results of the improved YOLOv8n-Pose in different scenarios为客观地衡量改进的YOLOv8n-Pose性能，与Hourglass[24]、HRNet[25]、SimCC[26]和RTMpose[27]等其他优秀算法比较，各算法使用相同数据集和软硬件环境，表3为对比结果。本文提出的改进YOLOv8n-Pose的精度最高，且模型参数量和浮点运算量均表现优秀。
表 3 不同算法关键点检测结果对比Table 3. Comparison of key point detection results by different algorithms方法
Method网络骨干
Backbone图像尺寸/像素
Image size参数量/M
Parameters计算量/G
Operations平均精确度均值/%
Mean average precision平均召回率/%
Average recall模型大小/MB
Model sizeHourglass Hourglass-52 384 94.85 64.48 85.9 88.2 362.0 SimCC HRNet-w32 384 × 288 28.54 17.33 89.3 91.4 110.0 HRNet HRNet-w48 384 × 288 63.60 35.48 89.5 92.2 244.0 RTMpose-m CSPNeXt-P5 256 × 192 13.25 1.90 92.5 94.7 101.0 改进YOLOv8n-Pose
Improved YOLOv8n-PoseCSPDarknet-P5 640 2.99 8.40 94.3 98.2 6.2 3.5 体尺测量结果对比与分析
在拍摄的15头奶牛的双目视频中分别选取5帧站立视频，计算体尺平均值作为测量值。图10为体尺测量最优目标判断结果，图10a为单头奶牛且环境较暗，图10b为两头奶牛，图10c多头奶牛且相互遮挡，图10d为多头奶牛且被栏杆遮挡。
![]()
图 10 奶牛体尺测量最优目标选择Figure 10. Optimal target selection for body size measurement of dairy cows表4为15头奶牛的体尺测量结果，测量值为本文提出的奶牛体尺测量方法的平均测量结果，真实值为通过点云数据手动平均测量结果。
表 4 15头奶牛的体尺测量结果Table 4. Body size measurement results of 15 dairy cows编号
Code体斜长/cm Body length 体高/cm Body height 臀高/cm Hip height 尻长/cm Rump length 测量值
Measured真实值
True测量值
Measured真实值
True测量值
Measured真实值
True测量值
Measured真实值
True1 169.56 165.91 147.29 151.92 157.31 159.19 45.45 47.78 2 172.35 170.61 135.24 135.14 146.82 141.46 54.06 51.19 3 167.93 171.47 152.99 154.52 157.03 158.44 58.84 56.92 4 163.25 160.63 146.40 145.99 148.92 148.16 46.46 49.56 5 162.10 165.91 140.63 143.59 150.46 152.35 50.05 54.77 6 176.91 171.69 135.27 144.74 155.02 148.18 51.48 54.12 7 170.31 172.68 150.45 147.24 146.01 148.92 54.22 55.69 8 175.99 178.13 154.96 159.60 143.14 153.83 56.23 58.59 9 178.34 171.91 146.60 146.08 148.84 151.09 57.69 56.73 10 171.47 175.43 138.61 152.57 141.76 154.10 59.16 57.35 11 174.62 174.09 151.92 153.80 152.05 150.60 61.93 61.52 12 169.25 172.57 156.13 153.88 138.83 152.74 56.04 53.23 13 175.21 172.34 151.94 156.04 154.99 152.90 51.71 51.95 14 179.81 184.20 158.55 159.31 160.85 158.09 52.79 57.39 15 168.69 167.72 145.67 148.28 148.95 150.37 55.24 53.38 利用箱线图分析各项体尺的相对误差，图11为体尺测量相对误差箱线图，其中体斜长相对误差最小，臀高相对误差最大。体斜长的最大相对误差为3.74%，平均相对误差为1.84%，平均绝对误差为3.2 cm；体高的最大相对误差为6.54%，平均相对误差为2.34%，平均绝对误差为3.5 cm；臀高的最大相对误差为9.11%，平均相对误差为2.98%，平均绝对误差为4.5 cm；尻长的最大相对误差为8.62%，平均相对误差为4.19%，平均绝对误差为2.3 cm。分析误差来源，主要如下：1)在奶牛关键点检测数据集中，部分奶牛轮廓不明显或标注不规范，导致奶牛关键点检测存在一定偏差；2)双目相机在实际使用中存在一定的畸变，奶牛深度信息计算的偏差导致体尺测量偏差。
![]()
图 11 体尺测量相对误差箱线图IQR：四分位距；25%~75%：数据的中间50%，从数据的第1四分位数到第3四分位数的范围；1.5IQR范围：从第1四分位数减去1.5倍IQR到第3四分位数加上1.5倍IQR，超出此范围的点为异常值Figure 11. Box diagram of relative error of body size measurementIQR: Interquartile range; 25%−75%: The middle 50% of the data, which ranges from the first quartile to the third quartile; 1.5IQR range: Extending from the first quartile minus 1.5 times IQR to the third quartile plus 1.5 times IQR, points outside this range are considered as outliers4. 结论
基于YOLOv8n-Pose模型，通过引入SimAM注意力机制和CoordConv卷积，提出了改进的YOLOv8n-Pose奶牛关键点检测模型，模型检测精度为94.30%，参数量为2.99 M，计算量为8.40 G，视频平均检测速度为55.6帧/s；相比于原网络，有着更好的精度，更小的计算量，更适合奶牛养殖场实际的部署与应用。本研究融合CREStereo立体匹配与改进的YOLOv8n-Pose，提出一种奶牛体尺测量方法，利用CREStereo对奶牛双目图像立体匹配计算视差值，利用改进的YOLOv8n-Pose检测左目图像中奶牛关键点，结合双目相机标定参数将奶牛关键点像素坐标转换至空间坐标，通过计算关键点间的欧氏距离完成奶牛体尺自动测量，体尺测量最大平均相对误差为4.19%。
-
![]()
图 1 生长期与非生长期B分量灰度化效果
Figure 1. Graying effect of B component in growth period and non-growth period
![]()
图 3 单行像素及其B分量像素列灰度曲线
Figure 3. Single row pixel and gray curve of its B-component pixel column
![]()
图 4 Otsu算法与自适应阈值法二值化效果
Figure 4. Effect of binarization of Otsu algorithm and adaptive threshold method
![]()
图 8 全周期干扰点剔除及树顶直线拟合效果
Figure 8. Interference point elimination and fitting effect of straight line at tree top in full cycle
![]()
图 9 生长期与非生长期可行驶区域识别效果
Figure 9. Recognition results of drivable area in growth period and non-growth period
![]()
图 11 不同天气状况下全周期分割及识别效果
Figure 11. Effect of segmentation and recognition under different weather conditions in full cycle
表 1 不同天气状况下全周期分割阈值对比示例1)
Table 1 Comparison examples of segmentation thresholds under different weather conditions in full cycle
图像序号 Image serial number Otsu分割阈值( $ {r_0} $) Otsu segmentation threshold $ [{r_0},L - 1] $ r1 $ [{r_0},{r_1}] $ 本文自适应分割阈值(r) Adaptive segmentation threshold in this paper 1 143 [143, 255] 231 [143, 231] 217 2 132 [132, 255] 192 [132, 192] 173 3 131 [131, 255] 208 [131, 208] 141 4 143 [143, 255] 210 [143, 210] 158 5 158 [158, 255] 231 [158, 231] 171 6 115 [115, 255] 191 [115, 191] 115 1) ${r_1} = {{\rm{arc}}} {G_{\max } }$； $r = {\rm{arc}}{G_{\min } }$ 
下载: 导出CSV
表 2 3种算法的可行驶区域边缘拟合结果
Table 2 Edge fitting results of drivable area for three algorithms
算法 Algorithm 图像帧数 Image frames 错误帧数 Error frames 平均偏差角度/(°) Average deviation angle 标准差/(°) Standard deviation 准确率/% Accuracy 平均耗时/ms Average time 泰尔−森算法 Theil-Sen algorithm 480 45 1.69 1.76 90.6 79.5 RANSAC算法 RANSAC algorithm 480 68 1.72 2.14 85.8 76.0 本文算法 Algorithm in this paper 480 25 1.55 1.65 94.8 82.4
下载: 导出CSV
表 3 不同工况下本文算法的拟合结果
Table 3 The fitting results of this algorithm under different working conditions
时期 Period 工况 Working condition 图像帧数 Image frames 错误帧数 Error frames 准确率/% Accuracy 平均耗时/ms Average time 生长期 Growth period 顺光 Frontlighting 120 7 94.2 82.3 逆光 Backlighting 120 5 95.8 82.4 非生长期 Non-growth period 顺光 Frontlighting 120 9 92.5 82.3 逆光 Backlighting 120 4 96.7 82.5
下载: 导出CSV
表 4 不同工况下本文算法的性能评价指标
Table 4 The performance evaluation index of this algorithm under different working conditions
时期 Period 工况 Working condition 图像帧数 Image frames 平均偏差角度/(°) Average deviation angle 标准差/(°) Standard deviation 关键点平均偏差半径/像素 Average deviation radius at key points 关键点标准差/像素 Standard deviation at key points 生长期 Growth period 顺光 Frontlighting 120 1.30 1.53 1.23 2.09 逆光 Backlighting 120 1.35 1.68 2.69 3.63 非生长期 Non-growth period 顺光 Frontlighting 120 2.21 1.94 1.69 3.13 逆光 Backlighting 120 1.35 1.15 2.53 2.65
下载: 导出CSV
-
[1] 毕松, 王宇豪. 果园机器人视觉导航行间位姿估计与果树目标定位方法[J]. 农业机械学报, 2021, 52(8): 16-26,39. [2] 郭成洋, 范雨杭, 张硕, 等. 果园车辆自动导航技术研究进展[J]. 东北农业大学学报, 2019, 50(8): 87-96. [3] 李秋洁, 丁旭东, 邓贤. 基于激光雷达的果园行间路径提取与导航[J]. 农业机械学报, 2020, 51(S2): 344-350. [4] 姬长英, 周俊. 农业机械导航技术发展分析[J]. 农业机械学报, 2014, 45(9): 44-54. [5] 袁池, 陈军, 武涛, 等. 基于机器视觉的果树行中心线检测算法研究[J]. 农机化研究, 2013, 35(3): 37-39. [6] 王毅, 刘波, 何宇, 等. 果园移动机器人路径识别系统[J]. 传感器与微系统, 2020, 39(9): 69-72. [7] 刘波, 杨长辉, 熊龙烨, 等. 果园自然环境下采摘机器人路径识别方法[J]. 江苏农业学报, 2019, 35(5): 1222-1231. [8] RADCLIFFE J, COX J, BULANON D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171. doi: 10.1016/j.compind.2018.03.008
[9] 林桂潮, 邹湘军, 罗陆锋, 等. 改进随机样本一致性算法的弯曲果园道路检测[J]. 农业工程学报, 2015, 31(4): 168-174. [10] 聂森, 王丙龙, 郝欢欢, 等. 基于机器视觉的果园导航中线提取算法研究[J]. 农机化研究, 2016, 38(12): 86-89. [11] 冯娟, 刘刚, 司永胜, 等. 果园视觉导航基准线生成算法[J]. 农业机械学报, 2012, 43(7): 185-189,184. [12] 彭顺正, 坎杂, 李景彬. 矮化密植枣园收获作业视觉导航路径提取[J]. 农业工程学报, 2017, 33(9): 45-52. [13] 李秀智, 彭小彬, 方会敏, 等. 基于RANSAC算法的植保机器人导航路径检测[J]. 农业机械学报, 2020, 51(9): 40-46. [14] 廖娟, 汪鹞, 尹俊楠, 等. 基于分区域特征点聚类的秧苗行中心线提取[J]. 农业机械学报, 2019, 50(11): 34-41. [15] 张雄楚, 陈兵旗, 李景彬, 等. 红枣收获机视觉导航路径检测[J]. 农业工程学报, 2020, 36(13): 133-140.
计量
- 文章访问数:
- HTML全文浏览量: 0
- PDF下载量:
