Low altitude remote sensing-ground sensing double collection system for farmland quality
-
摘要:目的
将无人机(UAV)低空遥感检测系统与无人机−无线传感器网络(UAV-WSN)集成，实现通过一套系统进行低空遥感监测和地面长期监测的双重监测，为耕地质量的空间和时间变化提供监测数据。
方法本研究探讨了现有UAV-WSN系统无法实现双重采集的问题，设计了一套用于耕地质量监测的低空遥感−地面传感双重采集系统，提出一套双重采集的工作流程，以及提升性能的基于航线的LEACH算法。仿真分析试验中调整UAV飞行高度和地面节点密度，以比较双重采集系统和UAV-WSN系统总飞行时间的不同。
结果双重采集系统1次飞行同时采集2种监测数据，无需完成低空遥感监测数据采集后再次走遍所有地面节点，在低空遥感地面图像分辨率变化的情况下，总飞行时间比UAV-WSN系统快165 s；双重采集系统根据无人机航线和地面节点位置进行调整，在地块内节点数量变化的情况下，总飞行时间基本不变，比UAV-WSN系统快129～194 s。
结论双重采集系统能够减少现场采样所需的总工作时长，降低采样工作的复杂程度，提升耕地质量监测的效率。
Abstract:ObjectiveTo integrate unmanned aerial vehicle (UAV) low altitude remote sensing system and unmanned aerial vehicle-wireless sensor network (UAV-WSN), realize double monitoring of low altitude remote sensing monitoring and ground long term monitoring through one system, and provide monitoring data for space and time changes of farmland quality.
MethodThe study explored the problem that current UAV-WSN system cann’t collect long-term monitoring data from sensor nodes on the ground and low altitude remote sensing data from UAV’s sensor at the same time. A low altitude remote sensing and ground sensing double collection method and system for farmland quality monitoring was designed, and the key steps and algorithm for integrating these two monitoring systems were studied. Adjusting UAV flying altitude and ground node density in simulation analysis experiments to compare total flying time differences of double collection system and UAV-WSN system.
ResultDouble collection system could collect two kinds of data in one flight, UAV don’t need to fly over every ground sensor node again after collecting low altitude remote sensing data. When the ground image resolution was changed, the total flying time of double collection system was 165 s faster than UAV-WSN system. Double collection system could adjust based on UAV flight path and ground sensor node location. When the number of sensor nodes was changed, the total flying time was not changed and 129−194 s faster than UAV-WSN system.
ConclusionDouble collection system can reduce total operating time and complexity of sampling, and increase the efficiency of farmland quality monitoring.
-
奶牛体尺能够反映其生长发育状况、繁殖能力、产奶能力及潜在经济价值等重要信息[1-3]。长期以来，我国奶牛体尺测量主要采用传统的接触式测量，由经验丰富的工作人员利用卡尺、皮尺、卷尺、测杖等工具测量或者通过人眼估算，存在复杂繁琐、测量效率低、易受环境和测量人员主观因素影响等问题[4]。
随着机器视觉技术的快速发展，家禽家畜的体尺测量有更多的解决方案，主要可分为基于二维图像的体尺测量和基于三维点云的体尺测量2种方式[4]。在基于二维图像的体尺测量方面，Tasdemir等[5]拍摄荷斯坦奶牛顶部和侧面RGB图像，采用直接线性变化法标定相机，利用图像分析软件基于点云计算奶牛体尺，该方法测得奶牛体高、臀高、体长、臀宽准确率分别为97.72%、98.00%、97.89%、95.25%。刘同海等[6]在饮水器正上方采集120日龄猪只的体尺图像，将猪体目标从二值图像中分割，实时提取体尺测点，该方法测得猪只体长的平均相对误差为0.92%。薛广顺等[7]利用Logitech Webcam Pro 9000摄像机采集牛体图像，采用贝叶斯决策皮肤检测法提取牛体，基于尺度不变特征变换(Scale-invariant feature transform，SIFT)算法实现特征点匹配，利用双目相机成像模型结合相机标定参数获取牛体三维点云。张晨光等[8]采用双目视觉技术进行奶牛图像采集，提取奶牛背部轮廓与侧面轮廓，通过SIFT算法，结合相机标定参数获取特征点空间坐标，最终利用欧式距离计算奶牛体高、体长和体宽。在基于三维点云的体尺测量方面，赵建敏等[9]使用双目相机采集体尺图像，利用YOLOv5检测牛体及牛头、躯干、牛蹄、牛尻、腿关节等特征部位，基于改进的Canny边缘检测算法及曲线拟合算法提取牛体局部边缘轮廓，通过U弦长得到体尺测量特征点，最终完成体高、体长、体斜长等体尺测量，该方法平均体尺测量误差为2.4%。Huang等[10]利用IFM O3D303相机获取秦川牛侧面点云数据，采用KD-Network训练牛体轮廓提取模型，通过快速点特征直方图获得特征表面中心完成体尺测量，该方法最大测量误差为2.0%。初梦苑等[11]使用Kinect DK深度相机拍摄奶牛侧面与俯视图像，基于视频错帧补全奶牛侧面点云，采用迭代最近点算法配准奶牛侧面点云与俯视点云，基于几何特征测量奶牛体直长、肩宽、臀宽等7种体尺参数。Yang等[12]使用智能手机环绕奶牛拍摄图像，通过运动结构法构造三维点云模型，根据形态特征自动标记体尺测量点，该方法体尺测量平均相对误差小于4.67%。基于三维点云的体尺测量方法提供了精确的测量，但计算量大、测量过程复杂、测量成本高，并且需要特定的环境条件，在规模化养殖场实现其快速准确体尺测量尚需进一步验证。相比之下，使用单个深度相机进行体尺测量具有计算负担低、测量设备部署简单和设备成本低等优点，更适合家禽家畜体尺参数的快速测量。
测量关键点的快速准确检测是奶牛体尺快速准确测量的前提。Yin等[13]采用对猪只身体部位平均分割的方法定位测量关键点，并将点云姿态标准化，实现了体尺的自动测量。Hu等[14]通过PointNet++对不同姿势的猪只点云进行分割，根据几何特征定位猪体测量关键点，该方法最大体尺测量误差为5.26%。陆明洲等[15]利用图像处理技术获取山羊体尺关键点，测量最大相对误差为5.5%。本研究基于YOLOv8n-Pose快速准确获取测量关键点，利用双目立体视觉模型获取深度信息，完成奶牛体尺的快速准确测量。
1. 数据采集及数据集制作
1.1 数据采集
奶牛双目图像数据采集自陕西省咸阳市杨陵区官村奶牛养殖场与杨凌科元克隆股份有限公司奶牛养殖场，采集时间为2022年11月至2023年4月，包括奶牛侧面双目图像及视频数据，采用ZED 2i相机采集奶牛侧面图像。图像数据的图像分辨率为2 208像素×1 242像素，用于构建目标检测及关键点检测数据集；双目视频数据的视频分辨率为4 416像素×1 242像素，帧率为15 帧/s，用于最终体尺测量。图1为数据采集及数据集构建示意图，图1a为数据采集平台示意图，ZED 2i双目立体相机固定于相机支架上，距离地面约1.1 m，将相机支架置于奶牛侧面2~3 m处，拍摄奶牛侧面图像或采集视频数据，在采集过程中避免阳光直射相机，减少阳光直射对立体匹配的影响；图1b为通过采集平台采集单幅奶牛侧面图像，共采集1 895幅图像，按8∶2划分训练集与验证集，构建奶牛目标检测及关键点检测数据集；图1c为视频数据采集及体尺测量数据集构建示意图，将图1a所示的采集平台置于奶牛挤奶通道外2.5 m处采集奶牛在挤奶通道的侧面视频，并将采集的视频进行分帧，以2帧/s构建体尺测量数据集。
1.2 体尺测量标准与数据标注
本研究涉及奶牛体斜长、体高、臀高和尻长4项体尺测量。图2为奶牛体尺测量标准的示意图，奶牛体斜长近似为坐骨端(C)到肩端(D)的直线距离，体高为鬐甲部最高点(A)到前蹄与地面交点(E1)的直线距离，臀高为臀部最高点(B)到后蹄与地面交点(E2)的直线距离，尻长为坐骨端(C)到尻尖(F)的直线距离。在构建的目标检测及关键点检测数据集中标注鬐甲部、尻尖、坐骨端、肩端、蹄部等8个测量关键点。
![]()
图 2 奶牛直线体尺测量标准A：鬐甲部最高点，B：臀部最高点，C：坐骨端，D：肩端，E1、E2：前、后蹄与地面的交点，F：尻尖；G：眼睛Figure 2. Standard for linear body size measurement of dairy cowA: The highest point of wither; B: The highest point of hip; C: Ischial tuberosity; D: Point of shoulder; E1, E2: Contact points of the front and rear hooves with the ground; F: Hip; G: Eye1.3 真实体尺数据获取
奶牛体尺真实数据的准确获取是试验测试的前提，但由于手动测量体尺依赖于人工经验，存在较大的偶然误差与粗大误差，Hu等[14]采用PointNet++分割奶牛点云后获取奶牛体尺，与手动测量相比，体长、体高的平均偏差仅为2.34%，说明点云数据测量与手动测量相差少。Tran等[16]和Deris等[17]证实了ZED相机在点云三维重建与测量方面具有高精度的优势。因此，本研究采用ZED 2i相机采集奶牛侧面点云数据并依据手动测量的方法获取体尺的真实值。
2. 基于CREStereo和YOLOv8n-Pose的体尺测量
2.1 基于CREStereo立体匹配的深度估计网络
2.1.1 小孔成像模型与视差计算
小孔成像模型是常用的相机模型，双目相机基于小孔成像模型，利用2个相机从不同角度同时拍摄，通过标定参数进行畸变矫正、极限矫正，根据拍摄点在左右图像中成像位置的差异，确定点在空间中的位置。根据文献[18]，设计双目相机成像模型(图3)，Ol和Or分别是双目立体相机左右相机的光心，ol和or分别是左右相机光轴与成像平面的交点，假设两成像平面宽度为W，成像平面与相机之间的距离为焦距f，P是三维空间中的一个点，pl和pr是点P在左右相机成像平面上的像点，xl和xr是pl和pr的x坐标，z为P到左右相机所在直线的距离，根据相似三角形可得公式(1)：
![]()
图 3 双目相机成像模型Ol：左相机光心；Or：右相机光心；ol：左相机光轴与成像平面交点；or：右相机光轴与成像平面交点；W：成像平面宽度；f：相机焦距；P：三维空间中某点；pl和pr为点P在左右相机成像平面上的像点；xl和xr是pl和pr的x坐标；z为P到左右相机的距离；b：左右相机基线距离Figure 3. Binocular camera imaging modelOl: Optical center of the left camera; Or: Optical center of the right camera; ol: Intersection point of the left camera’s optical axis with the imaging plane; or: Intersection point of the right camera’s optical axis with the imaging plane; W: Width of the imaging plane; f: Camera focal length; P: A point in three-dimensional space; pl and pr: Image points of P on the imaging planes of the left and right cameras; xl and xr: x-coordinates of pl and pr; z: Distance from P to the cameras; b: Baseline distance between the left and right cameras$$ \dfrac{{z - f}}{z} = \dfrac{{b - \left( {{x_{\mathrm{l}}} - \dfrac{1}{2}W} \right) - \left( {\dfrac{1}{2}W - {x_{\mathrm{r}}}} \right)}}{b}， $$ (1) 式中，b为左右相机的基线距离。
令xl−xr为视差(d)，根据公式(1)，则点P的深度为：
$$ z = {{bf} \mathord{\left/ {\vphantom {{bf} d}} \right. } d}。 $$ (2) 根据视差值(d)，结合双目立体相机标定参数基线(b)和焦距(f)推导每个像素点在三维空间中的深度，进而推导出三维空间坐标。
2.1.2 CREStereo立体匹配
立体匹配是从一对图像中推断每个像素的深度信息。传统的立体匹配算法是将立体匹配问题转化为在左右两幅图像中寻找最相似的像素点的过程。相比传统立体匹配算法，基于深度学习的立体匹配方法具有更高的精度和更好的鲁棒性，能够处理复杂的场景[19]。因此，本研究采用CREStereo算法[20]对奶牛双目图像进行立体匹配获取视差值。图4为CREStereo算法立体匹配推理过程，推理网络采用堆叠级联架构，在保证鲁棒性的基础下，保留高分辨率输入的细节，利用循环更新模块(Recurrent update module，RUM)处理实际应用中的非理想矫正情况，尽可能地缓解下采样过程中区域的特征退化。RUM采用循环架构，逐步更新和细化深度图，通过多次迭代整合上下文信息，提高视差计算的整体精度。
2.2 基于YOLOv8n-Pose的测量关键点检测网络
2.2.1 YOLOv8n-Pose估计网络
本文基于YOLOv8n-Pose估计网络、SimAM注意力机制[21]及CoordConv卷积[22]改进网络，提出适用于奶牛关键点检测的姿态估计模型。其中YOLOv8n-Pose网络是基于YOLOv8及YOLO-Pose估计网络而提出的多任务联合学习网络，能够同时实现目标分类及姿态估计任务。图5为改进的YOLOv8n-Pose估计网络。
2.2.2 SimAM注意力机制
SimAM注意力模块是Yang等[21]基于神经科学理论，受人脑注意力机制的启发，提出的一种3D注意力模块，SimAM注意力机制通过构建一个优化能量函数来挖掘神经元的重要性以计算注意力权重，公式(3)为能量函数(et)：
$$\begin{split} {e_t}\left( {{w_t},{b_t},y,{x_i}} \right) = & \dfrac{1}{{M - 1}} \displaystyle\sum \limits_{i = 1}^{M - 1} {\left[ { - 1 - \left( {{w_t}{x_i} + {b_t}} \right)} \right]^2} +\\ & {\left[ { - 1 - \left( {{w_t}t + {b_t}} \right)} \right]^2} + \lambda {w_t}^2\text{，} \end{split} $$ (3) 式中，t为输入特征的目标神经元；λ为正则化系数；i为空间维度索引号；xi为其他神经元；M为通道上所有神经元的个数；y为标签值，用于确定该神经元是否为重要神经元；wt为权重；bt为偏置。根据公式(3)，推导最小能量函数如公式(4)：
$$ e_t^* = \dfrac{{4\left( { {{\hat \sigma ^2}} + \lambda } \right)}}{{{{\left( {t - \hat u} \right)}^2} + 2{{\hat \sigma }^2} + 2\lambda }}， $$ (4) 式中，û为输入特征t的均值，
${\hat \sigma ^2}$ 为输入特征t的方差。由公式(4)可知，能量越低，特征相关的神经元(t)与周围神经元区别越大，重要程度越高，则神经元重要性为1/et*。
本研究增加SimAM，位置如图5 Backbone部分所示，SimAM注意力模块嵌入在C2f与SPPF之间，以观察整个Backbone中的重要神经元，增强重要特征，抑制其他神经元，从而聚焦于更有利于奶牛关键点检测的特征表示。
2.2.3 CoordConv卷积
CoordConv卷积是由Liu等[22]开发的卷积方法，旨在提高神经网络对坐标信息的感知能力。图6为CoordConv结构，在传统的卷积神经网络中，通过1个拼接操作在通道维度上引入2个额外的通道，这2个通道分别包含x坐标(j)和y坐标(i)的信息。CoordConv显著提升了模型对空间布局的理解能力，使得网络能够更有效地处理具有明确空间关系的任务。在本研究中，参考PP-YOLO[23]网络，如图5 Head部分所示，在YOLOv8网络的Head部分引入2层卷积核大小为1×1的CoordConv卷积层，旨在增强网络对奶牛空间坐标的感知，从而提升目标检测及关键点检测的性能。
![]()
图 6 CoordConv结构h：输入特征的高度；w：输入特征的宽度；c：输入特征图通道数；i：特征的x坐标信息；j：特征的y坐标信息；h′：输出特征的高度；w′：输出特征的宽度；c′：输出特征图通道数Figure 6. CoordConv structureh: Height of input features; w: Width of input features; c: Number of channels in input feature map; i: x-coordinate information of features; j: y-coordinate information of features; h′: Height of output features; w′: Width of output features; c′: Number of channels in output feature map2.3 融合立体匹配与关键点检测的奶牛体尺测量
本研究中，奶牛直线体尺自动测量算法分为以下5个步骤：
1)利用双目相机拍摄奶牛侧面图像，并进行立体校正；
2)采用CREStereo算法对奶牛双目图像立体匹配，并计算左目图像深度信息；
3)采用改进YOLOv8n-Pose检测奶牛左目图像中的关键点，并分别计算每头奶牛目标检测及关键点检测置信度，优先选择关键点检测置信度高的奶牛作为最优体尺测量目标；
4)结合双目相机参数与左目图像深度信息，将奶牛关键点映射至三维空间中；
5)完成奶牛体斜长、体高、臀高和尻长指标的测量。
为计算奶牛体尺，需将关键点像素坐标映射到相机坐标系或世界坐标系下，采用相机坐标系作为三维空间坐标系，以减少因相机标定不准确及坐标变换对精度的影响。假设由步骤3)改进的YOLOv8n-Pose模型进行奶牛关键点检测后，奶牛鬐甲部最高点像素坐标为(uA, vA)，臀部为(uB, vB)，坐骨端为(uC, vC)，肩端为(uD, vD)，奶牛前、后蹄与地面交点为(uE1, vE1)和(uE2, vE2)，尻尖为(uF, vF)。根据公式(2)得到对应的相机坐标为公式(5)：
$$ \left\{ {\begin{array}{*{20}{c}} {{X'_{\mathrm{C}}} = \left( {u - {c_x}} \right) \times {Z'_{\mathrm{C}}}/{f_x}} \\ {{Y'_{\mathrm{C}}} = \left( {v - {c_y}} \right) \times {Z'_{\mathrm{C}}}/{f_y}} \end{array}} \right.， $$ (5) 式中，(u, v)为图像坐标系的像素坐标，(
${X'_{\mathrm{C}}} $ ,${Y'_{\mathrm{C}}} $ ,${Z'_{\mathrm{C}}} $ )为像素坐标对应相机坐标系的坐标，fx为相机在水平方向的焦距，fy为相机在垂直方向的焦距。关键点像素坐标经公式(5)，可映射到三维坐标系中，根据欧氏距离计算奶牛体斜长如公式(6)：
$$ {l}_{体斜长}=\sqrt{{\left({X}_{\rm{C}}-{X}_{\rm{D}}\right)}^{2}+{\left({Y}_{\rm{C}}-{Y}_{\rm{D}}\right)}^{2}+{\left({Z}_{\rm{C}}-{Z}_{\rm{D}}\right)}^{2}} \text{，} $$ (6) 式中，(XC, YC, ZC)为坐骨端坐标，(XD, YD, ZD)为肩端坐标。
奶牛体高计算方法为鬐甲部最高点到地面距离，具体计算方式如公式(7)：
$$ {h}_{体高}=\sqrt{{\left({X}_{\rm{A}}-{X}_{{\rm{E}}1}\right)}^{2}+{\left({Y}_{\rm{A}}-{Y}_{{\rm{E}}1}\right)}^{2}+{\left({Z}_{\rm{A}}-{Z}_{{\rm{E}}1}\right)}^{2}} \text{，} $$ (7) 式中，(XA, YA, ZA)为鬐甲部最高点坐标，(XE1, YE1, ZE1)为蹄部与地面交点坐标。
臀高为奶牛尻尖到地面的垂直距离，具体计算方式如公式(8)：
$$ {h}_{臀高}=\sqrt{{\left({X}_{\rm{B}}-{X}_{{\rm{E}}2}\right)}^{2}+{\left({Y}_{\rm{B}}-{Y}_{{\rm{E}}2}\right)}^{2}+{\left({Z}_{\rm{B}}-{Z}_{{\rm{E}}2}\right)}^{2}} \text{，} $$ (8) 式中，(XB, YB, ZB)为臀部最高点坐标，(XE2, YE2, ZE2)为蹄部与地面交点坐标。
尻长为坐骨端与尻尖的直线距离，具体计算方式如公式(9)：
$$ {l}_{尻长}=\sqrt{{\left({X}_{\rm{C}}-{X}_{\rm{F}}\right)}^{2}+{\left({Y}_{\rm{C}}-{Y}_{\rm{F}}\right)}^{2}+{\left({Z}_{\rm{C}}-{Z}_{\rm{F}}\right)}^{2}} \text{，} $$ (9) 式中，(XF, YF, ZF)为尻尖坐标。
3. 结果与分析
3.1 立体匹配测量与分析
为探究2~3 m不同距离的双目立体匹配结果，选用5头奶牛在距离2~3 m处进行立体匹配，图7为不同距离下立体匹配结果，表1为不同距离的体尺手动点云测量与人工测量的相对误差。可见，在2~3 m深度范围内CREStereo方法能正确地从ZED 2i拍摄的奶牛双目图像中估算深度信息，满足奶牛体尺测量要求，但在实际测量中为避免距离过近导致的信息缺失和距离过远造成的图像质量下降，应保证奶牛位于在双目图像中央完整且占据图像主体的距离。
表 1 不同距离下手动点云测量与人工测量奶牛体尺的相对误差Table 1. Relative errors of manual point clouds measurement compared to manual measurement of dairy cows body size at different distances% 距离/m
Distance体高
Body height体斜长
Body length臀高
Hip height尻长
Rump length2.00 3.01 2.87 2.96 5.00 2.25 2.85 2.81 2.98 4.52 2.50 2.77 2.74 2.67 3.26 2.75 2.62 2.62 2.55 2.73 3.00 2.81 2.75 2.67 2.66 3.2 YOLOv8n-Pose模型训练环境
本文提出的改进的YOLOv8n-Pose模型在GPU计算服务器训练的硬件配置为Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50 GHz 12核、RTX 3090 24 GB、内存为43 GB；软件环境为Ubuntu18.04、Python3.8、PyTorch1.8.1、Cuda11.1；网络训练初始学习率为0.001，周期学习率为0.02，采用Adam优化器。
3.3 模型改进的消融试验
为了验证SimAM注意力机制和CoordConv卷积在奶牛关键点检测上的作用，以YOLOv8n-Pose模型为基础，设计消融试验验证改进效果，图8为消融试验结果。在YOLOv8n-Pose中分别添加SimAM机制和CoordConv后，重叠度(Intersection over union，IoU)阈值为50%的平均精确度均值(mAP50)和IoU阈值为50%~95%的平均精确度均值(mAP50~95)均有所提高，最终网络较原网络目标检测mAP50~95提高了1.1个百分点(图8a)，关键点检测mAP50~95提高了4.5个百分点(图8b)。
![]()
图 8 消融试验测试YOLOv8n-Pose的改进效果mAP50：重叠度(Intersection over union，IoU)阈值为50%的平均精确度均值；mAP50~95：IoU为50%~95%的平均精确度均值Figure 8. Improvement effect of YOLOv8n-Pose tested by ablation experimentmAP50: Mean average precision at 50% intersection over union (IoU) threshold; mAP50−95: Mean average precision across IoU threshold from 50% to 95%表2为消融试验模型参数量与计算量的对比结果，从表2可以看出，最终改进模型的参数量仅增加了0.34%，而运算量降低了1.18%。
表 2 通过消融试验比较模型改进前后的参数量与计算量Table 2. Parameters and operations comparisons before and after model improvements through ablation tests模型
Model层数
Layers参数量/M
Parameters运算量/G
OperationsYOLOv8n-Pose 187 2.98 8.5 YOLOv8n-Pose+SimAM 189 3.01 8.6 YOLOv8n-Pose+CoordConv 195 3.01 8.5 YOLOv8n-Pose+SimAM+CoordConv 197 2.99 8.4 3.4 奶牛目标检测及关键点检测结果分析
为检验改进后模型的关键点检测性能，利用测试集验证改进的YOLOv8n-Pose模型，图9为模型在不同复杂情景下的奶牛关键点检测结果。如图9a为奶牛侧面存在遮挡时的检测结果，图9b为不同奶牛品种的检测结果，图9c为多目标奶牛检测结果；改进后的模型在多种复杂因素影响下均可较好地完成奶牛关键点检测任务。
![]()
图 9 改进后的YOLOv8n-Pose在不同情景下的检测结果Figure 9. Detection results of the improved YOLOv8n-Pose in different scenarios为客观地衡量改进的YOLOv8n-Pose性能，与Hourglass[24]、HRNet[25]、SimCC[26]和RTMpose[27]等其他优秀算法比较，各算法使用相同数据集和软硬件环境，表3为对比结果。本文提出的改进YOLOv8n-Pose的精度最高，且模型参数量和浮点运算量均表现优秀。
表 3 不同算法关键点检测结果对比Table 3. Comparison of key point detection results by different algorithms方法
Method网络骨干
Backbone图像尺寸/像素
Image size参数量/M
Parameters计算量/G
Operations平均精确度均值/%
Mean average precision平均召回率/%
Average recall模型大小/MB
Model sizeHourglass Hourglass-52 384 94.85 64.48 85.9 88.2 362.0 SimCC HRNet-w32 384 × 288 28.54 17.33 89.3 91.4 110.0 HRNet HRNet-w48 384 × 288 63.60 35.48 89.5 92.2 244.0 RTMpose-m CSPNeXt-P5 256 × 192 13.25 1.90 92.5 94.7 101.0 改进YOLOv8n-Pose
Improved YOLOv8n-PoseCSPDarknet-P5 640 2.99 8.40 94.3 98.2 6.2 3.5 体尺测量结果对比与分析
在拍摄的15头奶牛的双目视频中分别选取5帧站立视频，计算体尺平均值作为测量值。图10为体尺测量最优目标判断结果，图10a为单头奶牛且环境较暗，图10b为两头奶牛，图10c多头奶牛且相互遮挡，图10d为多头奶牛且被栏杆遮挡。
![]()
图 10 奶牛体尺测量最优目标选择Figure 10. Optimal target selection for body size measurement of dairy cows表4为15头奶牛的体尺测量结果，测量值为本文提出的奶牛体尺测量方法的平均测量结果，真实值为通过点云数据手动平均测量结果。
表 4 15头奶牛的体尺测量结果Table 4. Body size measurement results of 15 dairy cows编号
Code体斜长/cm Body length 体高/cm Body height 臀高/cm Hip height 尻长/cm Rump length 测量值
Measured真实值
True测量值
Measured真实值
True测量值
Measured真实值
True测量值
Measured真实值
True1 169.56 165.91 147.29 151.92 157.31 159.19 45.45 47.78 2 172.35 170.61 135.24 135.14 146.82 141.46 54.06 51.19 3 167.93 171.47 152.99 154.52 157.03 158.44 58.84 56.92 4 163.25 160.63 146.40 145.99 148.92 148.16 46.46 49.56 5 162.10 165.91 140.63 143.59 150.46 152.35 50.05 54.77 6 176.91 171.69 135.27 144.74 155.02 148.18 51.48 54.12 7 170.31 172.68 150.45 147.24 146.01 148.92 54.22 55.69 8 175.99 178.13 154.96 159.60 143.14 153.83 56.23 58.59 9 178.34 171.91 146.60 146.08 148.84 151.09 57.69 56.73 10 171.47 175.43 138.61 152.57 141.76 154.10 59.16 57.35 11 174.62 174.09 151.92 153.80 152.05 150.60 61.93 61.52 12 169.25 172.57 156.13 153.88 138.83 152.74 56.04 53.23 13 175.21 172.34 151.94 156.04 154.99 152.90 51.71 51.95 14 179.81 184.20 158.55 159.31 160.85 158.09 52.79 57.39 15 168.69 167.72 145.67 148.28 148.95 150.37 55.24 53.38 利用箱线图分析各项体尺的相对误差，图11为体尺测量相对误差箱线图，其中体斜长相对误差最小，臀高相对误差最大。体斜长的最大相对误差为3.74%，平均相对误差为1.84%，平均绝对误差为3.2 cm；体高的最大相对误差为6.54%，平均相对误差为2.34%，平均绝对误差为3.5 cm；臀高的最大相对误差为9.11%，平均相对误差为2.98%，平均绝对误差为4.5 cm；尻长的最大相对误差为8.62%，平均相对误差为4.19%，平均绝对误差为2.3 cm。分析误差来源，主要如下：1)在奶牛关键点检测数据集中，部分奶牛轮廓不明显或标注不规范，导致奶牛关键点检测存在一定偏差；2)双目相机在实际使用中存在一定的畸变，奶牛深度信息计算的偏差导致体尺测量偏差。
![]()
图 11 体尺测量相对误差箱线图IQR：四分位距；25%~75%：数据的中间50%，从数据的第1四分位数到第3四分位数的范围；1.5IQR范围：从第1四分位数减去1.5倍IQR到第3四分位数加上1.5倍IQR，超出此范围的点为异常值Figure 11. Box diagram of relative error of body size measurementIQR: Interquartile range; 25%−75%: The middle 50% of the data, which ranges from the first quartile to the third quartile; 1.5IQR range: Extending from the first quartile minus 1.5 times IQR to the third quartile plus 1.5 times IQR, points outside this range are considered as outliers4. 结论
基于YOLOv8n-Pose模型，通过引入SimAM注意力机制和CoordConv卷积，提出了改进的YOLOv8n-Pose奶牛关键点检测模型，模型检测精度为94.30%，参数量为2.99 M，计算量为8.40 G，视频平均检测速度为55.6帧/s；相比于原网络，有着更好的精度，更小的计算量，更适合奶牛养殖场实际的部署与应用。本研究融合CREStereo立体匹配与改进的YOLOv8n-Pose，提出一种奶牛体尺测量方法，利用CREStereo对奶牛双目图像立体匹配计算视差值，利用改进的YOLOv8n-Pose检测左目图像中奶牛关键点，结合双目相机标定参数将奶牛关键点像素坐标转换至空间坐标，通过计算关键点间的欧氏距离完成奶牛体尺自动测量，体尺测量最大平均相对误差为4.19%。
-
![]()
图 1 立体无线传感器网络(a)和低空遥感监测系统(b)技术方案
Figure 1. Solutions of stereo wireless sensor network (a) and low altitude remote sensing monitoring system (b)
![]()
图 3 低空遥感−地面传感监测双重采集系统技术方案
Figure 3. Solution of low altitude remote sensing-ground sensing double collection system
![]()
图 6 低空遥感−地面传感双重采集仿真器
“□”表示地面节点位置，“▷”表示无人机位置，“−−−”表示无人机飞行航线，“◯”表示地面有效通信范围，“◯”表示无人机所在高度的水平面上的有效通信范围
Figure 6. Emulator of low altitude remote sensing-ground sensing double collection
“□” indicates ground node location, “▷” indicates UAV location, “−−−” indicates UAV flight route, “◯” indicates effective communication range on the ground, “◯” indicates effective horizontal communication range in the altitude of UAV
表 1 通信试验数据
Table 1 Test data of communication experiment
水平距离/m
Horizontal distance垂直高度/m
Vertical height直线距离/m
Straight-line distance丢包率/%
Packet loss平均信号强度/dBm
Average signal strength18 10 20.59 4.76 −50.45 18 30 34.99 0.00 −60.75 18 50 53.14 4.76 −75.65 18 70 72.28 0.00 −68.40 33 10 34.48 0.00 −54.60 33 30 44.60 0.00 −58.25 33 50 59.91 0.00 −67.70 33 70 77.39 9.09 −75.75 45 10 46.10 0.00 −58.65 45 30 54.08 0.00 −57.30 45 50 67.27 0.00 −67.15 45 70 83.22 0.00 −68.10 60 10 60.83 0.00 −68.85 60 30 67.08 0.00 −60.45 60 50 78.10 4.76 −59.35 60 70 92.20 0.00 −67.70 60 90 108.17 0.00 −69.35 
下载: 导出CSV
-
[1] 马建辉, 吴克宁, 赵华甫, 等. 我国耕地质量监测指标体系的构建[J]. 广东农业科学, 2012, 39(21): 74-78. [2] 张蚌蚌, 孔祥斌, 郧文聚, 等. 我国耕地质量与监控研究综述[J]. 中国农业大学学报, 2015, 20(2): 216-222. [3] 瞿华香, 赵萍, 陈桂鹏, 等. 基于无线传感器网络的精准农业研究进展[J]. 中国农学通报, 2014, 30(33): 268-272. [4] 黄欣, 赵志刚, 万荣泽. 面向精细农业的无线传感器网络关键技术研究[J]. 农机化研究, 2017, 39(11): 208-211. [5] THAKUR D, KUMAR Y, KUMAR A, et al. Applicability of wireless sensor networks in precision agriculture: A review[J]. Wireless Pers Commun, 2019, 107(1): 471-512. doi: 10.1007/s11277-019-06285-2
[6] MAHMOOD J H, ROSDIADEE N, KAMEL G S, et al. Energy-efficient wireless sensor networks for precision agriculture: A review[J]. Sensors, 2017,17(8). doi: 10.3390/s17081781.
[7] 梅海彬, 张明华, 黄冬梅. 基于无线传感器网络的实时近海环境监测系统设计[J]. 计算机应用与软件, 2015, 32(1): 110-113. [8] 王德麾, 冯军帅, 宋海亮, 等. 基于无线传感器网络和3G/4G的远程环境监测系统研究[J]. 物联网技术, 2015, 5(3): 17-18. [9] LI W, KARA S. Methodology for monitoring manufacturing environment by using wireless sensor networks (WSN) and the internet of things (IoT)[J]. Procedia CIRP, 2017: 61. doi: 10.1016/j.procir.2016.11.182
[10] 余修武, 余员琴, 江珊. 基于无线传感器网络的滑坡地质灾害预警监测系统研究[J]. 南华大学学报(自然科学版), 2014, 28(1): 34-39. [11] 苏国栋, 王平, 蔡碧丽, 等. 基于ZigBee技术的无线传感器网络在山体滑坡监测中的应用[J]. 梧州学院学报, 2013, 23(6): 27-34. doi: 10.3969/j.issn.1673-8535.2013.06.005 [12] 邓宏. 无线传感网络技术在文化遗产保护领域的应用[J]. 文物保护与考古科学, 2011, 22(3): 60-65. [13] 祁浩, 邓宏, 余珊珊. 无线传感器网络在考古发掘现场动态环境监测的应用研究[J]. 敦煌研究, 2013(1): 113-119. [14] 蔡义华, 刘刚, 李莉, 等. 基于无线传感器网络的农田信息采集节点设计与试验[J]. 农业工程学报, 2009, 25(4): 176-178. [15] 王卫星, 罗锡文, 孙道宗, 等. 茶园信息采集无线传感器网络节点设计[J]. 农业工程学报, 2011, 27(5): 169-173. [16] 韩文霆, 吴普特, 郁晓庆, 等. 农业环境信息无线传感器网络监测技术研究进展[J]. 农业工程学报, 2011, 27(14): 326-330. [17] ALI Z A, MASROOR S, AAMIR M. UAV based data gathering in wireless sensor networks[J]. Wireless Pers Commun, 2019, 106(4): 1801-1811. doi: 10.1007/s11277-018-5693-6
[18] 姚仲敏, 荆宝刚, 孙彩苹. 基于移动无线传感器网络的植株图像监测系统设计与测试[J]. 农业工程学报, 2016, 32(11): 189-196. [19] 李敬兆, 郭明明, 张晓明. 地空交互多感融合森林防护监测系统[J]. 传感器与微系统, 2019, 38(1): 110-113. [20] 黄志宏, 张波, 兰玉彬, 等. 基于UAV-WSN的农田数据采集[J]. 华南农业大学学报, 2016, 37(1): 104-109. [21] 张珊珊, 孟庆奎, 王玲. 基于UAV动态特性限制的WSN分簇路由方法研究[J]. 智能计算机与应用, 2018, 8(2): 14-19. [22] 史舟, 梁宗正, 杨媛媛, 等. 农业遥感研究现状与展望[J]. 农业机械学报, 2015, 46(2): 247-260. [23] 白由路, 金继运, 杨俐苹, 等. 低空遥感技术及其在精准农业中的应用[J]. 土壤肥料, 2004(1): 3-6. [24] PERZ R, WRONOWSKI K. UAV application for precision agriculture[J]. Aircr Eng Aerosp Tec, 2019, 91(2): 257-263. doi: 10.1108/AEAT-01-2018-0056
[25] MAES W H, STEPPE K. Perspectives for remote sensing with unmanned aerial vehicles in precision agriculture[J]. Trends Plant Sci, 2018, 24(2): 152-164.
[26] GÓMEZ-CANDÓN D, CASTROA I, LÓPEZ-GRANADOS F. Assessing the accuracy of mosaics from unmanned aerial vehicle (UAV) imagery for precision agriculture purposes in wheat[J]. Precis Agric, 2014, 15(1): 44-56. doi: 10.1007/s11119-013-9335-4
[27] 徐秀云, 陈向, 刘宝梅. 微型无人机助力土地整治项目监管[J]. 测绘通报, 2017(3): 86-90. [28] 张柯, 刘元志, 董胜光, 等. 无人机技术在土地综合整治动态监管项目中的一体化应用模式探索[J]. 国土资源导刊, 2013, 10(8): 92-94. [29] 毕凯, 李英成, 丁晓波, 等. 轻小型无人机航摄技术现状及发展趋势[J]. 测绘通报, 2015(3): 27-31. [30] 吕立蕾, 张卫兵, 胡树林, 等. 低空无人机航摄系统在长距离输油(气)管道1∶2 000带状地形图测绘中的应用研究[J]. 测绘通报, 2013(4): 42-45. [31] 杨青山, 范彬彬, 魏显龙, 等. 无人机摄影测量技术在新疆矿山储量动态监测中的应用[J]. 测绘通报, 2015(5): 91-94. [32] 郭忠磊, 翟京生, 张靓, 等. 无人机航测系统的海岛礁测绘应用研究[J]. 海洋测绘, 2014, 34(4): 55-57. [33] 兰玉彬. 精准农业航空技术现状及未来展望[J]. 农业工程技术, 2017, 37(30): 27-30. [34] 杨润书, 吴亚鹏, 李加明, 等. 无人机航摄系统的特点及应用前景探讨[J]. 地矿测绘, 2011, 27(1): 8-9. [35] 张永年. 无人机低空遥感海洋监测应用探讨[J]. 测绘与空间地理信息, 2013, 36(8): 143-145. [36] WANG X D, ZHOU Q F, CHENG C T. A UAV-assisted topology-aware data aggregation protocol in WSN[J]. Phys Commun-Amst, 2019: 34. doi: 10.1016/j.phycom.2019.01.012.
[37] CAO H R, LIU Y X, YUE X J, et al. Cloud-assisted UAV data collection for multiple emerging events in distributed WSNs[J]. Sensors , 2017, 17(8). doi: 10.3390/s17081818.
[38] SARMAD R, MUJDAT S. Analyzing the effects of UAV mobility patterns on data collection in wireless sensor networks[J]. Sensors, 2017, 17(2). doi: 10.3390/s17020413.
[39] HO D T, GRØTLIE I, SUJIT P B, et al. Optimization of wireless sensor network and UAV data acquisition[J]. J Intell Robot Syst, 2015, 78(1): 159-179. doi: 10.1007/s10846-015-0175-5
[40] 王赛, 郝建军, 姚亚芬. 一种基于UAV的无人海岛监控网络数据收集策略[J]. 电讯技术, 2018, 58(2): 131-137. [41] 张旺. 基于无线传感器网络的无人机农田信息监测系统[J]. 南方农机, 2017, 48(9): 36-37. [42] 张波, 罗锡文, 兰玉彬, 等. 基于无线传感器网络的无人机农田信息监测系统[J]. 农业工程学报, 2015, 31(17): 176-182. [43] 郑锴, 童利标, 陆文骏. 应用无人机实现地面无线传感器网络通信中继的探讨[J]. 现代电子技术, 2007, 30(23): 40-41. [44] 王勇, 庞蕾, 张学东, 等. 基于PhotoScan的无人机航摄大比例尺DOM制作[J]. 矿山测量, 2017, 45(2): 14-17. [45] 张纯斌, 杨胜天, 赵长森, 等. 小型消费级无人机地形数据精度验证[J]. 遥感学报, 2018, 22(1): 185-195. [46] 黄健. 遥感影像纠正的地面控制点选取[J]. 现代测绘, 2005(S1): 208-209.
计量
- 文章访问数: 18345
- HTML全文浏览量: 2
- PDF下载量: 37643
