Detection method of high temperature stress of tomato at seedling stage based on thermal infrared and RGB images
-
摘要:目的
针对实际生产场景中番茄苗期生长遇到的高温胁迫问题，提出一种基于热红外和RGB图像的番茄苗期高温胁迫检测方法。
方法首先，通过番茄苗期热红外图像反演获取番茄冠层温度参数，采用偏最小二乘(Partial least squares, PLS)模型提取冠层温度特征指标；然后，建立采用3种不同主干特征提取网络的Mask-RCNN模型，通过迁移学习的方式将番茄苗期RGB图像输入Mask-RCNN模型，进行高温胁迫症状实例分割，得到番茄苗期胁迫症状特征指标；最后，利用提取的温度和胁迫症状特征指标构建分级数据集，输入高温胁迫分级模型，得到高温胁迫等级。
结果基于PLS模型提取的冠层温度特征指标累计贡献率达95.45%；基于ResNet101+Mask-RCNN的高温胁迫症状分割网络对番茄苗期轻度和重度胁迫的分割精度最高，均值平均查准率(Mean average precision, mAP)分别为77.3%和73.8%；基于温度和胁迫症状特征指标构建的4种高温胁迫分级模型中，反向传播神经网络(Back propagation neural network, BPNN)获得最好的高温胁迫分级效果，分级准确率达95.6%。
结论该方法对番茄苗期高温胁迫检测效果较好，可为番茄苗期高温胁迫早期精准检测和快速自动预警提供技术支撑。
Abstract:ObjectiveAiming at the problem of high temperature stress encountered in the growth of tomato at seedling stage in actual production scenarios, a method for detecting high temperature stress of tomato at seedling stage based on thermal infrared and RGB images was proposed.
MethodFirstly, the tomato canopy temperature parameters were obtained by inversion through the thermal infrared image of tomato plant at seedling stage, and the canopy temperature characteristic indicators were extracted by the partial least squares (PLS) model. Then, a Mask-RCNN model using three different backbone feature extraction networks was established, and the RGB images of tomato seedlings were input into the Mask-RCNN model by means of transfer learning for instance segmentation of high temperature stress symptoms. The characteristic indicators of tomato stress symptoms at seedling stage were obtained. Finally, the extracted temperature and stress symptom characteristic indicators were used to construct a hierarchical data set and fed into the high temperature stress classification model to obtain the high temperature stress level.
ResultThe cumulative contribution rate of the canopy temperature characteristic indicators extracted based on the PLS model reached 95.45%. The high temperature stress symptom segmentation network based on ResNet101+Mask-RCNN had the highest segmentation accuracy for mild and severe stress of tomato at seedling stage, with mean average precision (mAP) of 77.3% and 73.8% respectively. Among the four high temperature stress grading models constructed based on temperature and stress symptom characteristic indicators, the back propagation neural network (BPNN) showed the best high temperature stress grading performance with the grading accuracy rate of 95.6%.
ConclusionThe proposed method in this study achieves better detection performance for high temperature stress of tomato at seedling stage, and provides a technical support for early detection and rapid automatic warning of high temperature stress of tomato at seedling stage.
-
Keywords:
- Seedling stage /
- Tomato /
- High temperature /
- Thermal infrared image /
- Mask-RCNN /
- Stress detection
-
在现代畜牧业中，精确测量动物体尺对评估其生长和健康状况至关重要。传统测量方法主要靠人工，不仅耗时，还因测量者技能和经验不同而导致误差。计算机技术的进步使得数字化畜牧业成为推进行业发展的关键[1]，其中视觉技术得到了广泛应用。众多研究利用计算机视觉技术来检测动物行为[2-3]、计数牲畜[4-6]以及评估肉质[7-8]，展现了其在畜牧业中的潜力，为动物体尺的自动测量提供了重要支持。
传统视觉技术测量动物体尺的主要方法包括基于三维重建和基于关键点提取的技术。三维重建技术通过从多个角度捕获动物的图像，以克服动物姿态多样性的问题[9-11]。然而，在实际的猪场环境中，这种方法面临多种挑战。例如，猪的活动可能导致重建的模型扭曲；表面纹理和光照的变化可能影响重建的精度；选择和配置硬件设备，以及满足大量的计算资源需求，也是这种方法所面临的挑战。另一方面，基于关键点提取的技术需要图像尺度在旋转和光照变化时保持稳定[12-13]，其准确性主要依赖于关键点提取模型的鲁棒性；其次，猪的多种姿势(如站立、行走或躺卧)会影响图像中提取到的关键点信息的分析；此外，图像的畸变性也可能进一步造成测量结果不准确。无论是基于三维重建的技术，还是基于关键点提取的技术，都需要进一步的研究和改进，以提高在实际环境中的应用效果。
随着农业智能化迅速发展，YOLO系列的视觉算法得到了广泛应用[14-16]。殷献博等[17]提出了采用多注意力机制改进的YOLOX-Nano模型，在柑橘梢期监测任务中达到了88.07%的平均精度，实现了自动化监测；另外，杨秋妹等[18]应用YOLO技术的高精度特点，开发了一种自动化猪只盘点系统，即使在复杂环境下也能准确地进行盘点，减少了对人工操作的依赖。此外，ByteTrack作为一种多目标跟踪算法[19]，与YOLO结合在农业领域广泛应用。Zheng等[20]利用Yolov7和ByteTrack实现了自然场景下奶牛的自动监控，平均分析速度达到47帧/s；同时，Qian等[21]提出了基于Yolov5的鱼检测算法，结合ByteTrack算法实时跟踪，解决了遮挡问题。在这些研究的启发下，本研究提出了一种基于Yolov8-Pose和ByteTrack追踪算法的猪只体尺估计方法，旨在实现实际环境中猪场猪只体尺的自动测量。
1. 图像采集与数据集制作
1.1 图像来源
本研究采用的猪只图像数据源自双河基地实验猪场，通过场内安装的室内监控系统进行采集。监控系统采用的是海康威视公司生产的型号为DS-2CD3146FWD-IS的半球形摄像头，该摄像头以顶置方式安装在猪栏上方，距离地面高度为2.0~2.5 m，以获得最佳的俯拍视角。在数据收集阶段，随机选取猪场中保育舍、后备舍以及营养调控舍的场景进行视频裁剪，共裁剪238段视频片段，平均每个片段为30 s，每间隔6帧进行抽取，共抽取7 324张原始图片，所有图像的分辨率均设定为2 560像素×1 440像素。经人工筛选后，选出1 822张合适的图片进行标注，共包含6 452头猪只，用于本研究的数据分析。
1.2 数据集制作
本研究采用了一种详细的关键点标注策略，为图像中的每头猪标注6个主要关键点(图1展示了4个场景猪只的关键点标注)：头部、右肩、右臀、尾巴、左臀和左肩，通过测量这些关键点间的距离，估算出猪的臀宽、体长和肩宽等重要的体尺数据。为了保证数据集的独立性和模型的泛化性，按照约8∶1∶1的比例划分训练集(含1 622张图像)、验证集(200张)和测试集(200张)，以支持模型训练和评估的需要。
![图 1 4个不同场景猪只6个关键点的标注]()
图 1 4个不同场景猪只6个关键点的标注Figure 1. Annotation of six key points of pigs in four different scenarios为了进一步提高模型的检测能力，在训练过程中引入了Mosaic、色域变换和左右翻转3种数据增强策略。其中，Mosaic增强是指抽取训练样本集中的4张图片进行随机裁剪并拼接形成一个新的训练样本，图2展示了经过Mosaic增强后的样本图片。左右翻转的概率设为0.5，色域变换HSV分别设为0.015、0.700和0.400。为避免过拟合，更加关注原始数据，训练的最后10个epochs中不再采用任何数据增强策略。
2. 方法与算法设计
2.1 研究方法
本研究针对猪自然静止与运动状态下姿态的多样性，提出了一种结合关键点检测算法和追踪算法的体尺估计方案。通过分析视频流中连续帧的图像，实现体尺估计并完成相应记录。引入感兴趣区域(Region of interest，ROI)减少相机畸变的影响并提高处理速度，采用基于帧关联性的异常检测算法优化预测结果，提高体尺估计的精度和稳定性。图3为本研究工作流程。
2.2 体尺算法设计
2.2.1 摄像机标定
在精确测量动物体尺的过程中，需将图像上的像素距离转换为实际世界中的距离。这种转换涉及计算一个缩放因子(实际距离与图像中测量到的像素距离的比值)，使得从图像数据中直接测量物理尺寸成为可能。为实现这一转换，本研究首先通过固定摄像头并使用标定板从多个角度和位置拍摄图像，来获得摄像机的内外参数。内参数包括焦距、主点坐标以及畸变系数，这些参数反映了摄像机如何将三维世界映射到二维图像平面。外参数则描述了摄像机相对于世界坐标系的位置和方向，为确定物体在现实世界中的位置提供必要信息。通过MATLAB标定工具箱处理标定图像，可以得到这些参数。随后，利用内参数对图像进行畸变校正，并使用外参数将摄像机坐标系下的点转换到世界坐标系下。图4展示了经过相机矫正后的图像，其中的坐标系对应真实世界中的坐标系，进而通过对比棋盘格的已知实际尺寸(每个正方形小格的边长为70 mm)与其在矫正图像中的像素尺寸，计算出缩放因子。
2.2.2 关键点检测
本研究选用2023年新推出的Yolov8-Pose作为关键点检测模型。该模型具有以下优势：通过端到端的训练框架直接从图像中检测目标框和关键点，速度更快，利用得到的目标框更易于进行追踪任务；深度卷积网络和多尺度特征提取能力使其能够有效地识别和定位猪的关键点，精度高，无需对算法网络进行调整或优化；集成了注意力机制和上下文信息融合，增强了模型在复杂背景下尤其是在遮挡和变化光照条件下检测关键点的能力；模型轻量化、易部署，适用于各种环境。
2.2.3 结合ByteTrack追踪算法的体尺估计
ByteTrack算法是一种基于目标检测的多目标跟踪技术，区别于依赖重识别(ReID)的方法，它仅使用目标检测步骤中获得的目标框信息来执行跟踪。相对于其他追踪算法，该算法保留了低置信度的检测框，采用卡尔曼滤波器来预测高低分目标框的未来状态，并运用匈牙利算法实现当前目标与已存在轨迹之间的匹配。由于其精度和速度的优势，本研究选择结合ByteTrack追踪算法和关键点检测方法，使用视频流作为输入，通过自动识别并追踪视频中的每一只猪，为其分配一个唯一ID，随后连续捕捉每只猪只的动态变化，并测量每一时刻的关键点信息，利用像素转化技术将关键点的像素距离转换为实际的体长、肩宽和臀宽，并将这些数据记录到相应的ID中。通过对视频流中猪只的连续观察和分析，能够更多地获取其体态信息，减少单次测量可能引入的误差，从而确保数据的稳定性和可靠性；同时，相对人工选取特定姿态照片的处理方式，减少了人工依赖和人工误差。以下是体尺计算公式，具体参考图5。
![图 5 猪只6个关键点和体尺测量示意图]()
图 5 猪只6个关键点和体尺测量示意图Figure 5. Schematic diagram of six key points and body measurements for pigs$$ {L_{{\mathrm{body}}}} = \sqrt {{{\left[ {{\theta _1}({x_2} - {x_3})} \right]}^2} + {{\left[ {{\theta _2}({y_2} - {y_3})} \right]}^2}} \text{，} $$ (1) $$ {L_{{\mathrm{shoulder}}}} = \sqrt {{{\left[ {{\theta _1}({x_2} - {x_6})} \right]}^2} + {{\left[ {{\theta _2}({y_2} - {y_6})} \right]}^2}} \text{，} $$ (2) $$ {L_{{\mathrm{hip}}}} = \sqrt {{{\left[ {{\theta _1}({x_3} - {x_5})} \right]}^2} + {{\left[ {{\theta _2}({y_3} - {y_5})} \right]}^2}} \text{，} $$ (3) 式中， Lbody、Lshoulder、Lhip分别为猪只的体长、肩宽、臀宽，(xi, yi)为第i个关键点的坐标，按顺序i=1~6分别对应头、右肩、右臀、尾、左臀、左肩；
$ {\theta _1} $ 、$ {\theta _2} $ 分别为横、纵坐标方向的缩放因子，以实现像素距离到实际尺寸的转换(缩放因子受摄像头配置参数和安装位置影响)。2.3 ROI筛选与姿态和异常检测过滤
2.3.1 ROI筛选
在实际生产中猪群倾向于聚集在摄像范围边缘区域，图片畸变性导致同一猪只在不同位置的体尺估计存在显著偏差，在远离中心位置时呈现缩小的趋势。同时，猪只的聚集和拥挤情况也会导致猪的姿态变形，进一步影响体尺估计的准确性。此外，猪只数量增加会显著降低处理速度。为提高估计准确度和处理速度，本研究设置ROI，仅对中央部分的猪只进行评估，既减少了边缘畸变和拥挤姿态变形的影响，也保证了足够的检测范围以便一段时间内能够统计到全部猪只。在本试验设置中，选定的ROI是图像中心的红色矩形框，其大小和形状可根据具体场景灵活调整，如图6所示。
2.3.2 姿态和异常检测过滤
在测量位于ROI区域内猪只体尺时，分2个阶段进行。第1阶段是猪只姿态的检测过滤，在这一阶段中需要考虑猪只是否处于站立状态以及站立时是否存在歪曲。当猪只处于站立状态时，肩宽与体长的比值以及臀宽与体长的比值均大于设定阈值(阈值的大小仅与猪舍场景有关，与猪只的实际大小无关，不同场景设定不同阈值)，并且头部关键点与双肩形成的三角形以及头部关键点与左右臀部关键点形成的三角形均为锐角三角形时，表示猪只姿态端正，测得数据有效，进入第2阶段，反之数据视为无效，丢弃。图7为需要被过滤掉的异常猪只姿态的示例。第2阶段是异常检测过滤，进一步排除由于运动模糊等因素可能导致的同一猪只在连续帧中体尺测量结果有较大差异的情况，本研究利用视频流中连续帧的关键点位置关联性，采用异常检测处理测量误差：对当前有效数据的前10帧内的数据进行分析比较，若当前测得数据与各数据最小差距小于4 cm，则保存到猪只字典中，反之则丢弃。经过一段时间运行，每头猪体尺数据为当前该猪只字典所有数据的平均值。
3. 模型训练与结果
3.1 模型训练
3.1.1 试验平台与模型参数设置
在Linux操作系统下，通过Python 3.8.1和PyTorch 1.8.0搭建的深度学习框架进行网络模型的训练与测试。试验配置包括Intel Xeon Silver 4110 CPU和2张NVIDIA GeForce RTX 2080 Ti GPU，利用CUDA 11.1并行计算框架以及CuDNN 11.7深度神经网络加速库进行性能优化。Yolov8-Pose模型训练采用640像素×640像素的输入图像分辨率，使用Adam优化器，设置训练批次大小为32，总共进行300次迭代训练。训练阶段，初始学习率设置为0.001，通过余弦退火策略进行学习率更新，针对单一目标类别，并关注6个关键点的检测。
3.1.2 评价指标
在执行关键点检测任务时，通常通过4个核心指标来评估模型的性能：精确度(Precision，P)、召回率(Recall，R)、平均精确度(Average precision，AP)和平均精确度均值(mean Average precision，mAP)。这些指标共同提供了一个全面的框架，量化模型在定位和识别关键点方面的效能，计算公式如下。
$$ P = \dfrac{{{\mathrm{TP}}}}{{{\mathrm{TP}} + {\mathrm{FN}}}} \times 100{\text{%}} \text{，} $$ (4) $$ R = \dfrac{{{\mathrm{TP}}}}{{{\mathrm{TP}} + {\mathrm{FN}}}} \times 100{\text{%}} \text{，} $$ (5) $$ {\mathrm{AP}} = \displaystyle\int\limits_0^1 {P(R){\mathrm{d}}R \times } 100{\text{%}} \text{，} $$ (6) $$ {\mathrm{mAP}} = \dfrac{1}{M}{\displaystyle\sum}_{k } {{\mathrm{AP}}_k \times } 100{\text{%}} \text{，} $$ (7) 式中，TP表示猪只位置被正确预测出来的数量，FP表示环境被错误预测为猪只位置的数量，FN为猪只位置未被预测出来的数量，M为检测目标的类别总数，APk为第k类AP。模型的性能通过P-R曲线(图8)进行可视化评估，曲线图标明了模型在精确度和召回率方面的表现，其下方的面积即为模型的平均精确度。图8A是目标框的P-R曲线，图8B是关键点的P-R曲线。最终，选出表现最优的模型权重，并在测试集上进行效果验证，图9展示了模型在验证集中随机抽取的4张图像中的推理效果。
![图 8 目标框(A)和关键点(B)的P-R曲线]()
图 8 目标框(A)和关键点(B)的P-R曲线Figure 8. P-R curves for bounding boxes (A) and key points (B)3.2 结果分析
3.2.1 ByteTrack追踪效果
在评价追踪任务性能时，主要关注3个指标：每秒处理帧数(Frames per second，FPS)；IDF1分数(Identity F1 score，IDF1)；多目标跟踪准确率(Multiple object tracking accuracy，MOTA)。FPS衡量系统每秒能处理的图像帧数，直接反映系统的处理速度；IDF1反映跟踪过程中正确维持目标身份的比例，表明在多目标跟踪中目标身份连续性的保持情况；MOTA是评估多目标跟踪性能的综合指标，通过综合考量正确追踪到的目标数量、漏检目标数量、误检目标数量及目标定位误差等多个方面，提供对追踪系统整体性能的全面评价。IDF1和MOTA的计算公式如下。
$$ {\rm{I D F}} 1=\dfrac{2 {\rm{I D T P}}}{2 {\rm{I D T P}}+{\rm{I D F P}}+{\rm{I D F N}}}\text{，} $$ (8) $$ {\rm{MOTA}} = 1 - \dfrac{{\displaystyle\sum\nolimits_{{t}} {\left( {{\rm{F}}{{\rm{N}}_t} + {\rm{F}}{{\rm{P}}_t} + {\rm{IDS}}{{\rm{W}}_t}} \right)} }}{{\displaystyle\sum\nolimits_t {{\rm{G}}{{\rm{T}}_t}} }} \text{，} $$ (9) 式中，IDTP表示真实目标与跟踪结果正确匹配的数量，IDFP表示真实目标与跟踪结果错误匹配的数量，IDFN表示未匹配的真实目标数量，GTt表示第t帧中真实目标的个数，FNt表示第t帧中漏检的个数，FPt表示第t帧中虚检的个数，IDSWt表示第t帧中轨迹发生转变的个数。
本研究设计了4个测试场景评估3种多目标跟踪算法(FairMOT、ByteTrack、BoT-SORT)的表现。场景1展示了5头成年大猪在无遮挡的环境中自由活动；场景2聚焦于5头小猪，同样在无遮挡条件下；场景3增加了复杂性，引入遮挡物，同时仍有5头成年大猪；最后，场景4呈现了一个挑战性的大规模场景，超过20头猪只共同出现且环境拥挤，没有遮挡物。通过表1可知，在无遮挡和适量猪只情况下，选择ByteTrack算法能够保证猪只跟踪的准确性和稳定性，且能保持较高的处理速度。
表 1 3种多目标追踪算法对猪只追踪的验证结果1)Table 1. Validation results of three multiple target tracking algorithms for pig tracking场景
Scene猪数量
Number
of pigs有无遮挡
Occlusion
situationFairMOT ByteTrack BoT-SORT MOTA/% IDF1/% FPS/(帧·s−1) MOTA/% IDF1/% FPS/(帧·s−1) MOTA/% IDF1/% FPS/(帧·s−1) 1 5 无 86.1 87.7 43 91.3 92.9 142 96.7 90.7 59 2 5 无 84.6 85.4 42 94.7 97.3 142 95.3 97.6 58 3 5 有 73.7 72.3 43 67.6 82.0 144 82.8 88.3 59 4 >20 无 76.3 74.9 36 79.8 86.9 129 84.5 91.4 52 1) MOTA：多目标跟踪准确率，IDF1：IDF1分数，FPS：每秒处理帧数
1) MOTA: Multiple object tracking accuracy, IDF1: Identity F1 score, FPS: Frames per second3.2.2 体尺估计评价指标
本研究采用决定系数(R2)、平均绝对误差(Mean absolute error，MAE)、平均绝对百分比误差(Mean absolute percentage error，MAPE)作为评估指标，衡量模型预测值与真实值之间的偏差程度；决定系数越大，说明模型预测值与真实值拟合程度越高，平均绝对误差、平均绝对百分比误差较小表明误差水平较低，反映模型的高准确性。
3.2.3 猪只体尺估计结果分析
随机抽取5个包含多头猪只的圈栏进行体尺估计(单位为cm)，每个圈栏分3个组别评估不同数据处理策略的效果。第1组采用ROI筛选，仅记录摄像头中心范围内猪只的体长数据，防止摄像头畸变、猪只拥挤导致的误差。第2组在ROI筛选的基础上引入姿态和异常检测过滤，识别并过滤由运动模糊、姿态歪曲等因素导致的误差数据。第3组未采用以上机制。分别对各圈栏3个组别猪只的体长、肩宽、臀宽数据求决定系数、平均绝对误差、平均绝对百分比误差，如表2所示。
表 2 猪只体长、肩宽、臀宽数据偏差对比1)Table 2. Variance comparison of pig body length, shoulder width and hip width data性状
Trait圈栏号(猪只数量)
Circle ID
(number of pigs)第1组 Group 1 第2组 Group 2 第3组 Group 3 R2 MAE/cm MAPE/% R2 MAE/cm MAPE/% R2 MAE/cm MAPE/% 体长
Body
length1(7) 0.83 4.71 5.99 0.89 4.00 4.95 0.50 8.14 9.97 2(6) 0.92 2.75 3.84 0.93 2.50 3.48 0.45 6.50 8.65 3(5) 0.67 2.00 2.26 0.82 1.40 1.50 −1.65 5.80 6.34 4(2) 0.20 12.00 13.98 0.81 6.50 7.10 0.92 4.00 4.15 5(4) 0.00 2.50 3.66 0.89 1.00 1.47 −2.13 5.25 7.65 总计 Total(24) 0.85 3.96 5.08 0.94 2.88 3.61 0.75 6.13 7.74 肩宽
Shoulder
width1(7) 0.81 1.57 6.15 0.83 1.71 7.50 −0.54 4.71 18.82 2(6) 0.61 1.00 5.39 0.81 0.83 4.57 0.04 1.50 7.89 3(5) 0.71 1.00 4.54 0.77 1.00 4.83 0.58 1.40 6.93 4(2) −0.06 4.00 14.59 0.19 3.00 10.24 −1.31 6.00 22.16 5(4) −1.13 2.25 13.77 0.28 3.50 12.00 −5.05 3.75 21.87 总计 Total(24) 0.77 1.63 7.60 0.86 1.25 5.65 0.13 3.17 14.40 臀宽
Hip
width1(7) 0.71 1.86 8.76 0.74 1.86 8.79 −0.33 4.14 18.50 2(6) 0.72 0.67 3.76 0.81 0.67 4.30 0.67 0.83 5.40 3(5) 0.71 1.60 7.45 0.84 1.40 6.65 0.27 2.80 13.99 4(2) 0.27 3.00 11.99 0.59 2.00 7.45 −1.49 5.50 22.60 5(4) 0.25 1.25 8.06 0.80 0.75 5.12 −4.36 4.25 27.14 总计 Total(24) 0.81 1.54 7.80 0.88 1.29 6.50 0.25 3.13 15.63 1)R2：决定系数，MAE：平均绝对误差，MAPE：平均绝对百分比误差
1) R2: Determination coefficient, MAE: Mean absolute error, MAPE: Mean absolute percentage error试验结果表明，针对5个栏24头猪只，通过将跟踪算法和关键点检测算法结合，能够确保猪只体尺测量的平均绝对误差小于7 cm，平均绝对百分比误差保持在16%以内。在引入ROI筛选、姿态和异常检测过滤后，24头猪只体尺的平均绝对误差小于3 cm，体长的平均绝对百分比误差保持在4%以内，肩宽保持在6%以内，臀宽保持在7%以内，同时，体长、肩宽和臀宽的决定系数分别为0.94、0.86和0.88，展示了模型良好的拟合效果。此外，ROI筛选显著提高了数据处理速度，从原先的3.0帧/s提升至19.3帧/s。
4. 结论
本研究针对猪场摄像头俯拍场景(无遮挡环境)，提出了基于关键点检测和多目标跟踪的猪只体尺估计方法，在Yolov8-Pose的基础上融合了ByteTrack追踪算法、ROI筛选、姿态和异常检测过滤机制，主要优点如下。
1)相较于其他特征提取或轮廓测量方法，该方法无需人工筛选图片，同时能够捕捉更多猪只的姿态变化信息，提供更精确的结果，且适用于猪场实际生产环境，在无需人工干预的情况下可以对多头猪只进行自动测量。与三维重建测量方法相比，这种方法无需大量计算资源，无需建立特定测量场景，同时避免了猪只剧烈活动时进行三维重建的困难。
2)引入ROI机制可以降低猪群拥挤因素、边缘畸变性对体尺估计的影响，并提高数据处理速度。
3)加入姿态和异常检测过滤算法，避免了运动模糊、姿态不正等干扰因素导致的误差增加。
综上所述，本研究提出的体尺估计方法为猪场生产场景提供了一个轻量化、易部署、高精度的自动体尺测量解决方案，能够在养殖场边缘和终端设备上顺畅运行，助力养殖管理的智能化。
-
![]()
图 1 试验整体流程图
PCA：主成分分析；PLS：偏最小二乘；NB：朴素贝叶斯；SVM：支持向量机；kNN：k−最近邻；BPNN：反向传播神经网络
Figure 1. Overall flow chart of the test
PCA: Principal component analysis; PLS: Partial least squares; NB: Naive Bayesian; SVM: Support vector machine; kNN: k-nearest neighbor; BPNN: Back propagation neural network
![]()
图 2 番茄幼苗热红外图像温度分布直方图
Figure 2. Histogram of temperature distribution of thermal infrared image of tomato seedling
![]()
图 3 番茄幼苗冠层能量分布三维曲面图
Figure 3. 3D surface map of energy distribution in canopy of tomato seedlings
![]()
图 4 不同高温胁迫症状的番茄幼苗叶片RGB图像
Figure 4. RGB images of tomato seedling leaves with different symptoms of high temperature stress
![]()
图 5 Mask-RCNN架构
FPN：特征金字塔网络；RPN：区域生成网络；RoI：感兴趣区域
Figure 5. Mask-RCNN architecture
FPN: Feature pyramid network; RPN: Region proposal network; RoI: Region of interest
![]()
图 7 3种不同主干特征提取网络不同程度胁迫预测结果
Figure 7. Prediction results of different stresses on three different backbone feature extraction networks
![]()
图 8 Mask-RCNN+ResNet101模型损失函数值变化曲线
Figure 8. Change curve of loss function value of Mask-RCNN+ResNet101 model
![]()
图 9 4种不同模型测试集分类结果混淆矩阵
绿色方格代表分类正确样本，其中数字为样本数量和所占总体样本的比例；红色方格代表分类错误样本；浅灰色方格中数字代表测试集样本每一行和列的真阳性率(绿色)和假阴性率(红色)；深灰色方格中数字代表测试集样本的总体准确率(绿色)和总体错误率(红色)
Figure 9. Confusion matrices of classification results of test sets of four different models
Green squares represent correctly classified samples, where the numbers are the number of samples and the proportion of the total sample; Red squares represent misclassified samples; The numbers in the light gray squares represent the true positive rate (green) and false negative rate (red) for each row and column of the test set sample; The numbers in the dark gray squares represent the overall accuracy (green) and overall error (red) of the test set samples
表 1 番茄幼苗冠层热红外温度参数变化表
Table 1 Variation table of thermal infrared temperature parameters of tomato seedling canopy
℃ 试验时刻1)Experiment time 最大温度 Maximum temperature 最小温度 Minimum temperature 最大温差 Maximum temperature difference 平均温度 Average temperature 温度标准差 Temperature standard deviation D1 12:00 30.3 21.7 8.6 24.6230 1.5155 D1 16:00 31.6 21.7 9.9 25.1910 1.8274 D2 12:00 32.4 22.9 9.5 25.1721 1.3691 D2 16:00 31.2 22.7 8.5 25.9238 1.4817 D3 12:00 31.1 23.1 8.0 26.8236 1.7791 D3 16:00 32.0 23.1 8.9 27.3416 1.7418 D4 12:00 31.8 24.3 7.5 27.0165 1.3433 D4 16:00 32.9 24.1 8.8 27.5235 1.5168 D5 12:00 33.1 24.6 8.5 29.0355 1.7989 D5 16:00 34.2 25.2 9.0 30.0699 1.8027 D6 12:00 33.5 24.8 8.7 29.7350 1.7264 D6 16:00 34.4 25.2 9.2 30.1302 1.8432 1) D1~D6分别表示第1~6天 1) D1-D6 indicate day 1-6, respectively 
下载: 导出CSV
表 2 主干特征提取网络性能参数
Table 2 Performance parameters of backbone feature extraction network
网络 Network 深度 Depth 大小/MB Size 参数量 Millions parameter quantity 图像输 入大小 Image input size 特征提取层 Feature extraction layer 池化层输出大小 Output size of pooling layer ResNet50 50 96 25.6 224×224 Block_13_expand_relu 14×14 ResNet101 101 167 44.6 224×224 Mixed7 17×17 MobileNet 54 13 3.5 224×224 Res4b_22_relu 14×14
下载: 导出CSV
表 3 温度特征指标的相关系数和主成分贡献率
Table 3 Correlation coefficient and principal component contribution rate of temperature characteristic indicators
特征指标 Characteristic indicator 相关系数 Correlation coefficient 主成分贡献率/% Principal component contribution rate 最大值( $ {T}_{1} $) Maximum 0.1451 3.24 最小值( $ {T}_{2} $) Minimum −0.0385 0.07 平均值( $ {T}_{3} $) Average −0.1328 0.23 标准差( $ {T}_{4} $) Standard deviation −0.0437 0.01 规范标准化值( $ {T}_{5} $) Canonical normalized −0.1466 4.17 规范替换值( $ {T}_{6} $) Canonical replacement −0.1657 6.44 变异系数( $ {T}_{7} $) Coefficient of variation 0.2749 34.37 冠气温差( $ {T}_{8} $) Crown temperature difference 0.1563 2.28 信息熵( $ {T}_{9} $) Information entropy 0.2134 16.62 20~23 ℃温度频率( $ {T}_{10} $) Temperature frequency −0.1360 0.25 23~26 ℃温度频率( $ {T}_{11} $) Temperature frequency −0.2041 9.76 26~29 ℃温度频率( $ {T}_{12} $) Temperature frequency 0.0826 0.03 29~32 ℃温度频率( $ {T}_{13} $) Temperature frequency 0.2279 21.85 32~35 ℃温度频率( $ {T}_{14} $) Temperature frequency 0.1491 0.68
下载: 导出CSV
表 4
${\rm{IoU}}=0.5$ 时3种不同主干特征提取网络Mask-RCNN模型分割精度Table 4 Segmentation accuracy of Mask-RCNN model of three different backbone feature extraction networks when IoU=0.5
主干特征提取网络 Backbone feature extraction network 胁迫等级 Image stress level 查准率/% Precision 查全率/% Recall $ {F}_{1} $/% $ \mathrm{m}\mathrm{A}\mathrm{P} $/% ResNet50 中度 Mild 90.4 50.5 64.8 75.7 重度 Severe 83.2 45.9 59.2 71.6 ResNet101 中度 Mild 91.3 52.4 66.6 77.3 重度 Severe 85.7 47.2 60.9 73.8 MobileNet 中度 Mild 86.0 46.8 60.6 69.9 重度 Severe 80.5 43.4 56.4 66.5
下载: 导出CSV
表 5 不同分类网络模型的苗期番茄高温胁迫分级精度
Table 5 Classification accuracy of high temperature stress of tomato at seedling stage with different classification network model
模型类别 Model category 准确率/% Accuracy 查准率/% Precision 查全率/% Recall $ {F}_{1} $/% ${{\rm{MCC}}}$/% 朴素贝叶斯 Naive Bayesian (NB) 90.6 92.7 89.9 91.3 81.0 支持向量机 Support vector machine (SVM) 93.3 96.8 91.0 93.8 86.8 k−最近邻 k-nearest neighbor (kNN) 91.7 92.7 91.8 92.2 83.3 BP神经网络 BP neural network (BPNN) 95.6 96.9 94.9 95.9 91.1
下载: 导出CSV
-
[1] ZHANG J, JIANG X D, LI T L, et al. Photosynthesis and ultrastructure of photosynthetic apparatus in tomato leaves under elevated temperature[J]. Photosynthetica, 2014, 52(3): 430-436. doi: 10.1007/s11099-014-0051-8
[2] 巩文睿, 金萍, 钟启文. 设施农业物联网技术应用现状与发展建议[J]. 农业科技管理, 2017, 36(4): 20-23. doi: 10.16849/j.cnki.issn1001-8611.2017.04.006 [3] ZHOU R, KONG L, WU Z, et al. Physiological response of tomatoes at drought, heat and their combination followed by recovery[J]. Physiologia Plantarum, 2019, 165(2): 144-154.
[4] WEN J Q, JIANG F L, LIU M, et al. Identification and expression analysis of Cathepsin B-like protease 2 genes in tomato at abiotic stresses especially at high temperature[J]. Scientia Horticulturae, 2021, 277(10): 109799.
[5] TORRES G M, LOLLATO R P, OCHSNER T E. Comparison of drought probability assessments based on atmospheric water deficit and soil water deficit[J]. Agronomy Journal, 2013, 105(2): 428-436. doi: 10.2134/agronj2012.0295
[6] WISHART J, GEORGE T S, BROWN L K, et al. Field phenotyping of potato to assess root and shoot characteristics associated with drought tolerance[J]. Plant and Soil, 2014, 378(1/2): 351-363.
[7] ZHOU Z, MAJEED Y, DIVERRES NARANJO G, et al. Assessment for crop water stress with infrared thermal imagery in precision agriculture: A review and future prospects for deep learning applications[J]. Computers and Electronics in Agriculture, 2021, 182: 106019.
[8] CHANDEL A K, KHOT L R, YU L X. Alfalfa (Medicago sativa L. ) crop vigor and yield characterization using high-resolution aerial multispectral and thermal infrared imaging technique[J]. Computers and Electronics in Agriculture, 2021, 182: 105999.
[9] HOU M J, TIAN F, ORTEGA-FARIAS S, et al. Estimation of crop transpiration and its scale effect based on ground and UAV thermal infrared remote sensing images[J]. European Journal of Agronomy, 2021, 131: 126389. doi: 10.1016/j.eja.2021.126389
[10] DAS S, CHAPMAN S, CHRISTOPHER J, et al. UAV-thermal imaging: A technological breakthrough for monitoring and quantifying crop abiotic stress to help sustain productivity on sodic soils: A case review on wheat[J]. Remote Sensing Applications Society and Environment, 2021, 23: 100583. doi: 10.1016/j.rsase.2021.100583
[11] ZHU W, CHEN H, CIECHANOWSKA I, et al. Application of infrared thermal imaging for the rapid diagnosis of crop disease[J]. IFAC-PapersOnLine, 2018, 51(17): 424-430. doi: 10.1016/j.ifacol.2018.08.184
[12] LACERDA L N, SNIDER J L, COHEN Y, et al. Using UAV-based thermal imagery to detect crop water status variability in cotton[J]. Smart Agricultural Technology, 2022, 2: 100029. doi: 10.1016/j.atech.2021.100029
[13] TIAN F, HOU M, QIU Y, et al. Salinity stress effects on transpiration and plant growth under different salinity soil levels based on thermal infrared remote (TIR) technique[J]. Geoderma, 2020, 357: 113961. doi: 10.1016/j.geoderma.2019.113961
[14] MA S, BI Y, ZHANG Y, et al. Thermal infrared imaging study of water status and growth of arbuscular mycorrhizal soybean (Glycine max) under drought stress[J]. South African Journal of Botany, 2022, 146: 58-65. doi: 10.1016/j.sajb.2021.09.037
[15] BANERJEE K, KRISHNAN P. Normalized sunlit shaded index (NSSI) for characterizing the moisture stress in wheat crop using classified thermal and visible images[J]. Ecological Indicators, 2020, 110: 47-59.
[16] SINGH A, GANAPATHYSUBRAMANIAN B, SINGH A K, et al. Machine learning for high-throughput stress phenotyping in plants[J]. Trends in Plant Science, 2016, 21(2): 110-124. doi: 10.1016/j.tplants.2015.10.015
[17] SINGH A K, SINGH, GANAPATHYSUBRAMANIAN B, SARKAR S, et al. Deep learning for plant stress phenotyping: Trends and future perspectives[J]. Trends in Plant Science, 2018, 23(10): 883-898. doi: 10.1016/j.tplants.2018.07.004
[18] ANAMI B S, MALVADE N N, PALAIAH S. Deep learning approach for recognition and classification of yield affecting paddy crop stresses using field images[J]. Artificial Intelligence in Agriculture, 2020, 4: 12-20. doi: 10.1016/j.aiia.2020.03.001
[19] ZHOU J, LI J X, WANG C S, et al. Crop disease identification and interpretation method based on multimodal deep learning[J]. Computers and Electronics in Agriculture, 2021, 189: 106408.
[20] MOON S K, AMJAD M, QURESHI M, et al. Use of deep learning techniques for identification of plant leaf stresses: A review[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100443. doi: 10.1016/j.suscom.2020.100443
[21] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. arXiv: 1409. 1556. (2014-01-01) [2022-01-10]. https://arXiv.org/abs/1409.1556.
[22] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE. 2016: 2818-2826.
[23] WU S J, ZHONG S H, LIU Y. Deep residual learning for image steganalysis[J]. Multimedia Tools and Applications, 2018, 77(9): 10437-10453. doi: 10.1007/s11042-017-4440-4
[24] JI M M, WU Z B. Automatic detection and severity analysis of grape black measles disease based on deep learning and fuzzy logic[J]. Computers and Electronics in Agriculture, 2022, 193: 106718. doi: 10.1016/j.compag.2022.106718
[25] LIPPMANN R, BABBEN S, MENGER A, et al. Development of wild and cultivated plants under global warming conditions[J]. Current Biology, 2019, 29(24): R1326-R1338. doi: 10.1016/j.cub.2019.10.016
[26] 易平涛, 李伟伟, 郭亚军. 线性无量纲化方法的结构稳定性分析[J]. 系统管理学报, 2014, 23(1): 104-110. doi: 10.3969/j.issn.1005-2542.2014.01.015 [27] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178.
[28] WESTERHUIS J A, KOURTI T, MACGREGOR J F. Analysis of multiblock and hierarchical PCA and PLS models[J]. Journal of Chemometrics, 1998, 12(5): 301-321.
[29] HE K M, GKIOXARI G, DOLLÁR P, et al. Mask-R-CNN[C]// 2017 IEEE International Conference on Computer Vision. Veniu, Italy: IEEE, 2017: 2961-2969.
[30] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[31] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015: 640-651.
[32] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2015: 1512-1516.
[33] RUSSELL B C, TORRALBA A, MURPHY K P, et al. LabelMe: A database and web-based tool for image annotation[J]. International Journal of Computer Vision, 2008, 77(1/2/3): 157-173. doi: 10.1007/s11263-007-0090-8
[34] 穆龙涛, 高宗斌, 崔永杰, 等. 基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别[J]. 农业机械学报, 2019, 50(10): 24-34. doi: 10.6041/j.issn.1000-1298.2019.10.003 [35] 乔虹, 冯全, 赵兵, 等. 基于Mask R-CNN的葡萄叶片实例分割[J]. 林业机械与木工设备, 2019, 47(10): 15-22. doi: 10.3969/j.issn.2095-2953.2019.10.003 [36] AMARO E G, CANALES J C, CABRERA J E, et al. Identification of diseases and pests in tomato plants through artificial vision[M]//Intelligent Computing Methodologies. Cham: Springer International Publishing, 2020: 98-109.
[37] LI Y R, YANG K M, GAO W, et al. A spectral characteristic analysis method for distinguishing heavy metal pollution in crops: VMD-PCA-SVM[J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2021, 255: 119649. doi: 10.1016/j.saa.2021.119649
[38] ANAMI B S, MALVADE N N, PALAIAH S. Classification of yield affecting biotic and abiotic paddy crop stresses using field images[J]. Information Processing in Agriculture, 2020, 7(2): 272-285.
-
期刊类型引用(3)
1. 刘继芳，周向阳，李敏，韩书庆，郭雷风，迟亮，杨璐，吴建寨. 人工智能驱动畜牧新质生产力高质量发展：制约因素、生成逻辑与推进路径. 智慧农业(中英文). 2025(01): 165-177 . 
百度学术
2. 王亚彬，徐爱俊，周素茵，叶俊华. 基于Byte的生猪多目标跟踪算法. 农业工程学报. 2025(07): 145-155 . 百度学术
3. 李振波，孙浩翔，郭倩男，张涵钰，刘皓南. 机器视觉技术在大体型家畜无接触体尺测量中的研究进展. 农业工程学报. 2025(07): 1-12 . 百度学术
其他类型引用(1)
