规模化奶牛养殖是利用现代化技术大批量奶牛聚集养殖的方式，采用现代化手段辅助养殖人员管理牛场以提高养殖效率与效益，是未来奶牛养殖业发展的重要方向^[1-2]。规模化养殖凭借其规模优势可以有效降低饲料浪费、减少环境污染等，目前牛场的监管方式大多是由人工监管，信息化、数字化程度较低，随着奶牛养殖规模的不断扩展，对监管人员的工作要求也不断增加。研发基于视频分析的奶牛智能监测技术，可以有效提高奶牛养殖信息化、数字化、智能化水平，进而促进当前奶牛养殖业转型升级和提质增效，对规模化奶牛养殖有重要价值^[3-4]。本文分析了2014—2024年奶牛目标检测、目标跟踪、个体识别和行为识别4个研究方向的文献，以此为基础总结了当下研究的优势与不足，最后对未来技术的发展进行了展望，以期为规模化奶牛智能监测技术提供思路与借鉴。

1.   奶牛智能监测技术

如图1所示，基于视频分析的奶牛智能监测是规模化奶牛养殖中的重要环节^[5-8]。奶牛目标检测可用于牛只计数，辅助了解牛场运营状况。奶牛目标跟踪可以了解牛只行动轨迹，判断其运动情况与健康信息^[9-10]。奶牛个体识别可以获取奶牛身份信息，进行奶牛精细化管理。奶牛行为识别可以有效发现奶牛早期疾病并及时医治^[11-12]；奶牛进食、饮水、反刍等行为可以反映奶牛的健康状况^[13-14]。

图  1  奶牛智能监测技术

Figure  1.  Intelligent monitoring technology for cows

下载: 全尺寸图片 幻灯片

奶牛目标检测是指在场景中检测奶牛目标的技术，它可以帮助进行牛群计数、牛群动向分析等。依靠人工肉眼观察大规模牛群的准确率较低，智能项圈或耳标可以进行奶牛的目标检测，但应用成本较高^[15]。早期部分研究者使用分割算法，通过将奶牛目标从牛场背景中分割实现奶牛的识别，但这些方法受到光照、参数设定的影响较大，对于不同的应用场景效果尚需提高^[16-17]。使用深度学习模型可以有效地解决目标检测的普适性问题^[18-19]。在奶牛目标检测方法研究中，遮挡奶牛目标、昼夜奶牛目标检测等都是重要的研究方向；同时，针对深度学习模型需要较大计算资源的问题，为应对实际使用过程中牛场计算资源有限的问题，奶牛目标检测模型剪枝、轻量化也是重要的研究方向。

奶牛目标跟踪是指跟踪特定奶牛目标，它可以应用于发情奶牛、患病奶牛的跟踪以观察其健康状况，也可以用于观察奶牛特定身体部位以汇聚奶牛行为规律。早期研究使用光流算法或相关滤波、粒子滤波算法等对视频进行处理，在每一帧中分割出奶牛目标，最后合成出奶牛运动视频，实现跟踪。传统奶牛目标跟踪方法存在普适性问题，大多数适用于单一目标，对奶牛多目标跟踪是其重大难题^[14]。针对该问题，深度学习模型被用于训练以有效提取目标特征，避免了人工设计特征提取方式的局限^[20-21]；此外，卡尔曼滤波、相关滤波、度量学习等技术的融合增强了跟踪的准确性。在奶牛目标跟踪中，跟踪的实时性、准确性都是研究需要重点关注的指标，关系着跟踪算法的实用性。

奶牛个体识别是识别与跟踪目标身份的辨识技术，它可以有效帮助牛场管理人员获取目标奶牛信息。传统方式依靠给奶牛佩戴耳标或一些特殊颜色项圈进行身份识别，这种方式工作量大经济成本高，容易引起奶牛的应激反应，耳标、项圈的丢失或损坏也会导致身份信息的丢失。刘渊等^[15]使用图像对比的人工特征提取方式判别2幅奶牛图像以获取其身份信息，该方式效率较低。何东健等^[22]基于深度学习目标检测算法用于奶牛个体身份识别，但仅能识别经过模型训练的奶牛图像，即仅适用于闭集，对于新加入的奶牛无法实现个体识别。针对该问题，度量学习、重识别技术等在奶牛个体识别研究中获得了重视，拓展了奶牛个体识别技术的实用性^[23]。目前奶牛个体识别技术受限于奶牛图像的拍摄视角等，需要重点提高准确率以满足实际生产使用。

奶牛行为识别是指监测分析奶牛行为的技术，它可以帮助发现奶牛的早期疾病(如跛行)、奶牛发情产犊等。奶牛的部分行为是隐晦且难以观察到的，依靠人工仅能对规律性行为进行监测。早期研究者通过给奶牛佩戴智能颈圈、耳标、脚环等测定奶牛运动量及生物量来记录奶牛行为，但这种方式误差较大且成本高。也有研究通过传统跟踪算法观测奶牛行为，但普适性较差。基于视频的行为识别，难点在于其需要对一个时间序列进行分析才能得出正确行为。针对上述问题,有研究者利用长短期记忆网络(Long short-term memory, LSTM)的记忆性以及循环神经网络(Recurrent neural network, RNN)的循环性来提高模型准确率^[24-25]。Wang等^[26]采用3D卷积进行奶牛的行为识别并取得了不俗的效果。目前的研究大多是基于完整行为视频序列的全天候奶牛视频，模型对多行为不断变化的适应性较弱。

1.1   奶牛目标检测

奶牛目标检测技术大致可以分为传统奶牛目标检测方法和基于深度学习的奶牛目标检测方法(表1)。传统奶牛目标检测方法采用人工设计的特征提取方式，通过对奶牛进行细致的观察，利用脸部、背部、侧面、鼻部等特征将奶牛与背景进行区分，实现奶牛目标的识别；基于深度学习的方法将人工设计的特征提取方式替换为深度卷积神经网络，利用大量的奶牛图像训练网络，进而有效地提取奶牛特征，最后根据网络提供的候选框结合非极大值抑制(Non-maximum suppression，NMS)、交并比(Intersection over union，IOU)等阈值判定将奶牛目标区域在图像中框出，从而实现奶牛目标的识别。传统方法受环境因素影响较大因而普适性较差，近年来，基于深度学习的奶牛目标检测方法占据主流。

表  1  奶牛目标检测相关研究

Table  1.  Research on target recognition of dairy cow

方法 Method	技术要点 Technical essential	结果 Result	文献 Literatrue
传统图像处理 Traditional image processing	基于递归背景建模思想	模型精度最高为95.00%	[27]
	基于核相关滤波算法	平均误检率为7.72%	[13]
	高斯混合模型及卷积神经网络相结合	准确率为99.81%	[22]
	基于Horn-Schunck光流法	检测充盈率为98.51%	[14]
	基于无参核密度估计背景建模方法	识别准确率为95.65%	[28]
基于深度学习模型 Methods based on deep learning model	人工设计的四层卷积神经网络	准确率为89.95%	[29]
	利用RGB-D图像训练卷积神经网络	识别准确率为93.65%	[30]
	改进Mask R-CNN模型	模型精度最高为100%	[31]
	基于粒子滤波算法	准确率为89.00%	[32]
	基于YOLO算法	准确率为66.00%	[23]
	基于YOLOv5模型	准确率为90.00%	[33]
	融合YOLO与核相关滤波器	准确率为95.00%	[34]
	设计YOLOv5-ASFF模型	准确率为96.20%	[35]
	利用CBAM注意力机制对GhostNet进行改进	检测准确率为94.86%	[36]
	对YOLOv5s网络进行通道剪枝	模型精度为99.50%	[37]

下载: 导出CSV 

| 显示表格

1.1.1   传统奶牛目标检测

传统奶牛目标检测方法大多通过目标与背景的差异或通过背景建模、滤波等方式将目标从背景中提取实现目标检测(图2)，背景建模方式以及滤波参数等会极大影响识别效果，算法对不同背景以及不同奶牛的普适性不强。针对奶牛嘴部咀嚼过程动作幅度较小导致人工观测困难的问题，宋怀波等^[14]通过分析奶牛反刍视频中的光流场，识别出嘴部区域的候选区域，然后利用嘴部区域检测模型进一步确定反刍时奶牛嘴部的位置，以充盈率检测模型效果，充盈率最高达到了98.51%。宋怀波等^[13] 通过循环矩阵采集奶牛嘴部样本，采用核相关滤波算法对奶牛嘴部区域进行检测，平均误检率为7.72%。

图  2  传统奶牛目标检测方法效果

Figure  2.  Effects of traditional cow target recognition methods

下载: 全尺寸图片 幻灯片

针对奶牛整体目标的检测，宋怀波等^[38] 利用背景建模方法可以有效估计像素的概率模型，并根据背景在图像中像素不变的特点将背景剔除；刘冬等^[39]提出了一种动态背景建模方法，在混合高斯模型中引入惩罚因子，模型准确率最高达到了95.00%。滤波算法也可以进行背景的剔除，Bello等^[40]为粒子滤波算法增加了临时记忆能力，保存了前一次预测的奶牛位置并根据前一次的位置预测下一次的位置，同时结合了Mean-shift算法实现了奶牛目标检测，该方法的准确率为89.00%。Li等^[41]对奶牛图像人工截取一个兴趣区(Region of interest, ROI)，通过对该区域进行二值化以及滤波等操作，获取该区域的斑纹信息，并将该特征输入支持向量机(Support vector machines, SVM)进行分类。Guo等^[42]结合了背景差分法和帧间差分法对奶牛目标进行检测，结果表明，当奶牛静止时，帧间差分法难以检测，但融合了背景差分法则可以有效地提高其性能，从而取得较好的效果。

1.1.2   基于深度学习的奶牛目标检测

早期模型大多根据研究数据自主设计且模型层数较少。刘杰鑫等^[17]利用高斯混合模型剔除视频背景，用卷积神经网络识别奶牛，模型准确率最高达99.81%。 Bello等^[28]利用卷积、ReLU激活函数和池化操作，设计了一个四层卷积神经网络用于奶牛的识别，将奶牛背部图像用于训练和测试，该模型在测试集上的准确率为89.95%。Bezen等^[27]利用RGB-D图像结合卷积神经网络设计奶牛识别模型，利用深度卷积神经网络提取奶牛及颈环信息，识别准确率为93.65%。随着计算机领域检测和分割模型的进步，部分深层模型被应用于奶牛目标的识别。李昊玥等^[32]对Mask R-CNN中的特征提取网络ResNet-50 嵌入了注意力模块(SE block)以提高边界检测的精度，模型精度达到了100%。高精度的代价是模型参数量大，模型的实时性偏弱。为减少模型复杂度，可以采用轻量化模块(CSResNeXt module)替换模型的部分结构，带来的精确率下降可以通过注意力模块弥补^[43]。Tian等^[44]利用CBAM注意力机制对GhostNet进行了改进，同时还融合了特征金字塔网络(FPN)，该模型可对奶牛目标以及牛场中一些路障进行识别与分割，检测准确率为94.86%。

在这些模型当中，YOLO家族模型(图3)使用最广泛。Tassinari等^[18]利用YOLO算法实现奶牛的识别，准确率达66.00%。Wang等^[29]融合YOLO和核相关滤波器，对奶牛头部和嘴部图像进行了模型训练，准确率达95.00%。Wang等^[30]对YOLO v4模型进行了改进，利用GhostNet module减小了模型复杂度，同时采用深度可分离卷积替代了普通卷积以减小模型计算量，对奶牛眼部区域检测的mAP为96.88%。Qiao等^[31]将自适应空间特征融合模块(Adaptively spatial feature fusion)添加到了YOLOv5的头部以增强模型特征融合效果，模型的准确率为96.20%。Mon等^[45]使用YOLOv5模型进行了奶牛位置的检测，准确率达到了90.00%。Xu等^[36]对YOLOv5s网络进行了通道剪枝，在确保模型精度轻微下降的情况下，成功减小了模型大小和计算量，最终模型精度为99.50%。深度卷积网络因其强大的特征提取能力逐步取代了传统背景建模等方法，检测模型的发展也极大地提升了奶牛目标检测的准确率和鲁棒性，正成为当下研究的热点。

图  3  YOLO家族奶牛识别模型框架

Figure  3.  YOLO family cow recognition model framework

下载: 全尺寸图片 幻灯片

1.2   奶牛目标跟踪

奶牛目标跟踪技术可以分为传统奶牛目标跟踪方法和基于深度学习的奶牛目标跟踪方法(表2)。传统奶牛目标跟踪方法大多使用光流法和差分法，根据奶牛运动视频中的像素变化提取光流图，进而将背景剔除，实现奶牛目标的跟踪。基于深度学习的方法则利用了目标检测网络，结合卡尔曼滤波等预估奶牛位置，从而实现奶牛目标的跟踪。当奶牛运动缓慢时，传统方法相应的光流图提取会受到影响，而使用目标检测结合卡尔曼滤波的方法可以根据奶牛的实时运动情况进行跟踪，是当前奶牛目标跟踪方法的主流思路。

表  2  奶牛目标跟踪相关研究

Table  2.  Research on cow target tracking

方法 Method	技术要点 Technical essential	结果 Result	文献 Literatrue
传统图像处理 Traditional image processing	联合稠密光流和帧间差分法	跟踪准确率为89.12%	[46]
	提出了一种SiamFC的跟踪器	最高跟踪准确率为100.00%	[47]
基于深度学习模型 Methods based on deep learning model	YOLOv4模型结合 Kalman滤波和Hungarian算法	准确率为93.92%	[48]
	提出了YOLO-BYTE跟踪模型	多目标跟踪准确率为83.00%	[49]
	YOLOv5检测器剪枝融合Cascaded-Buffered IoU	多目标跟踪准确率为86.10%	[26]
	Siamese注意力算法	跟踪准确率为93.80%	[25]
	超轻量化孪生网络模型Siamese-Remo	单目标跟踪平均重合度为0.47	[50]

下载: 导出CSV 

| 显示表格

1.2.1   传统奶牛目标跟踪方法

奶牛目标跟踪技术是获取奶牛个体信息及位置信息的基础，该技术的主要思路是利用识别结合后处理的操作实现对视频中奶牛目标的不断跟踪。Tong等^[51]联合稠密光流和帧间差分法进行奶牛嘴部区域跟踪，对视频中每一帧反刍奶牛嘴部区域进行识别，对提取的光流图重新融合为视频，实现了嘴部区域的实时跟踪，跟踪准确率为89.12%。Makhura等^[34]在目标检测算法的基础上，引入数据关联进行多目标跟踪，计算当前帧每一个观测目标与其可能的各种跟踪目标相关联的概率。Liang等^[35]提出了一种名为SiamFC的跟踪器用于奶牛目标的跟踪，对有遮挡、运动模糊、快速运动的目标进行了跟踪试验，跟踪准确率最高达100%。

1.2.2   基于深度学习的奶牛目标跟踪方法

YOLO检测器配合卡尔曼滤波估算奶牛位姿，且随视频不断更新，可以取得极佳的跟踪效果，其流程如图4所示。Zheng等^[33]使用融合了自注意力和混合卷积模块的YOLOv7检测奶牛目标，利用卡尔曼滤波算法预估奶牛位置，模型识别准确率为97.30%，多目标跟踪准确率为83.00%。毛燕茹等^[37]利用YOLOv4检测奶牛嘴部区域，结合 Kalman滤波和Hungarian算法进行跟踪，实现了多目标奶牛个体的嘴部跟踪和反刍行为监测，模型对奶牛嘴部上、下颚区域的识别准确率分别为93.92%和92.46%。Zheng等^[21]对YOLOv5检测器进行了剪枝操作以降低计算复杂度，同时融合Cascaded-Buffered IoU以扩展探测和轨迹匹配空间，模型多目标跟踪准确率达到86.10%。Guzhva等^[46]提出了一种Landmark CNN和Cow CNN相结合的深度模型用于检测奶牛，随后使用自主设计的跟踪器对经过挤奶厅的奶牛进行了跟踪识别，实现了对奶牛长达4 min的持续跟踪且取得了较高的准确率。Zheng等^[20]提出了一种Siamese注意力算法，对奶牛腿部区域的跟踪准确率为93.80%。刘月峰等^[52]设计了新型的正负样本选取策略来改进跟踪模型，在自然场景下单目标跟踪平均重合度(Expectedaverage overlap, EAO) 达到0.47。

图  4  融合卡尔曼滤波与检测算法(YOLO)的跟踪算法流程

Figure  4.  Tracking algorithm flow of combining Kalman filter and detection algorithm (YOLO)

下载: 全尺寸图片 幻灯片

1.3   奶牛个体识别

奶牛个体识别技术可以分为传统奶牛个体识别方法、基于深度学习的奶牛个体识别方法以及基于度量学习的奶牛个体识别方法(表3)。传统方式用人工特征提取方式进行特征对比判别2幅奶牛图像以获取身份信息，该方法效率较低；基于深度学习目标检测算法(以YOLO为代表)的个体身份识别，仅能识别经过模型训练的奶牛图像，即仅适用于闭集；针对新加入奶牛个体的识别问题，度量学习、重识别技术等被提出，使奶牛个体识别技术向开集识别的方向发展。

表  3  奶牛个体识别相关研究

Table  3.  Research on individual recognition of dairy cow

方法 Method	技术要点 Technical essential	结果 Result	文献 Literatrue
传统个体识别方法 Traditional individual recognition method	基于LeNet-5模型	识别准确率为90.55%	[53]
	自主设计深度卷积神经网络结合SVM	单幅图像识别时间为30.74 s	[54]
	自主设计卷积神经网络	准确率为96.55%	[55]
	基于机器学习的奶牛颈环 ID 自动定位与识别	识别准确率为96.98%	[56]
	VGG-16+SVM	准确率为99.48%	[57]
基于深度学习的方法 Method based on deep learning	R-CNN检测模型	识别准确率为86.10%	[58]
	DCNN结合SVM	准确率最高为97.01%	[59]
	YOLO和SVM	准确率为98.36%	[60]
	Mask-R-CNN和SVM网络	准确率为98.67%	[61]
基于度量学习的方法 Method based on metric learning	ShuffleNetv2模型融合交叉熵损失和三元组损失函数	精度为73.30%	[39]
	ResNet-50结合A-softmax损失	准确率为94.26%	[62]

下载: 导出CSV 

| 显示表格

1.3.1   传统奶牛个体识别方法

奶牛个体识别可以使用RFID或GPS项圈等智能设备，如图5所示。刘渊等^[15]利用RFID和GPS进行奶牛个体定位与身份识别，取得较高的准确率。但这些方法经济成本较高，且在牛场潮湿环境下设备容易损坏。基于视频分析的奶牛个体识别技术主要利用视频中奶牛个体的斑纹、体型等差异进行特征提取并加以区分，早期大多为人工设计特征的提取方法。Li等^[41]对奶牛图像人工截取一个感兴趣区域(Region of interest, ROI)区域，通过对该区域进行二值化以及滤波等操作，获取该区域的斑纹信息，将该特征输入SVM模型进行分类。张瑞红等^[47]用梯度方向直方图(HOG)特征进行多角度检测,实现奶牛标牌的定位，识别准确率为96.98%。

图  5  穿戴式个体识别设备

Figure  5.  Wearable individual recognition device

下载: 全尺寸图片 幻灯片

SVM广泛应用于奶牛个体识别，该方法大多使用图像处理算法将图像特征提取，最后使用SVM进行个体分类实现识别，其效果如图6所示。Xiao等^[49]通过将每头奶牛背部图像分割出来再进行特征提取，最终输入SVM进行特征的区分。Du等^[48]使用VGG-16提取奶牛躯干特征信息，添加了全局特征池化来降低所提取的浅层和深层特征维度，最后使用SVM对所提取的特征进行分类实现奶牛个体识别，准确率为99.48%。Kumar等^[63]采用自主设计的深度卷积神经网络提取奶牛特征并利用SVM对提取的特征进行了奶牛个体识别，但检测速度较慢，单幅图像识别时间为30.74 s。Achour等^[50]利用奶牛进食时头部图像花纹的不同训练了卷积神经网络，并对17头奶牛进行了个体身份识别，准确率为96.55%。Zhao等^[56]使用LeNet-5对30头奶牛进来个体识别，准确率为90.55%。传统奶牛个体识别算法因提取方式低效、检测时间长、检测误差大，因而难以替代颜色标记法和智能设备识别法。

图  6  传统视觉个体识别效果

Figure  6.  Effect of traditional visual individual recognition

下载: 全尺寸图片 幻灯片

1.3.2   基于深度学习的奶牛个体识别方法

深度学习模型中的目标检测与分割模型被应用于奶牛个体识别，其效果如图7所示。Xiao等^[49]利用Mask-R-CNN和SVM网络实现了48头奶牛的识别，准确率为98.67%。Achour等^[50]和Hu等^[61]利用DCNN进行特征提取，结合SVM进行特征的分类从而完成个体识别。Zin等^[57]利用自主设计的DCNN进行个体识别，对奶牛背部图像进行模型训练，结合图像的颜色直方图和灰度图进行背景和围栏障碍的区分，准确率最高达到了97.01%。Hu等^[61]融合了YOLO和SVM进行了奶牛检测，模型准确率为98.36%。何东健等^[22]利用改进的YOLO v3网络对89头奶牛进行了个体识别，识别准确率为95.91%。Andrew等^[54]利用R-CNN检测模型进行奶牛个体身份识别，89头奶牛识别准确率为86.10%，模型大小为489.54 M。多模态图像也可以用于个体识别。Bhole等^[19]使用了RGB 和热图像(Thermal images)联合输入CNN进行特征提取，再使用SVM进行分类。

图  7  基于深度检测模型的个体识别效果

Figure  7.  Individual recognition effect based on depth detection model

下载: 全尺寸图片 幻灯片

在进行特征提取时，不同视角拍摄到的图像特征会有差异，针对该问题，Weng等^[55]使用了Two-Branch CNN进行特征提取，通过对比各Branch network提取特征的相似性来判断是否是同一头奶牛。一些研究也进行了模型轻量化的工作，Hao等^[53]使用了知识蒸馏技术结合注意力机制训练了一个计算量更小的DCNN，完成了牛的个体识别。Lu等^[60]利用奶牛的关键部位作为辅助提高识别的准确率。以YOLO为代表的目标检测网络极大地提升了识别的速度与准确率，但模型无法对未经过训练的奶牛识别，这也是影响模型走向实用性的关键问题。

1.3.3   基于度量学习的奶牛个体识别方法

SVM或目标检测模型等无法找到未经训练的奶牛个体，因而只能将新增奶牛个体归类为已有类别中，导致了错误的识别。针对新增个体的识别，度量学习是一种较好的解决思路。Andrew等^[59]使用了度量学习的方法进行个体识别任务，该方法以特征聚类的思路改变了现有方法的特征分类思路，解决了网络重新训练的问题。但其使用的ResNet-50特征提取网络参数量较大，同样不利于模型的可移植性。Wang等^[23]采用轻量级模型(ShuffleNetv2)对奶牛进行个体识别，同时还融合了交叉熵损失和三元组损失函数，在保证模型轻量化的同时解决了新个体识别问题，识别精度达73.30%。Wang等^[58]采用A-softmax损失进行新的个体识别，利用注意机制、反向残差结构和深度可分离卷积设计了轻量级奶牛特征提取网络，识别准确率可达94.26%。度量学习可以有效拓展对新奶牛个体的识别，成为奶牛个体识别模型新的研究热点。

1.4   奶牛行为识别

如表4所示，奶牛行为识别方法可分为传统方法和基于深度学习的方法。传统方法中部分研究基于接触式方式观测奶牛行为，另一部分研究则利用LSTM模型的记忆性以及RNN网络的循环性来提高模型准确率。基于深度学习的奶牛行为识别方法大多采用3D卷积进行奶牛的行为识别。

表  4  奶牛行为识别相关研究

Table  4.  Research on cow behavior recognition

方法 Method	技术要点 Technical essential	结果 Result	文献 Literatrue
传统方法 Traditional methods	基于正态分布背景统计模型	准确率为93.89%	[10]
	基于支持向量机模型的奶牛行为识别	准确率为98.02%	[64]
	背景减除法融合SVM分类器	准确率为90.92%	[65]
	Lucas-Kanade稀疏光流算法	准确率为98.58%	[21]
	三轴加速度传感器	识别精度和召回率分别为 92.80%和95.60%	[66]
基于深度学习的方法 Methods based on deep learning model	基于CNN-LSTM算法	准确率、召回率和特异性分别为 97.10%、96.50%和98.30%	[40]
	空间特征网络优化的Efficient-LSTM算法	识别精度为97.87%	[41]
	利用3D卷积对RexNet网络进行改进	准确率为95.00%	[62]
	半监督长短期记忆早期跛行自编码器算法	准确率为97.78%	[67]
	深度可分离卷积和3D卷积操作构建E3D的 奶牛基本运动行为识别模型	准确率为98.17%	[42]
	基于姿态估计和膝关节角度特征向量的奶 牛跛行识别方法	准确率为97.22%	[68]
	E-YOLO的奶牛发情行为识别模型	准确率为93.90%	[12]

下载: 导出CSV 

| 显示表格

1.4.1   传统奶牛行为识别方法

奶牛行为识别方法大致分为接触式和非接触式方法。接触式方法依靠给奶牛穿戴传感器获取数据进行分析，进而发现奶牛行为。Shen等^[69]利用三轴加速度传感器采集数据，使用SVM算法对数据进行进食、反刍和其他行为3个类别的分类，对进食的识别精度和召回率分别为92.80%和95.60%，对于反刍的识别精度和召回率分别为93.70%和94.30%。传统非接触式方法大多利用人工提取特征结合SVM网络对奶牛行为进行分类识别。任晓惠等^[70]利用萤火虫寻优算法优化支持向量机的参数，能有效区分不同奶牛的进食、反刍、饮水行为，准确率为98.02%。Guo等^[71]融合颜色和纹理进行背景减除，随后利用SVM分类器实现了奶牛爬跨行为的识别，准确率为90.92%。Jiang等^[72]利用光流法进行跛行检测，将光流信息与视频帧空间信息有效结合，识别精度为98.24%。宋怀波等^{[12, 16]}利用线性斜率最近邻分类进行跛行分析，准确率达93.89%；利用Lucas-Kanade稀疏光流算法进行单目标奶牛呼吸行为检测，准确率为98.58%。

1.4.2   基于深度学习的奶牛行为识别方法

LSTM网络因其记忆性被广泛应用于行为识别。Zhang等^[62]提出了一种半监督长短期记忆(LSTM)早期跛行自编码器算法，准确率为97.78%。Jiang等^[66]使用YOLOv3改进算法提取奶牛区域，提出了一种奶牛背部曲率提取模型，用于提取奶牛背部曲线，最终使用改进LSTM模型实现跛行检测。Wu等^[24]提出了一种CNN-LSTM算法用于识别单头奶牛的基本运动行为，对5种行为识别的平均准确率、召回率和特异性分别为97.10%、96.50%和98.30%。Yin等^[25]对LSTM网络增加BiFPN实现不同深度信息的汇聚，该算法可在自然场景下实现奶牛行为识别，精度为97.87%。王克俭等^[64]在时域段网络(TSN)的基础上融合了时态移位模块(TSM)、特征注意单元(FAU)和长短期记忆(LSTM)网络，识别准确率达82.60%。

3D卷积被实践证明有利于提取时空信息，传统2D卷积进行视频提取的操作需要在时间维度上再进行一次融合，因而效果不佳，而3D卷积则可以同时提取时间与空间维度(图8)。Ma等^[65]利用3D卷积对RexNet网络进行改进实现了无接触奶牛基本运动行为识别，准确率为95.00%。Wang等^[26]利用深度可分离卷积和3D卷积操作构建奶牛基本运动行为识别模型，准确率达98.17%。史学伟等^[73] 设计了R(2+1)D模型对奶牛行为进行识别，准确率为89.20%。

图  8  2D卷积(a)与3D卷积(b)对比

Figure  8.  Comparison between 2D convolution(a) and 3D convolution(b)

下载: 全尺寸图片 幻灯片

基于深度学习的关键点检测模型也可以作为辅助行为判别的重要方式。杜粤猛等^[67]将Faster RCNN卷积神经网络模型引入奶牛关键点检测以提高跛行识别的可靠性，最终模型准确率为97.22%。为解决人工发情监测效率低的问题，Wang等^[10]将背景信息增强模块(CBAM)和三联体注意模块(TAM)融合于YOLO模型以增强网络对发情奶牛个体的关注，模型识别准确率为93.90%。

2.   存在的挑战

现阶段基于视频分析的奶牛智能监测方法取得了不俗的进展，然而当前技术的发展还存在较多挑战，算法的计算复杂度、普适性、准确性等都是重要的影响因素，影响了模型的应用。

1) 现有研究大多局限于固定样本，而随着牛群规模不断扩大以及牛场奶牛频繁更替，新增样本的大量引入会影响模型的泛化性能。现有深度卷积神经网络经过训练后得到了较好的性能，但随着新增目标的引入，模型能否在变化样本中有效识别未训练的对象，同一模型在多个牛场的泛化性能也是其重要的挑战。

2) 基于视频分析的方法对非结构化牛场环境中的遮挡有较大的灵敏性，遮挡问题会导致模型提取冗余或错误的奶牛特征，进而影响检测、跟踪、个体识别、行为识别的准确率。同时，现有模型训练大多需要庞大的数据集，数据的标注处理工作带来了较高的经济成本，而数据量较少可能影响模型性能，因而如何利用少样本训练高准确率模型是未来一个重要研究方向。

3) 对于模型的实际应用，现有深度模型为提高精确率大多层数较多，导致了计算复杂度较高。在对牛场中庞大的视频流处理时，较高的计算复杂度会导致模型的实时性变差，而缩减模型的深度可能会导致准确率的降低，因而如何平衡模型的准确性与复杂度需要重点关注。

3.   未来研究趋势的展望

针对上述挑战，本研究对基于视频分析的奶牛智能监测方法进行了如下展望：

1) 针对新个体加入或奶牛更替导致的模型泛化能力减弱问题，借助度量学习的思路，利用特征相似度匹配来进行个体识别，可以使模型不受限于奶牛的数量，实现对新奶牛的识别。

2) 针对遮挡问题，可以考虑为现有深度模型增加图像融合及背景修复能力来恢复被遮挡的部分信息，通过将多个图像进行融合或利用背景信息进行填补来实现。针对训练数据集较大的问题，研究中可以借助半监督或无监督方法。半监督学习可以利用大量未标记的奶牛数据和少量标注过的数据来训练模型；无监督学习可以利用获取的奶牛图像数据的结构进行自行数据标注再进行模型训练。对现有大量已训练模型，增量学习以及迁移学习也是有效提高模型训练效率的方法。

3) 针对模型复杂度较高的问题，模型剪枝与轻量化模块是减少模型大小和计算复杂度的有效方法。通过删除神经网络中的冗余连接或参数减少模型大小和计算复杂度。对现有已训练模型，可通过知识蒸馏或网络压缩的方式，精炼小网络来保全已有模型的精确度。

总之，深度学习技术可以有效应用于规模化奶牛智能监测任务，但实现实时多场景监测仍需进一步优化。另外，许多实际应用环境下的挑战仍需不断克服，比如不同环境、不同品种牛只模型的泛化性能和鲁棒性等。为促进规模化奶牛养殖业的发展，需要从实际情况出发研发智能监测模型，推动其不断进步与发展。