奶牛的采食行为是经常被用于预测奶牛疾病的行为之一^[1-2]，奶牛在采食过程中的头部运动变化可以用于评价奶牛的采食状况，进而评价饲草料的优劣。因此在现代化智能养殖场中，监测奶牛采食行为并对奶牛头部的活动进行跟踪记录是非常重要的。研究发现，采食量和产奶量的下降与疾病有关^[3]，患有乳腺炎的奶牛的饲料和干物质采食量会下降。跛足牛和非跛足牛在采食时间、采食频率和采食量方面存在显著差异，根据这个差异可以判断奶牛的腿部健康状况^[4]。这些研究已经清楚地表明疾病会对采食行为有重大影响。因此，对奶牛采食行为进行监测是保障智能畜牧和提高动物福利的重要手段。

在监测奶牛采食行为的技术中，最基本的问题是准确识别奶牛的采食行为。有研究表明，实时定位系统和超宽带系统能够通过估计奶牛在采食区花费的时间来判断奶牛的采食行为^[5]；但不能确定奶牛是否进行有效进食。还有研究将压力传感器安装在奶牛身上监测咀嚼运动，虽然传感器具有良好的监测性能，但使用相对繁琐，且给奶牛佩戴时不方便^[6]。利用基于惯性测量单元和射频识别系统的耳挂式传感器可以对奶牛进行定位以及采食行为监测^[7-8]，但只能判断奶牛的动作幅度，不能判断奶牛是否有效进食。从以上研究可以看出，在奶牛采食行为监测方面已经取得一些研究成果。但是，上述研究通常成本高或者对采食行为判断不准确，无法应用到实际养殖场饲养环境中。因此，需要进一步寻找有效的解决方法。

近些年来，深度学习在畜牧业中得到了广泛应用^[9]。白强等^[10]使用改进YOLOv5s网络实现奶牛的站立、喝水、行走、躺卧等行为识别。杨阿庆^[11]利用全卷积网络对母猪头部特征进行提取，并将头部与采食区重叠区域作为空间特征来识别母猪采食行为。王政等^[12]提出了融合YOLOv5n与通道剪枝算法的轻量化识别方法，实现了奶牛发情行为识别。Bezen等^[13]基于CNN模型和RGB-D摄像机设计出一种用于奶牛个体采食量测量的系统。Lao等^[14]开发了一种基于预处理深度图像数据的算法，用于研究母猪的摄食行为。Shelley等^[15]设计了一种3D图像分析方法，用于测量奶牛饲喂期前后饲喂器中可用食物量的变化。以上研究表明，深度学习算法用于奶牛的采食行为研究是可行的，但是目前尚未有研究对奶牛采食动作进行区分以及对奶牛采食过程进行跟踪，因此对奶牛采食行为识别以及跟踪的研究是必要的。

由于奶牛在采食过程中动作快、采食动作特征复杂，很容易对目标产生错检或者漏检，所以本文从以上问题出发，以YOLOv8模型为基础，通过使用BiFormer模块的多头自适应注意力机制加强对奶牛采食行为特征的学习、提取，使用CoT、EMA模块对奶牛特征进行强化并加强分类，以此来增强对采食行为识别检测的准确性，提出一种TCE-YOLO深度学习算法模型，并与Deep SORT算法结合以实现对奶牛采食时头部的跟踪与轨迹绘制。

1.   材料与方法

1.1   数据采集与预处理

本研究的奶牛采食行为数据集来自山东省泰安市泰安金兰奶牛养殖公司。试验数据利用ZED2双目深度相机(生产商为STEREOLABS公司)进行拍摄，本文使用单目分辨率为1280像素×720像素，传输帧率能达到稳定30帧/s。由于牛栏顶端距地面高度为1.35 m、饲料带宽度0.8 m，为了避免干涉奶牛的正常采食行为，本文选择相机拍摄位置为奶牛采食区上方1.75 m处以及奶牛采食区前方1.2 m、高0.8 m处，采集不同拍摄方向下奶牛的采食行为。

在图像采集过程中，一共采集视频数据20组，每组包含4个视频，每个视频长度为10~14 min。为了保证动作的连贯性，本文利用ZED API对视频以一秒一帧的方式提取图像，去除重复、模糊、重影以及不包含奶牛采食行为的无效图像，选取有效数据集11 288张图像，17头奶牛的采食动作均包含在数据集中，其中前方拍摄图像数量为5 742张，上方拍摄图像数量为5 546张。

本文使用开源标注工具LabelImg人工对11288张奶牛采食行为原始图像进行标注，标签TTJJ为咀嚼行为，DTCS为采食行为，GS为拱草行为。根据动作时间提取连续帧，将这一段连续帧定义一个动作，通过观察和统计得出各行为时长：采食行为持续时长为15~35 s，咀嚼行为持续时长为5~10 s，拱草行为持续时长为1~15 s。将原始数据集分为上方拍摄数据集和前方拍摄数据集，每组数据集选取500张作为验证集，在剩余图像中，将上方拍摄数据集按照6∶1的比例分为4320张训练数据集图像和726张测试数据集图像，将前方拍摄的数据集按照6∶1的比例分为4484张训练数据集图像和758张测试数据集图像。

在养殖场饲养环境下，奶牛只有在采食区且奶牛头部与饲料接触时才可能进行采食行为，而在采食区抬头时基本处于咀嚼饲料以及准备继续采食的过程，当奶牛摄取足够的饲料后便会离开采食区。因此，在分析奶牛采食行为过程中，将奶牛采食行为分为采食和咀嚼两大部分，其中采食还可分为采食和拱草2种行为。其中，各个行为在数据集中占比如表1所示。

表  1  训练数据集中标注的奶牛不同行为数量

Table  1.  Number of cows’ various behaviors labeled in the training dataset

拍摄方向 Shooting direction	数据集数量 Number of datasets	不同行为数量 Number of various behaviors
		采食 Feeding	咀嚼 Chewing	拱草 Arching
前方 Ahead	4 484	5 684	792	1 613
上方 Above	4 320	6 958	960	1 946

下载: 导出CSV 

| 显示表格

1.2   改进BCE-YOLO模型

1.2.1   BCE-YOLO模型建立

YOLOv8是目前广泛应用的模型，使用了更为丰富的数据增强技术，更好地增加了训练数据的多样性，有效提高了模型的泛化能力，还具有更好的自适应图像缩放功能，可以确保目标跟踪时不会因为图像长宽比改变而影响检测位置像素判断。YOLOv8模型的检测速度虽然很快，但是存在检测精度不高、对模型的特征提取不全面的问题，因此本文以YOLOv8为基础，使用模型增强模块来提升模型的检测性能。

由于目标跟踪的前提是需要对模型特征进行准确的提取，因此在高效率YOLOv8的基础上增加BiFormer模块，利用BiFormer模块的自适应注意力机制实现对奶牛采食行为特征的准确掌握与判断；在Focus层后增加CoT模块，使得模型的注意力集中于奶牛采食行为的特征，在骨干网络末端融合EMA模块，提升特征图的全局感受野以及模型的分类能力。在模型预测模块方面，引用了CIoU^[16]代替GIoU，考虑到尺度、距离、惩罚项和锚框之间的重叠率对损失函数的影响，目标帧回归变得更加稳定，公式如下：

式中，c表示同时包含预测边界框和对应地面真实边界框的最小封闭区域的对角线距离，ρ²(b, $b^{g_{\mathrm{t}}}$)表示预测中心点与真实帧之间的欧式距离，b、$b^{g_{\mathrm{t}}} $分别表示预测框和真实的中心点，W、H分别表示边界框的宽和长，g_t表示真实值，α表示权重参数，v表示度量长宽比的相似性，LOSS_CIoU表示考虑重叠面积、中心点距离、纵横比的损失，最后用1−IoU得到相应的损失。

BCE-YOLO模型工作流程如图1所示，输入图像进入模型时，首先通过CBS模块进行切片操作，将W、H信息集中到通道空间，之后通过CoT模块，进入C2f网络进行一系列卷积操作，得到高维度特征图后通过第8层CBS结构进入BiFormer模块，利用多头自适应注意力结构对特征进行并行学习，将结果输入至EMA模块来增强模型的全局感受野，然后进入FPN特征金字塔网络^[17]和PAN路径^[18]增强网络，通过上采样以及张量拼接等方式与骨干网络建立联系，丰富特征图的特征信息，最终将特征图送至YOLO检测模块，得到检测结果。

图  1  BCE-YOLO结构

Figure  1.  Structure of BCE-YOLO

下载: 全尺寸图片 幻灯片

1.2.2   BiFormer模块

BiFiormer模块^[19]是一种新型的视觉网络结构，结构如图2所示，在第1阶段使用重叠块嵌入，在第2~4阶段使用合并模块来降低输入空间分辨率，同时增加通道数(C)，然后采用连续的BiFormer模块做特征变换。该模块通过多头自适应注意力层，扩展了模型专注于不同位置的能力，形成多个子空间，让模型去关注不同方面的信息，可以有效结合奶牛身份特征和奶牛采食时的不同行为，实现对高维全局特征的整合。

图  2  BiFormer结构及模块细节

N₁、N₂、N₃、N₄分别表示在阶段1、2、3、4的迭代次数

Figure  2.  Structure and module details of BiFormer

N₁, N₂, N₃ and N₄ indicate iterations at stage 1, 2, 3 and 4, respectively

下载: 全尺寸图片 幻灯片

1.2.3   CoT模块

CoT模块^[20]包括了局部注意力原则，并且增强了信息提取。结构如图3所示，通过将静态特征和动态特征结合、局部与全局结合，节约了参数和计算力，保证了模块的轻量化，可以直接集成到现有的网络模型构架中。引入CoT模块后，对于奶牛采食时的头部行为，网络识别特征覆盖到的奶牛采食时头部特征更多，代表奶牛采食时头部运动的特征已经成为模型关注的重点信息。

图  3  CoT结构

Figure  3.  Structure of CoT

下载: 全尺寸图片 幻灯片

1.2.4   EMA模块

EMA模块^[21]是一种高效多尺度注意力模块，结构如图4所示，EMA模块通过1×1分支进行图像聚合，实现不同跨通道交互特征。跨纬度学习模块进行激励操作，通过全连接层和激活函数，减少通道从而降低计算量，得到第1张空间注意力图。通过3×3分支，经过激活函数与1×1分支的输出结果点积，获得第2张保留精准信息的空间注意力图，最后再与第1张注意力图聚合。

图  4  EMA结构

Figure  4.  Structure of EMA

下载: 全尺寸图片 幻灯片

通过EMA模块后，可以增强通道注意力，使特征图具有全局感受野，增强网络的特征图提取且提升网络对目标的分类情况。

1.2.5   Deep SORT算法

多目标跟踪对采食行为识别能够连续、动态地追踪场景中多只奶牛的行为，从而更准确地捕捉和分析它们的采食模式和频率，这有助于深入研究多头奶牛的采食行为特征，提升对采食行为的识别精度。

Deep SORT算法^[22]常用于多目标跟踪，工作流程如图5所示，通过BCE-YOLO将奶牛采食时的个体身份以及对应的采食动作计算出来，然后通过卡尔曼滤波器预测物体下一帧的位置，将预测位置和实际检测位置作特征对比并计算IoU，得到相邻2个目标的相似度，最终通过匈牙利匹配算法得到相邻帧的对应ID (Identity document)，实现对奶牛身份以及采食动作的跟踪。

图  5  Deep SORT算法结构图

Figure  5.  Structure of Deep SORT

下载: 全尺寸图片 幻灯片

由于Deep SORT算法使用的是奶牛前后特征对比确认，并且增加了级联匹配和新轨迹确认。如图6所示，目标检测网络得到奶牛的唯一特征后，通过预测、观测、更新等方式对奶牛特征信息进行加强，因此使得Deep SORT算法所检测的奶牛ID不容易改变，从而更加精确地跟踪、检测奶牛的采食行为。

图  6  Deep SORT算法工作流程图

Figure  6.  Workflow diagram of Deep SORT algorithm

下载: 全尺寸图片 幻灯片

2.   结果与分析

2.1   评价指标

为了准确评价模型的性能，本文采用了目标检测算法常用的4个性能评价指标：精确度(Precision)、召回率(Recall)、平均精确度均值mAP(mean Average precision)和F1分数(F1-score)来检验本文提出的模型的性能。损失曲线拟合速度越快，拟合程度越好，最终损失值越低，代表模型的性能越强。

2.2   试验配置和超参数设置

训练以及测试的硬件平台配置为Intel(R) Xeon(R) W-2135 CPU@3.70GHz处理器，32 GB内存，11 GB GeForce RTX2080 Ti显卡，500 G固态硬盘。平台操作系统为64位Ubuntu18.04操作系统，利用Ubuntu18.04终端实现，程序运行中调用加速环境CUDA、Cudnn和第三方库OpenCV、Pytorch，CUDA版本为10.2.89，Cudnn版本基于CUDA10.2下cuDNN 7.6.5，OpenCV版本为4.4.0，Pytorch版本为1.7.1。在不影响识别精度下，为了增加训练效率，选择输入图像为416像素×416像素。设置初始学习率为0.001，权重衰减率为0.000 5，迭代次数为100次。

2.3   目标跟踪算法检测效果

为了验证奶牛采食行为目标跟踪算法的可靠性，本文分别使用上方和前方拍摄的奶牛采食行为数据集来对算法进行测试。

如图7所示为奶牛采食行为前方数据集的目标跟踪效果，由图7A、7B可以看出，当1号奶牛的采食行为从采食变为咀嚼时，奶牛的ID并不会发生改变，仍然对奶牛的头部运动轨迹进行跟踪绘制；由图7C、7D可以看出，当1号奶牛遮挡住2号奶牛时，2号奶牛的标签消失，但当2号奶牛恢复到检测状态时，2号奶牛的ID没有发生改变，说明目标检测网络对奶牛特征的提取充足，使得在目标跟踪时根据目标的特征进行跟踪不会使ID发生跳动。

图  7  前方拍摄奶牛采食数据集的目标跟踪

Figure  7.  Target tracking of dairy cow feed dataset taken in front

下载: 全尺寸图片 幻灯片

图8为奶牛采食行为上方数据集的目标跟踪效果，与前方相同，奶牛采食过程中行为变化以及遮挡并不会使得奶牛的ID发生变化。

图  8  上方拍摄奶牛采食数据集的目标跟踪

Figure  8.  Target tracking of dairy cow feed dataset taken above

下载: 全尺寸图片 幻灯片

为了验证所提出的Deep SORT算法与BCE-YOLO模型结合的有效性，基于本文自建数据集与其他主流算法进行对比试验，包括Staple和SiameseRPN，结果如表2所示。Deep SORT的跟踪精度和鲁棒性都占有优势，说明Deep SORT算法与BCE-YOLO模型结合具有更好的跟踪性能。通过以上分析可以看出，BCE-YOLO和Deep SORT结合的目标跟踪算法能精确追踪奶牛采食时的头部运动并绘制轨迹，通过运动总量可以进一步判断采食行为，也为后续对奶牛采食行为其他研究做准备。将奶牛运动轨迹点的数据导出，可以计算奶牛整个采食过程所持续的时间以及奶牛采食过程运动的总量。如图9所示，图9A以奶牛采食行为跟踪视频的左上顶点为原点，通过BBOX计算头部中心点并绘制轨迹。由于逐帧跟踪且视频帧率为30帧/s，可计算采食总时间。计算出当前帧与下一帧中心点位置的距离后，通过视频中像素点之间的距离与实际物体距离的比例换算得到奶牛的最终运动总量，如图9B所示。

表  2  不同算法目标跟踪的跟踪精度

Table  2.  Tracking accuracy of target tracking by different algorithms

算法 Algorithm	跟踪精度/% Tracking accuracy	鲁棒性/% Robustness
Deep SORT	58.09	47.28
Staple	57.98	43.69
SiameseRPN	56.14	37.15

下载: 导出CSV 

| 显示表格

图  9  奶牛运动轨迹图(A)和奶牛识别图(B)

Figure  9.  Trajectory map of cow movement (A) and cow identification map (B)

下载: 全尺寸图片 幻灯片

2.4   对比试验结果分析

本文对模型进行了消融试验，为了验证本文提出的BCE-YOLO改进方法提升模型性能的有效性，以YOLOv8模型为基础，通过使用不同的模块来验证模型性能。试验表明，改进后的方法对YOLOv8模型的检测效果有一定程度的影响。接下来，本文分别对前方和上方拍摄奶牛采食行为数据集进行测试，如表3、4所示，对试验数据进行分析，以反映BCE-YOLO模型中不同改进方法对模型检测性能的影响。

表  3  前方拍摄奶牛采食数据集中各模块对模型的影响

Table  3.  The influence of each module on the model in dairy cow feed dataset taken in front

YOLOv8	BiFormer	CoT	EMA	精确度/% Precision	召回率/% Recall	平均精确度均值/% mAP
√				69.76	75.72	75.90
√	√			70.56	77.56	77.53
√		√		67.14	81.76	77.82
√			√	69.75	72.23	73.93
√	√	√		69.40	85.65	76.64
√	√		√	67.54	75.80	75.76
√		√	√	64.32	86.77	77.66
√	√	√	√	77.73	82.57	83.70

下载: 导出CSV 

| 显示表格

表  4  上方拍摄奶牛采食数据集中各模块对模型的影响

Table  4.  The impact of each module on the model in dairy cow feed dataset taken above

YOLOv8	BiFormer	CoT	EMA	精确度/% Precision	召回率/% Recall	平均精确度均值/% mAP
√				68.29	77.16	67.23
√	√			70.93	82.35	72.36
√		√		73.05	80.52	73.00
√			√	69.50	80.00	67.63
√	√	√		73.54	85.92	73.82
√	√		√	73.24	84.41	72.59
√		√	√	71.45	82.60	69.47
√	√	√	√	76.32	86.33	76.81

下载: 导出CSV 

| 显示表格

从表3、4数据可以看出，单模块改进YOLOv8网络时，BiFormer模块对YOLOv8的性能提升最大，无论是前方还是上方数据集，精确度、召回率、平均精确度均值均有所提升。其中前方数据集中，精确度提升0.80个百分点，召回率提升1.84个百分点，平均精确度均值提升1.63个百分点；上方数据集中，精确度提升2.64个百分点，召回率提升5.19个百分点，平均精确度均值提升5.13个百分点。单独使用CoT模块时，模型的召回率和平均精确度均值提升较大，前方数据集的召回率提升6.04个百分点，平均精确度均值提升1.92个百分点；上方数据集的召回率提升3.36个百分点，平均精确度均值提升5.77个百分点。在精确度方面，前方数据集在使用CoT模块后下降了2.62个百分点，上方数据集提升4.76个百分点。本文认为是前方拍摄的奶牛采食行为数据集中奶牛面部特征较为丰富，单一的注意力层对特征的提取并不充分，使得提升效果较差；而上方拍摄的奶牛采食行为数据集中奶牛头部特征相对较少，模型提取特征相对容易。同样的情况也发生在EMA模块中。在前方拍摄数据集中，增加EMA模块后召回率下降3.49个百分点，平均精确度均值下降1.97个百分点；而在上方拍摄数据集中精确度、召回率均有所提升，其中精确度提升1.21个百分点，召回率提升2.84个百分点，平均精确度均值基本保持不变。

在双模块改进的YOLOv8中发现，包含BiFormer模块的双模块改进网络相较于原单模块改进网络均有提升。增加CoT和EMA双模块，前方拍摄数据集的精确度相较于YOLOv8模型降低5.44个百分点，上方拍摄数据集精确度的提升幅度也相对较小。可以看出，增加BiFormer模块可以对模型有较大的提升。

当使用3个模块对YOLOv8进行改进时，精确度、召回率、平均精确度均值均提升明显。前方拍摄数据集中，精确度、召回率和平均精确度均值分别提升7.97、6.85和7.80个百分点；上方拍摄数据集中，精确度、召回率和平均精确度均值分别提升8.03、9.17和9.58个百分点。

从以上分析可以看出，改进模块中，BiFormer模块对模型的贡献度最大，增加3个模块后的BCE-YOLO模型性能相较于YOLOv8模型有较大提升，对奶牛采食行为特征的提取也更加充分。

2.5   图像检测对比分析

为了直观分析BCE-YOLO模型相较于YOLOv8的提升情况，本文使用前方和上方拍摄的奶牛采食行为测试数据集对BCE-YOLO和YOLOv8分别进行测试(图10)。前方数据集中，咀嚼和采食动作的置信度提升6%~10%，提升效果明显；上方数据集中，咀嚼动作置信度提升9%，采食动作提升1%；YOLOv8存在漏检现象。可以看出，前方检测效果优于上方。YOLOv8与BCE-YOLO模型在500张验证集图像上的结果如表5所示，在前方和上方拍摄的数据集中，BCE-YOLO模型精确度、召回率和平均精确度均值都占有优势，并且前方检测效果优于上方。分析原因是因为前方数据集的奶牛头部特征丰富，而且BCE-YOLO提取特征能力有较大提升，使得前方检测效果更强；相对来说，上方数据集奶牛头部特征较少，模型的特征提取作用未发挥完全，使得检测效果较前方差一些。动作类别中，咀嚼类别的置信度要高于采食类别，与图11得到的精确度曲线结果一致。本文分析认为，奶牛进行咀嚼动作时需要抬头，使得奶牛头部的特征更加突出，而采食动作时奶牛与饲料直接接触，使得部分饲料的特征也被提取从而使得置信度降低。

图  10  模型检测效果对比

Figure  10.  Comparison of model detection results

下载: 全尺寸图片 幻灯片

表  5  模型在验证集上的检测结果对比

Table  5.  Comparison of the detection results of the models on the validation set %

模型 Model	精确度 Precision			召回率 Recall			平均精确度均值 mAP
	前方 Front	上方 Above		前方 Front	上方 Above		前方 Front	上方 Above
YOLOv8	71.84	69.97		75.69	76.52		76.33	65.67
BCE-YOLO	79.66	79.23		83.79	82.79		86.94	83.67

下载: 导出CSV 

| 显示表格

2.6   采食行为分类检测分析

本研究将奶牛采食行为分为采食和咀嚼两部分，而采食可以分为采食和拱草两部分。本文从精确度角度分析奶牛采食行为分类对检测结果的影响。由于前方与上方拍摄数据集训练时数据增长趋势基本一致，因此只选择上方拍摄数据集训练数据进行分析。

精确度曲线如图11所示，图11A为将奶牛采食行为分为采食和咀嚼，图11B为将奶牛采食行为分为采食、拱草和咀嚼。可以看出，当分类中增加了拱草类别后，咀嚼类别的精确度没有受到影响，在置信度50%~70%时基本稳定在85%~90%，但采食类别精确度出现了下降，平均下降5个百分点，并且拱草类别的精确度只有20%，相对偏低，使得平均精确度下降了6个百分点。本文分析认为，由于拱草行为与采食行为的特征相似度高，且拱草行为一般在极短时间内完成，模型容易将拱草行为与采食行为判定为同一种行为，因此导致模型检测拱草行为的精确度不高，且使采食行为精确度下降。因此本文决定将不使用拱草类别进行测试。

图  11  不同分类下模型精确度曲线

Figure  11.  Precision curves of the model under different classifications

下载: 全尺寸图片 幻灯片

3.   结论

本试验以养殖场饲养环境下采食区的奶牛为研究对象，对奶牛的采食行为进行研究。为解决复杂饲养环境下奶牛采食行为识别精度差、特征提取不充分的问题，实现对奶牛采食行为的自动监控，提出一种改进BCE-YOLO模型、并结合Deep SORT算法的识别方法。自建奶牛采食行为数据集进行对比试验，得出如下结论。

1)使用BiFormer、CoT、EMA 3个模型增强模块对YOLOv8模型进行增强，提出改进的BCE-YOLO模型，在前方和上方拍摄的数据集中，精确度分别为77.73%、76.32%，召回率分别为82.57%、86.33%，平均精确度均值分别为83.70%、76.81%，相较于YOLOv8模型，模型整体性能提升6~8个百分点。

2)通过将BCE-YOLO模型与Deep SORT结合，对奶牛采食行为进行了准确跟踪且有效抑制了奶牛ID的变更，可以同步实现多奶牛采食行为的自动监督与记录，为奶牛的福利化养殖发展具有积极的影响。