Effect of astaxanthin on inflammatory response of RAW264.7 cells induced by lipopolysaccharide and its mechanism
-
摘要:目的
研究虾青素(AST)对脂多糖(LPS)诱导的RAW264.7细胞炎症反应的影响及作用机制,为将虾青素应用于炎症治疗奠定理论基础。
方法采用不同浓度梯度的脂多糖及虾青素对RAW264.7细胞进行不同时间段的处理,通过MTT法确定最佳处理浓度和时间,对细胞进行最佳处理后,用ELISA法、荧光定量PCR技术和Western blot法分别检测细胞炎症因子的分泌量、mRNA相对表达量和蛋白相对表达量。
结果100 μmol/L虾青素和2 μg/mL脂多糖处理3 h的RAW264.7细胞活力处于峰值。与对照组相比,脂多糖组RAW264.7细胞中TNF-α、IL-6和Caspase-1的分泌量分别降低了12.83%、9.66%和20.80%(P<0.05),脂多糖对于TLR4/MyD88/NF-кB通路相关蛋白表达有促进作用,其中,TLR4和NF-кB p65蛋白相对表达量分别提高了195.40%和226.95%(P<0.05);与LPS组相比,AST+LPS组中虾青素对炎性因子的分泌及mRNA表达有抑制作用,TLR4、MyD88和NF-кB p65蛋白相对表达量降低了54.99%、45.70%和28.20%(P<0.05)。
结论虾青素预保护能抑制TLR4/MyD88/NF-кB通路相关蛋白的表达,进而缓解脂多糖刺激RAW264.7细胞产生的炎症反应。
-
关键词:
- 炎症反应 /
- 虾青素 /
- 脂多糖 /
- TLR4/MyD88/NF-кB信号通路
Abstract:ObjectiveTo study the effect of astaxanthin (AST) on the inflammatory response of RAW264.7 cells induced by lipopolysaccharide (LPS) and the mechanism, and provide a theoretical basis for using AST in inflammation therapy.
MethodDifferent concentrations of LPS and AST were used to treat RAW264.7 cells for different time. The optimal treatment concentration and time were determined by MTT method. After applying the optimal treatment, the secretion, mRNA relative expression and protein relative expression of inflammatory factors were detected by ELISA, fluorescence quantitative PCR and Western blot method respectively.
ResultWhen treated with 100 μmol/L AST and 2 μg/mL LPS for 3 h, the viability of RAW264.7 cells was at the peak. Compared with the control group, the secretion of TNF-α, IL-6 and Caspase-1 in RAW264.7 cells of LPS group reduced by 12.83%, 9.66% and 20.80% respectively(P<0.05). LPS promoted the expression of TLR4/MyD88/NF-κB pathway-related proteins with relative expression of TLR4 and NF-кB p65 proteins enhanced by 195.40% and 226.95% respectively(P<0.05). Compared with LPS group, AST had inhibitory effects on the secretion and mRNA expression of inflammatory factors in AST+LPS group, and the relative expression of TLR4, MyD88 and NF-кB p65 proteins reduced by 54.99%, 45.70% and 28.20% respectively (P<0.05).
ConclusionAST pre-protection can inhibit the expression of TLR4/MyD88/NF-κB pathway-related proteins, thereby alleviate the inflammatory response in RAW264.7 cells induced by LPS.
-
规模化奶牛养殖是利用现代化技术大批量奶牛聚集养殖的方式,采用现代化手段辅助养殖人员管理牛场以提高养殖效率与效益,是未来奶牛养殖业发展的重要方向[1-2]。规模化养殖凭借其规模优势可以有效降低饲料浪费、减少环境污染等,目前牛场的监管方式大多是由人工监管,信息化、数字化程度较低,随着奶牛养殖规模的不断扩展,对监管人员的工作要求也不断增加。研发基于视频分析的奶牛智能监测技术,可以有效提高奶牛养殖信息化、数字化、智能化水平,进而促进当前奶牛养殖业转型升级和提质增效,对规模化奶牛养殖有重要价值[3-4]。本文分析了2014—2024年奶牛目标检测、目标跟踪、个体识别和行为识别4个研究方向的文献,以此为基础总结了当下研究的优势与不足,最后对未来技术的发展进行了展望,以期为规模化奶牛智能监测技术提供思路与借鉴。
1. 奶牛智能监测技术
如图1所示,基于视频分析的奶牛智能监测是规模化奶牛养殖中的重要环节[5-8]。奶牛目标检测可用于牛只计数,辅助了解牛场运营状况。奶牛目标跟踪可以了解牛只行动轨迹,判断其运动情况与健康信息[9-10]。奶牛个体识别可以获取奶牛身份信息,进行奶牛精细化管理。奶牛行为识别可以有效发现奶牛早期疾病并及时医治[11-12];奶牛进食、饮水、反刍等行为可以反映奶牛的健康状况[13-14]。
奶牛目标检测是指在场景中检测奶牛目标的技术,它可以帮助进行牛群计数、牛群动向分析等。依靠人工肉眼观察大规模牛群的准确率较低,智能项圈或耳标可以进行奶牛的目标检测,但应用成本较高[15]。早期部分研究者使用分割算法,通过将奶牛目标从牛场背景中分割实现奶牛的识别,但这些方法受到光照、参数设定的影响较大,对于不同的应用场景效果尚需提高[16-17]。使用深度学习模型可以有效地解决目标检测的普适性问题[18-19]。在奶牛目标检测方法研究中,遮挡奶牛目标、昼夜奶牛目标检测等都是重要的研究方向;同时,针对深度学习模型需要较大计算资源的问题,为应对实际使用过程中牛场计算资源有限的问题,奶牛目标检测模型剪枝、轻量化也是重要的研究方向。
奶牛目标跟踪是指跟踪特定奶牛目标,它可以应用于发情奶牛、患病奶牛的跟踪以观察其健康状况,也可以用于观察奶牛特定身体部位以汇聚奶牛行为规律。早期研究使用光流算法或相关滤波、粒子滤波算法等对视频进行处理,在每一帧中分割出奶牛目标,最后合成出奶牛运动视频,实现跟踪。传统奶牛目标跟踪方法存在普适性问题,大多数适用于单一目标,对奶牛多目标跟踪是其重大难题[14]。针对该问题,深度学习模型被用于训练以有效提取目标特征,避免了人工设计特征提取方式的局限[20-21];此外,卡尔曼滤波、相关滤波、度量学习等技术的融合增强了跟踪的准确性。在奶牛目标跟踪中,跟踪的实时性、准确性都是研究需要重点关注的指标,关系着跟踪算法的实用性。
奶牛个体识别是识别与跟踪目标身份的辨识技术,它可以有效帮助牛场管理人员获取目标奶牛信息。传统方式依靠给奶牛佩戴耳标或一些特殊颜色项圈进行身份识别,这种方式工作量大经济成本高,容易引起奶牛的应激反应,耳标、项圈的丢失或损坏也会导致身份信息的丢失。刘渊等[15]使用图像对比的人工特征提取方式判别2幅奶牛图像以获取其身份信息,该方式效率较低。何东健等[22]基于深度学习目标检测算法用于奶牛个体身份识别,但仅能识别经过模型训练的奶牛图像,即仅适用于闭集,对于新加入的奶牛无法实现个体识别。针对该问题,度量学习、重识别技术等在奶牛个体识别研究中获得了重视,拓展了奶牛个体识别技术的实用性[23]。目前奶牛个体识别技术受限于奶牛图像的拍摄视角等,需要重点提高准确率以满足实际生产使用。
奶牛行为识别是指监测分析奶牛行为的技术,它可以帮助发现奶牛的早期疾病(如跛行)、奶牛发情产犊等。奶牛的部分行为是隐晦且难以观察到的,依靠人工仅能对规律性行为进行监测。早期研究者通过给奶牛佩戴智能颈圈、耳标、脚环等测定奶牛运动量及生物量来记录奶牛行为,但这种方式误差较大且成本高。也有研究通过传统跟踪算法观测奶牛行为,但普适性较差。基于视频的行为识别,难点在于其需要对一个时间序列进行分析才能得出正确行为。针对上述问题,有研究者利用长短期记忆网络(Long short-term memory, LSTM)的记忆性以及循环神经网络(Recurrent neural network, RNN)的循环性来提高模型准确率[24-25]。Wang等[26]采用3D卷积进行奶牛的行为识别并取得了不俗的效果。目前的研究大多是基于完整行为视频序列的全天候奶牛视频,模型对多行为不断变化的适应性较弱。
1.1 奶牛目标检测
奶牛目标检测技术大致可以分为传统奶牛目标检测方法和基于深度学习的奶牛目标检测方法(表1)。传统奶牛目标检测方法采用人工设计的特征提取方式,通过对奶牛进行细致的观察,利用脸部、背部、侧面、鼻部等特征将奶牛与背景进行区分,实现奶牛目标的识别;基于深度学习的方法将人工设计的特征提取方式替换为深度卷积神经网络,利用大量的奶牛图像训练网络,进而有效地提取奶牛特征,最后根据网络提供的候选框结合非极大值抑制(Non-maximum suppression,NMS)、交并比(Intersection over union,IOU)等阈值判定将奶牛目标区域在图像中框出,从而实现奶牛目标的识别。传统方法受环境因素影响较大因而普适性较差,近年来,基于深度学习的奶牛目标检测方法占据主流。
表 1 奶牛目标检测相关研究Table 1. Research on target recognition of dairy cow方法 Method 技术要点 Technical essential 结果 Result 文献 Literatrue 传统图像处理
Traditional image
processing基于递归背景建模思想 模型精度最高为95.00% [27] 基于核相关滤波算法 平均误检率为7.72% [13] 高斯混合模型及卷积神经网络相结合 准确率为99.81% [22] 基于Horn-Schunck光流法 检测充盈率为98.51% [14] 基于无参核密度估计背景建模方法 识别准确率为95.65% [28] 基于深度学习模型
Methods based on deep
learning model人工设计的四层卷积神经网络 准确率为89.95% [29] 利用RGB-D图像训练卷积神经网络 识别准确率为93.65% [30] 改进Mask R-CNN模型 模型精度最高为100% [31] 基于粒子滤波算法 准确率为89.00% [32] 基于YOLO算法 准确率为66.00% [23] 基于YOLOv5模型 准确率为90.00% [33] 融合YOLO与核相关滤波器 准确率为95.00% [34] 设计YOLOv5-ASFF模型 准确率为96.20% [35] 利用CBAM注意力机制对GhostNet进行改进 检测准确率为94.86% [36] 对YOLOv5s网络进行通道剪枝 模型精度为99.50% [37] 1.1.1 传统奶牛目标检测
传统奶牛目标检测方法大多通过目标与背景的差异或通过背景建模、滤波等方式将目标从背景中提取实现目标检测(图2),背景建模方式以及滤波参数等会极大影响识别效果,算法对不同背景以及不同奶牛的普适性不强。针对奶牛嘴部咀嚼过程动作幅度较小导致人工观测困难的问题,宋怀波等[14]通过分析奶牛反刍视频中的光流场,识别出嘴部区域的候选区域,然后利用嘴部区域检测模型进一步确定反刍时奶牛嘴部的位置,以充盈率检测模型效果,充盈率最高达到了98.51%。宋怀波等[13] 通过循环矩阵采集奶牛嘴部样本,采用核相关滤波算法对奶牛嘴部区域进行检测,平均误检率为7.72%。
针对奶牛整体目标的检测,宋怀波等[38] 利用背景建模方法可以有效估计像素的概率模型,并根据背景在图像中像素不变的特点将背景剔除;刘冬等[39]提出了一种动态背景建模方法,在混合高斯模型中引入惩罚因子,模型准确率最高达到了95.00%。滤波算法也可以进行背景的剔除,Bello等[40]为粒子滤波算法增加了临时记忆能力,保存了前一次预测的奶牛位置并根据前一次的位置预测下一次的位置,同时结合了Mean-shift算法实现了奶牛目标检测,该方法的准确率为89.00%。Li等[41]对奶牛图像人工截取一个兴趣区(Region of interest, ROI),通过对该区域进行二值化以及滤波等操作,获取该区域的斑纹信息,并将该特征输入支持向量机(Support vector machines, SVM)进行分类。Guo等[42]结合了背景差分法和帧间差分法对奶牛目标进行检测,结果表明,当奶牛静止时,帧间差分法难以检测,但融合了背景差分法则可以有效地提高其性能,从而取得较好的效果。
1.1.2 基于深度学习的奶牛目标检测
早期模型大多根据研究数据自主设计且模型层数较少。刘杰鑫等[17]利用高斯混合模型剔除视频背景,用卷积神经网络识别奶牛,模型准确率最高达99.81%。 Bello等[28]利用卷积、ReLU激活函数和池化操作,设计了一个四层卷积神经网络用于奶牛的识别,将奶牛背部图像用于训练和测试,该模型在测试集上的准确率为89.95%。Bezen等[27]利用RGB-D图像结合卷积神经网络设计奶牛识别模型,利用深度卷积神经网络提取奶牛及颈环信息,识别准确率为93.65%。随着计算机领域检测和分割模型的进步,部分深层模型被应用于奶牛目标的识别。李昊玥等[32]对Mask R-CNN中的特征提取网络ResNet-50 嵌入了注意力模块(SE block)以提高边界检测的精度,模型精度达到了100%。高精度的代价是模型参数量大,模型的实时性偏弱。为减少模型复杂度,可以采用轻量化模块(CSResNeXt module)替换模型的部分结构,带来的精确率下降可以通过注意力模块弥补[43]。Tian等[44]利用CBAM注意力机制对GhostNet进行了改进,同时还融合了特征金字塔网络(FPN),该模型可对奶牛目标以及牛场中一些路障进行识别与分割,检测准确率为94.86%。
在这些模型当中,YOLO家族模型(图3)使用最广泛。Tassinari等[18]利用YOLO算法实现奶牛的识别,准确率达66.00%。Wang等[29]融合YOLO和核相关滤波器,对奶牛头部和嘴部图像进行了模型训练,准确率达95.00%。Wang等[30]对YOLO v4模型进行了改进,利用GhostNet module减小了模型复杂度,同时采用深度可分离卷积替代了普通卷积以减小模型计算量,对奶牛眼部区域检测的mAP为96.88%。Qiao等[31]将自适应空间特征融合模块(Adaptively spatial feature fusion)添加到了YOLOv5的头部以增强模型特征融合效果,模型的准确率为96.20%。Mon等[45]使用YOLOv5模型进行了奶牛位置的检测,准确率达到了90.00%。Xu等[36]对YOLOv5s网络进行了通道剪枝,在确保模型精度轻微下降的情况下,成功减小了模型大小和计算量,最终模型精度为99.50%。深度卷积网络因其强大的特征提取能力逐步取代了传统背景建模等方法,检测模型的发展也极大地提升了奶牛目标检测的准确率和鲁棒性,正成为当下研究的热点。
1.2 奶牛目标跟踪
奶牛目标跟踪技术可以分为传统奶牛目标跟踪方法和基于深度学习的奶牛目标跟踪方法(表2)。传统奶牛目标跟踪方法大多使用光流法和差分法,根据奶牛运动视频中的像素变化提取光流图,进而将背景剔除,实现奶牛目标的跟踪。基于深度学习的方法则利用了目标检测网络,结合卡尔曼滤波等预估奶牛位置,从而实现奶牛目标的跟踪。当奶牛运动缓慢时,传统方法相应的光流图提取会受到影响,而使用目标检测结合卡尔曼滤波的方法可以根据奶牛的实时运动情况进行跟踪,是当前奶牛目标跟踪方法的主流思路。
表 2 奶牛目标跟踪相关研究Table 2. Research on cow target tracking方法 Method 技术要点 Technical essential 结果 Result 文献 Literatrue 传统图像处理
Traditional image
processing联合稠密光流和帧间差分法 跟踪准确率为89.12% [46] 提出了一种SiamFC的跟踪器 最高跟踪准确率为100.00% [47] 基于深度学习模型
Methods based on deep
learning modelYOLOv4模型结合 Kalman滤波和Hungarian算法 准确率为93.92% [48] 提出了YOLO-BYTE跟踪模型 多目标跟踪准确率为83.00% [49] YOLOv5检测器剪枝融合Cascaded-Buffered IoU 多目标跟踪准确率为86.10% [26] Siamese注意力算法 跟踪准确率为93.80% [25] 超轻量化孪生网络模型Siamese-Remo 单目标跟踪平均重合度为0.47 [50] 1.2.1 传统奶牛目标跟踪方法
奶牛目标跟踪技术是获取奶牛个体信息及位置信息的基础,该技术的主要思路是利用识别结合后处理的操作实现对视频中奶牛目标的不断跟踪。Tong等[51]联合稠密光流和帧间差分法进行奶牛嘴部区域跟踪,对视频中每一帧反刍奶牛嘴部区域进行识别,对提取的光流图重新融合为视频,实现了嘴部区域的实时跟踪,跟踪准确率为89.12%。Makhura等[34]在目标检测算法的基础上,引入数据关联进行多目标跟踪,计算当前帧每一个观测目标与其可能的各种跟踪目标相关联的概率。Liang等[35]提出了一种名为SiamFC的跟踪器用于奶牛目标的跟踪,对有遮挡、运动模糊、快速运动的目标进行了跟踪试验,跟踪准确率最高达100%。
1.2.2 基于深度学习的奶牛目标跟踪方法
YOLO检测器配合卡尔曼滤波估算奶牛位姿,且随视频不断更新,可以取得极佳的跟踪效果,其流程如图4所示。Zheng等[33]使用融合了自注意力和混合卷积模块的YOLOv7检测奶牛目标,利用卡尔曼滤波算法预估奶牛位置,模型识别准确率为97.30%,多目标跟踪准确率为83.00%。毛燕茹等[37]利用YOLOv4检测奶牛嘴部区域,结合 Kalman滤波和Hungarian算法进行跟踪,实现了多目标奶牛个体的嘴部跟踪和反刍行为监测,模型对奶牛嘴部上、下颚区域的识别准确率分别为93.92%和92.46%。Zheng等[21]对YOLOv5检测器进行了剪枝操作以降低计算复杂度,同时融合Cascaded-Buffered IoU以扩展探测和轨迹匹配空间,模型多目标跟踪准确率达到86.10%。Guzhva等[46]提出了一种Landmark CNN和Cow CNN相结合的深度模型用于检测奶牛,随后使用自主设计的跟踪器对经过挤奶厅的奶牛进行了跟踪识别,实现了对奶牛长达4 min的持续跟踪且取得了较高的准确率。Zheng等[20]提出了一种Siamese注意力算法,对奶牛腿部区域的跟踪准确率为93.80%。刘月峰等[52]设计了新型的正负样本选取策略来改进跟踪模型,在自然场景下单目标跟踪平均重合度(Expectedaverage overlap, EAO) 达到0.47。
1.3 奶牛个体识别
奶牛个体识别技术可以分为传统奶牛个体识别方法、基于深度学习的奶牛个体识别方法以及基于度量学习的奶牛个体识别方法(表3)。传统方式用人工特征提取方式进行特征对比判别2幅奶牛图像以获取身份信息,该方法效率较低;基于深度学习目标检测算法(以YOLO为代表)的个体身份识别,仅能识别经过模型训练的奶牛图像,即仅适用于闭集;针对新加入奶牛个体的识别问题,度量学习、重识别技术等被提出,使奶牛个体识别技术向开集识别的方向发展。
表 3 奶牛个体识别相关研究Table 3. Research on individual recognition of dairy cow方法 Method 技术要点 Technical essential 结果 Result 文献 Literatrue 传统个体识别方法
Traditional individual
recognition method基于LeNet-5模型 识别准确率为90.55% [53] 自主设计深度卷积神经网络结合SVM 单幅图像识别时间为30.74 s [54] 自主设计卷积神经网络 准确率为96.55% [55] 基于机器学习的奶牛颈环 ID 自动定位与识别 识别准确率为96.98% [56] VGG-16+SVM 准确率为99.48% [57] 基于深度学习的方法
Method based on
deep learningR-CNN检测模型 识别准确率为86.10% [58] DCNN结合SVM 准确率最高为97.01% [59] YOLO和SVM 准确率为98.36% [60] Mask-R-CNN和SVM网络 准确率为98.67% [61] 基于度量学习的方法
Method based on metric learningShuffleNetv2模型融合交叉熵损失和三元组损失函数 精度为73.30% [39] ResNet-50结合A-softmax损失 准确率为94.26% [62] 1.3.1 传统奶牛个体识别方法
奶牛个体识别可以使用RFID或GPS项圈等智能设备,如图5所示。刘渊等[15]利用RFID和GPS进行奶牛个体定位与身份识别,取得较高的准确率。但这些方法经济成本较高,且在牛场潮湿环境下设备容易损坏。基于视频分析的奶牛个体识别技术主要利用视频中奶牛个体的斑纹、体型等差异进行特征提取并加以区分,早期大多为人工设计特征的提取方法。Li等[41]对奶牛图像人工截取一个感兴趣区域(Region of interest, ROI)区域,通过对该区域进行二值化以及滤波等操作,获取该区域的斑纹信息,将该特征输入SVM模型进行分类。张瑞红等[47]用梯度方向直方图(HOG)特征进行多角度检测,实现奶牛标牌的定位,识别准确率为96.98%。
SVM广泛应用于奶牛个体识别,该方法大多使用图像处理算法将图像特征提取,最后使用SVM进行个体分类实现识别,其效果如图6所示。Xiao等[49]通过将每头奶牛背部图像分割出来再进行特征提取,最终输入SVM进行特征的区分。Du等[48]使用VGG-16提取奶牛躯干特征信息,添加了全局特征池化来降低所提取的浅层和深层特征维度,最后使用SVM对所提取的特征进行分类实现奶牛个体识别,准确率为99.48%。Kumar等[63]采用自主设计的深度卷积神经网络提取奶牛特征并利用SVM对提取的特征进行了奶牛个体识别,但检测速度较慢,单幅图像识别时间为30.74 s。Achour等[50]利用奶牛进食时头部图像花纹的不同训练了卷积神经网络,并对17头奶牛进行了个体身份识别,准确率为96.55%。Zhao等[56]使用LeNet-5对30头奶牛进来个体识别,准确率为90.55%。传统奶牛个体识别算法因提取方式低效、检测时间长、检测误差大,因而难以替代颜色标记法和智能设备识别法。
1.3.2 基于深度学习的奶牛个体识别方法
深度学习模型中的目标检测与分割模型被应用于奶牛个体识别,其效果如图7所示。Xiao等[49]利用Mask-R-CNN和SVM网络实现了48头奶牛的识别,准确率为98.67%。Achour等[50]和Hu等[61]利用DCNN进行特征提取,结合SVM进行特征的分类从而完成个体识别。Zin等[57]利用自主设计的DCNN进行个体识别,对奶牛背部图像进行模型训练,结合图像的颜色直方图和灰度图进行背景和围栏障碍的区分,准确率最高达到了97.01%。Hu等[61]融合了YOLO和SVM进行了奶牛检测,模型准确率为98.36%。何东健等[22]利用改进的YOLO v3网络对89头奶牛进行了个体识别,识别准确率为95.91%。Andrew等[54]利用R-CNN检测模型进行奶牛个体身份识别,89头奶牛识别准确率为86.10%,模型大小为489.54 M。多模态图像也可以用于个体识别。Bhole等[19]使用了RGB 和热图像(Thermal images)联合输入CNN进行特征提取,再使用SVM进行分类。
在进行特征提取时,不同视角拍摄到的图像特征会有差异,针对该问题,Weng等[55]使用了Two-Branch CNN进行特征提取,通过对比各Branch network提取特征的相似性来判断是否是同一头奶牛。一些研究也进行了模型轻量化的工作,Hao等[53]使用了知识蒸馏技术结合注意力机制训练了一个计算量更小的DCNN,完成了牛的个体识别。Lu等[60]利用奶牛的关键部位作为辅助提高识别的准确率。以YOLO为代表的目标检测网络极大地提升了识别的速度与准确率,但模型无法对未经过训练的奶牛识别,这也是影响模型走向实用性的关键问题。
1.3.3 基于度量学习的奶牛个体识别方法
SVM或目标检测模型等无法找到未经训练的奶牛个体,因而只能将新增奶牛个体归类为已有类别中,导致了错误的识别。针对新增个体的识别,度量学习是一种较好的解决思路。Andrew等[59]使用了度量学习的方法进行个体识别任务,该方法以特征聚类的思路改变了现有方法的特征分类思路,解决了网络重新训练的问题。但其使用的ResNet-50特征提取网络参数量较大,同样不利于模型的可移植性。Wang等[23]采用轻量级模型(ShuffleNetv2)对奶牛进行个体识别,同时还融合了交叉熵损失和三元组损失函数,在保证模型轻量化的同时解决了新个体识别问题,识别精度达73.30%。Wang等[58]采用A-softmax损失进行新的个体识别,利用注意机制、反向残差结构和深度可分离卷积设计了轻量级奶牛特征提取网络,识别准确率可达94.26%。度量学习可以有效拓展对新奶牛个体的识别,成为奶牛个体识别模型新的研究热点。
1.4 奶牛行为识别
如表4所示,奶牛行为识别方法可分为传统方法和基于深度学习的方法。传统方法中部分研究基于接触式方式观测奶牛行为,另一部分研究则利用LSTM模型的记忆性以及RNN网络的循环性来提高模型准确率。基于深度学习的奶牛行为识别方法大多采用3D卷积进行奶牛的行为识别。
表 4 奶牛行为识别相关研究Table 4. Research on cow behavior recognition方法 Method 技术要点 Technical essential 结果 Result 文献 Literatrue 传统方法
Traditional
methods基于正态分布背景统计模型 准确率为93.89% [10] 基于支持向量机模型的奶牛行为识别 准确率为98.02% [64] 背景减除法融合SVM分类器 准确率为90.92% [65] Lucas-Kanade稀疏光流算法 准确率为98.58% [21] 三轴加速度传感器 识别精度和召回率分别为
92.80%和95.60%[66] 基于深度学习的方法
Methods based on
deep learning model基于CNN-LSTM算法 准确率、召回率和特异性分别为
97.10%、96.50%和98.30%[40] 空间特征网络优化的Efficient-LSTM算法 识别精度为97.87% [41] 利用3D卷积对RexNet网络进行改进 准确率为95.00% [62] 半监督长短期记忆早期跛行自编码器算法 准确率为97.78% [67] 深度可分离卷积和3D卷积操作构建E3D的
奶牛基本运动行为识别模型准确率为98.17% [42] 基于姿态估计和膝关节角度特征向量的奶
牛跛行识别方法准确率为97.22% [68] E-YOLO的奶牛发情行为识别模型 准确率为93.90% [12] 1.4.1 传统奶牛行为识别方法
奶牛行为识别方法大致分为接触式和非接触式方法。接触式方法依靠给奶牛穿戴传感器获取数据进行分析,进而发现奶牛行为。Shen等[69]利用三轴加速度传感器采集数据,使用SVM算法对数据进行进食、反刍和其他行为3个类别的分类,对进食的识别精度和召回率分别为92.80%和95.60%,对于反刍的识别精度和召回率分别为93.70%和94.30%。传统非接触式方法大多利用人工提取特征结合SVM网络对奶牛行为进行分类识别。任晓惠等[70]利用萤火虫寻优算法优化支持向量机的参数,能有效区分不同奶牛的进食、反刍、饮水行为,准确率为98.02%。Guo等[71]融合颜色和纹理进行背景减除,随后利用SVM分类器实现了奶牛爬跨行为的识别,准确率为90.92%。Jiang等[72]利用光流法进行跛行检测,将光流信息与视频帧空间信息有效结合,识别精度为98.24%。宋怀波等[12, 16]利用线性斜率最近邻分类进行跛行分析,准确率达93.89%;利用Lucas-Kanade稀疏光流算法进行单目标奶牛呼吸行为检测,准确率为98.58%。
1.4.2 基于深度学习的奶牛行为识别方法
LSTM网络因其记忆性被广泛应用于行为识别。Zhang等[62]提出了一种半监督长短期记忆(LSTM)早期跛行自编码器算法,准确率为97.78%。Jiang等[66]使用YOLOv3改进算法提取奶牛区域,提出了一种奶牛背部曲率提取模型,用于提取奶牛背部曲线,最终使用改进LSTM模型实现跛行检测。Wu等[24]提出了一种CNN-LSTM算法用于识别单头奶牛的基本运动行为,对5种行为识别的平均准确率、召回率和特异性分别为97.10%、96.50%和98.30%。Yin等[25]对LSTM网络增加BiFPN实现不同深度信息的汇聚,该算法可在自然场景下实现奶牛行为识别,精度为97.87%。王克俭等[64]在时域段网络(TSN)的基础上融合了时态移位模块(TSM)、特征注意单元(FAU)和长短期记忆(LSTM)网络,识别准确率达82.60%。
3D卷积被实践证明有利于提取时空信息,传统2D卷积进行视频提取的操作需要在时间维度上再进行一次融合,因而效果不佳,而3D卷积则可以同时提取时间与空间维度(图8)。Ma等[65]利用3D卷积对RexNet网络进行改进实现了无接触奶牛基本运动行为识别,准确率为95.00%。Wang等[26]利用深度可分离卷积和3D卷积操作构建奶牛基本运动行为识别模型,准确率达98.17%。史学伟等[73] 设计了R(2+1)D模型对奶牛行为进行识别,准确率为89.20%。
基于深度学习的关键点检测模型也可以作为辅助行为判别的重要方式。杜粤猛等[67]将Faster RCNN卷积神经网络模型引入奶牛关键点检测以提高跛行识别的可靠性,最终模型准确率为97.22%。为解决人工发情监测效率低的问题,Wang等[10]将背景信息增强模块(CBAM)和三联体注意模块(TAM)融合于YOLO模型以增强网络对发情奶牛个体的关注,模型识别准确率为93.90%。
2. 存在的挑战
现阶段基于视频分析的奶牛智能监测方法取得了不俗的进展,然而当前技术的发展还存在较多挑战,算法的计算复杂度、普适性、准确性等都是重要的影响因素,影响了模型的应用。
1) 现有研究大多局限于固定样本,而随着牛群规模不断扩大以及牛场奶牛频繁更替,新增样本的大量引入会影响模型的泛化性能。现有深度卷积神经网络经过训练后得到了较好的性能,但随着新增目标的引入,模型能否在变化样本中有效识别未训练的对象,同一模型在多个牛场的泛化性能也是其重要的挑战。
2) 基于视频分析的方法对非结构化牛场环境中的遮挡有较大的灵敏性,遮挡问题会导致模型提取冗余或错误的奶牛特征,进而影响检测、跟踪、个体识别、行为识别的准确率。同时,现有模型训练大多需要庞大的数据集,数据的标注处理工作带来了较高的经济成本,而数据量较少可能影响模型性能,因而如何利用少样本训练高准确率模型是未来一个重要研究方向。
3) 对于模型的实际应用,现有深度模型为提高精确率大多层数较多,导致了计算复杂度较高。在对牛场中庞大的视频流处理时,较高的计算复杂度会导致模型的实时性变差,而缩减模型的深度可能会导致准确率的降低,因而如何平衡模型的准确性与复杂度需要重点关注。
3. 未来研究趋势的展望
针对上述挑战,本研究对基于视频分析的奶牛智能监测方法进行了如下展望:
1) 针对新个体加入或奶牛更替导致的模型泛化能力减弱问题,借助度量学习的思路,利用特征相似度匹配来进行个体识别,可以使模型不受限于奶牛的数量,实现对新奶牛的识别。
2) 针对遮挡问题,可以考虑为现有深度模型增加图像融合及背景修复能力来恢复被遮挡的部分信息,通过将多个图像进行融合或利用背景信息进行填补来实现。针对训练数据集较大的问题,研究中可以借助半监督或无监督方法。半监督学习可以利用大量未标记的奶牛数据和少量标注过的数据来训练模型;无监督学习可以利用获取的奶牛图像数据的结构进行自行数据标注再进行模型训练。对现有大量已训练模型,增量学习以及迁移学习也是有效提高模型训练效率的方法。
3) 针对模型复杂度较高的问题,模型剪枝与轻量化模块是减少模型大小和计算复杂度的有效方法。通过删除神经网络中的冗余连接或参数减少模型大小和计算复杂度。对现有已训练模型,可通过知识蒸馏或网络压缩的方式,精炼小网络来保全已有模型的精确度。
总之,深度学习技术可以有效应用于规模化奶牛智能监测任务,但实现实时多场景监测仍需进一步优化。另外,许多实际应用环境下的挑战仍需不断克服,比如不同环境、不同品种牛只模型的泛化性能和鲁棒性等。为促进规模化奶牛养殖业的发展,需要从实际情况出发研发智能监测模型,推动其不断进步与发展。
-
图 1 不同浓度虾青素对RAW264.7细胞活力的影响
相同处理时间柱子上的不同小写字母表示不同处理组间差异显著(P<0.05,Duncan’s法)
Figure 1. Effect of astaxanthin on the viability of RAW264.7 cells at different concentration
Different lowercase letters on bars of the same treatment time indicate significant difference among treatment groups (P<0.05, Duncan’s method)
图 2 不同质量浓度脂多糖对RAW264.7细胞活力的影响
相同处理时间柱子上的不同小写字母表示不同处理组间差异显著(P<0.05,Duncan’s法)
Figure 2. Effect of different content of lipopolysaccharide on the viability of RAW264.7 cells
Different lowercase letters on bars of the same treatment time indicate significant difference among treatment groups (P<0.05, Duncan’s method)
图 3 虾青素预保护对脂多糖刺激RAW264.7细胞炎症因子分泌量的影响
虾青素(AST)浓度为100 μmol/L,脂多糖(LPS)质量浓度为2 μg/mL;各图中,柱子上方的不同小写字母表示差异显著(P<0.05,Duncan’s法)
Figure 3. Effects of astaxanthin pre-protection on inflammatory factor secretion from RAW264.7 cells stimulated by lipopolysaccharide
The astaxanthin(AST) concentration is 100 μmol/L, the lipopolysaccharide(LPS) content is 2 μg/mL; In each figure, different lowercase letters on bars indicate significant difference (P<0.05, Duncan’s method)
图 4 虾青素预保护对脂多糖刺激的RAW264.7细胞中炎症因子mRNA相对表达量的影响
虾青素(AST)浓度为100 μmol/L,脂多糖(LPS)质量浓度为2 μg/mL;各图中,柱子上方的不同小写字母表示差异显著(P<0.05,Duncan’s法)
Figure 4. Effects of astaxanthin pre-protection on mRNA expression of inflammatory factor in RAW264.7 cells stimulated by lipopolysaccharide
The astaxanthin(AST) concentration is 100 μmol/L, the lipopolysaccharide (LPS) content is 2 μg/mL;In each figure, different lowercase letters on bars indicate significant difference (P<0.05, Duncan’s method)
图 6 虾青素预保护对脂多糖刺激的RAW264.7细胞中炎症因子蛋白相对表达量的影响
各图中,柱子上方的不同小写字母表示差异显著(P<0.05,Duncan’s法)
Figure 6. Effects of astaxanthin pre-protection on relative protein expression of inflammatory factor in RAW264.7 cells stimulated by lipopolysaccharide
In each figure, different lowercase letters on bars indicate significant difference (P<0.05, Duncan’s method)
表 1 qPCR的引物序列
Table 1 qPCR primer sequence
基因 Gene 正向引物(5′→3′) Forward primer 反向引物(5′→3′) Reverse primer 18s RNA CTCAACACGGGAAACCTCAC CGCTCCACCAACTAAGAACG IL-1β GGCTACTGCCTTCCCTACC CCTGATTGAACCCAGATTGG TNF-α ACCTGCCTGTGCTGAGTT ATGAAGTGCTGGGACACC IL-18 GGCCGACTTCACTGTACAACCG GGTCACAGCCAGTCCTCTTACTTC -
[1] TANG B F, LI X C, REN Y L, et al. MicroRNA-29a regulates lipopolysaccharide (LPS)-induced inflammatory responses in murine macrophages through the Akt1/NF-κB pathway[J]. Exp Cell Res, 2017, 360(2): 74-80. doi: 10.1016/j.yexcr.2017.08.013
[2] YANG H F, JIANG C M, CHEN X L, et al. Protective effects of sinomenine against LPS-induced inflammation in piglets[J]. Microb Pathog, 2017, 110: 573-577.
[3] LI Y, ZENG Y M, HUANG Q F, et al. Helenalin from Centipeda minima ameliorates acute hepatic injury by protecting mitochondria function, activating Nrf2 pathway and inhibiting NF-κB activation[J]. Biomed Pharmacother, 2019, 119: 109435.
[4] KWON D H, CHA H J, CHIO E O, et al. Schisandrin A suppresses lipopolysaccharide-induced inflammation and oxidative stress in RAW 264.7 macrophages by suppressing the NF-κB, MAPKs and PI3K/Akt pathways and activating Nrf2/HO-1 signaling[J]. Int J Mol Med, 2018, 41(1): 264-274.
[5] XU W X, WANG M Y, CUI G Y, et al. Astaxanthin protects OTA-induced lung injury in mice through the Nrf2/NF-кB pathway[J]. Toxins(Basel), 2019, 11(9): 540.
[6] HWANG J H, KIM K J, RYU S J, et al. Caffeine prevents LPS-induced inflammatory responses in RAW264.7 cells and zebrafish[J]. Chem-Biol Interact, 2016, 248: 1-7. doi: 10.1016/j.cbi.2016.01.020
[7] CAVAILLON J M. Exotoxins and endotoxins: Inducers of inflammatory cytokines[J]. Toxicon, 2018, 149: 49-53.
[8] MASPI N, ABDOLI A, GHAFFARIFAR F. Pro- and anti-inflammatory cytokines in cutaneous leishmaniasis: A review[J]. Pathog Glob Health, 2016, 110(6): 247-260. doi: 10.1080/20477724.2016.1232042
[9] 潘灵辉. 细胞因子平衡在炎症反应中作用的研究进展[J]. 医学综述, 2005, 11(9): 775-777. doi: 10.3969/j.issn.1006-2084.2005.09.004 [10] KAUR S, BANSAL Y, KUMAR R, et al. A panoramic review of IL-6: Structure, pathophysiological roles and inhibitors[J]. Bioorg Med Chem, 2020, 28(5): 115327.
[11] KRISHNAN S M, SOBEY C G, LATZ E, et al. IL-1β and IL-18: Inflammatory markers or mediators of hypertension?[J]. Br J Pharmacol, 2014, 171(24): 5589-5602. doi: 10.1111/bph.12876
[12] WOJDASIEWICZ P, PONIATOWSKI Ł A, SZUKIE-WICZ D. The role of inflammatory and anti-inflammatory cytokines in the pathogenesis of osteoarthritis[J]. Mediat Inflamm, 2014: 1-19.
[13] 朱凌羽, 张子琪, 兰海楠, 等. 虾青素对脂多糖通过TLR4/MyD88/NF-κB信号通路诱导的IPEC-J2细胞炎症的影响[J]. 华南农业大学学报, 2018, 39(5): 53-58. doi: 10.7671/j.issn.1001-411X.2018.05.008 [14] PATRA S, MUTHURAMAN M S, MEENU M, et al. Anti-inflammatory effects of royal poinciana through inhibition of toll-like receptor 4 signaling pathway[J]. Int Immunopharmacol, 2016, 34: 199-211.
[15] LIU C, TANG X, ZHANG W J, et al. 6-bromoindirubin-3′-oxime suppresses LPS-induced inflammation via inhibition of the TLR4/NF-κB and TLR4/MAPK signaling pathways[J]. Inflammation, 2019, 42(6): 2192-2204. doi: 10.1007/s10753-019-01083-1
[16] 张晓音, 张珊珊, 吴旻, 等. β-胡萝卜素对脂多糖刺激巨噬细胞RAW264.7炎症因子的影响及其机制[J]. 中国免疫学杂志, 2017, 33(6): 838-843. doi: 10.3969/j.issn.1000-484X.2017.06.007 [17] ZHAO L, LI M Y, SUN K C, et al. Hippophae rhamnoides polysaccharides protect IPEC-J2 cells from LPS-induced inflammation, apoptosis and barrier dysfunction in vitro via inhibiting TLR4/NF-κB signaling pathway[J]. Int J Biol Macromol, 2020, 155: 1202-1215.
[18] 陈静波, 董国忠, 孙雅望, 等. 脂多糖引起炎症反应的表观遗传学机制及其营养调控[J]. 动物营养学报, 2018, 30(1): 59-65. [19] HE W, QU T, YU Q, et al. LPS induces IL-8 expression through TLR4, MyD88, NF-kappaB and MAPK pathways in human dental pulp stem cells[J]. Int Endod J, 2013, 46(2): 128-136.
-
期刊类型引用(4)
1. 齐浩,孙海芳,吕亮杰,李偲,闵家楠,侯亮. 基于无人机多光谱信息与纹理特征融合的小麦叶面积指数估测. 农业机械学报. 2025(03): 334-344 . 百度学术
2. 汪煜,谈俊忠,张梅,朱振宇. 基于无人机遥感的互花米草长势参数提取与相关性分析. 海洋环境科学. 2024(01): 100-108+118 . 百度学术
3. 刘昕哲,武璐,陈李金,马宇帆,李涛,吴婷婷. 基于半经验半机理建模的冬小麦LAI反演及长势评估. 农业工程学报. 2024(01): 162-170 . 百度学术
4. 吴路华,杨东妮,陈丹. 贵州武陵山区植被LAI时空演变及其未来持续性特征. 科学技术创新. 2023(22): 31-36 . 百度学术
其他类型引用(8)