A method for pig gait scoring based on 3D convolution video analysis
-
摘要:目的
猪肢蹄病是种猪淘汰的重要原因之一,给养殖场带来巨大的经济损失。猪蹄疾病判断通常依赖人工肉眼观察猪只步态进行排查,存在效率低、人力成本高等问题。本文旨在实现自动化猪步态评分,高效判断猪只肢蹄健康状况。
方法本文提出一种“端到端”的猪步态评分方法,在单头种猪经过测定通道时采集视频,并制作四分制步态数据集。采用深度学习技术分析视频,设计了一种基于3D卷积网络的时间注意力模块(Time attention module,TAM),有效提取视频帧图像之间的特征信息。将TAM与残差结构结合,构建猪步态评分模型TA3D,对步态视频进行特征提取与步态分类评分。为进一步提升模型性能并实现自动化处理,本文设计了步态关注模块(Gait focus module,GFM),能够自动从实时视频流中提取有效信息并合成高质量步态视频,在提高模型性能的同时降低计算成本。
结果试验结果表明,GFM可以实时运行,步态视频大小可以减少90%以上,显著降低存储成本,TA3D模型步态评分准确率达到96.43%。与其他经典的视频分析模型的对比测试结果表明,TA3D的准确率和推理速度均达到最佳水平。
结论本文提出的方案可应用于猪只步态自动评分,为猪肢蹄病的自动检测提供参考。
Abstract:ObjectiveSwine limb and hoof disease is one of the significant reasons for culling breeding swine, resulting in substantial economic losses for livestock farms. The diagnosis of swine limb and hoof disease typically relies on manual observation of pig gaits, which consumes high labor costs and has low efficiency. The aim of this study is to achieve automated pig gait scoring, and efficiently determine the health status of swine limb and hoof.
MethodThis study proposed an “end-to-end” pig gait scoring method. Videos of individual breeding swine passing through designated channels were collected and a four-point gait dataset was created. Deep learning techniques were employed for video analysis. A time attention module (TAM) based on a 3D convolutional neural network was designed to effectively extract feature information between video frame images. By combining TAM with residual structures, the pig gait scoring model TA3D was constructed for feature extraction and gait classification scoring in the gait videos. To further improve model performance and achieve automation, the gait focus module (GFM) was designed. GFM could autonomously extract effective information from real-time video streams to synthesize high-quality gait videos, improving model performance while reducing computational costs.
ResultThe experimental results demonstrated that GFM could operate in real-time and reduced the size of gait videos by over 90%, significantly reducing storage cost, and the gait scoring accuracy of the TA3D model was 96.43%. Moreover, the comparison test results with other classic video analysis models showed that TA3D achieved optimal levels of accuracy and inference speed.
ConclusionThis paper proposes a solution that can be applied to the automatic scoring of pig gait, providing a reference for the automatic detection of swine limb and hoof disease.
-
Keywords:
- Image processing /
- Deep learning /
- Pig /
- Gait scoring /
- Attention mechanism /
- Video analysis /
- Limb and hoof disease
-
猪繁殖与呼吸综合征(Porcine reproductive and respiratory syndrome,PRRS)是一种以母猪繁殖障碍和各种生长阶段猪的呼吸系统疾病为特征的病毒性传染病,俗称“猪蓝耳病”,其病原为猪繁殖与呼吸综合征病毒(Porcine reproductive and respiratory syndrome virus,PRRSV)[1-2]。PRRS于20世纪80年代末首先在美国被发现,临床上主要表现为母猪晚期繁殖障碍和新生仔猪的呼吸道疾病[3]。随后该病相继在北美、欧洲、亚洲的养猪国家广泛流行,并引发了空前的“流产风暴”[4],给世界养猪业造成了巨大的经济损失。
2006年,在我国南方部分省份出现的“猪无名高热”病,经鉴定其病原为以JXA1株为代表的高致病性PRRSV,引发了严重的PRRS疫情[5-6]。在PRRSV的遗传进化树中,HP-PRRSV和之前流行的经典毒株同属于Lineage 8,其重要特征是Nsp2编码区存在30个不连续氨基酸的缺失[7-8],这种新出现的毒株具有毒力强、致死率高、传播速度快等特点,至今依然是国内流行的优势毒株[9],给我国养猪业造成非常严重的损失。
反向遗传学技术是研究RNA病毒的有力工具,该技术通过对相关病毒基因进行直接改造后构建出病毒的感染性克隆,并经RNA-launched和DNA-launched 2种途径对病毒进行拯救[10-11]。RNA-launched途径是RNA病毒基因组先反转录成cDNA,接着克隆到合适的转录载体上,通过克隆到T7或者SP6启动子的下游,先在体外转录出病毒全长的基因组RNA,随后将这些体外的转录本转染宿主细胞,在宿主细胞内包装出活的病毒粒子[12-13]。DNA-launched途径则是将经反转录的病毒cDNA克隆到真核启动子如CMV启动子的下游,并将构建好的质粒不经体外转录,直接转染宿主细胞,利用宿主细胞的核功能转录出病毒基因组,进而完成病毒粒子的包装[14]。相比RNA-launched途径,DNA-launched途径避开了体外转录步骤,不仅操作简便,还降低了转染过程中RNA降解的风险,使转染的效率大大提高。目前,反向遗传技术在研究PRRSV的结构与功能、致病机制以及研发新型疫苗等方面有着广泛应用[15-17]。
本研究运用反向遗传操作技术将HP-PRRSV JXA1株的全基因组分段克隆至改造过的低拷贝载体pOKq上,成功构建了JXA1株的全长感染性克隆。并采取基于DNA-launched途径成功获得拯救的病毒,并对拯救病毒进行生物学特性的分析。HP-PRRSV代表株JXA1株反向遗传平台的构建,为HP-PRRSV后续的结构功能探索、致病机理研究以及新型疫苗研发奠定了基础。
1. 材料与方法
1.1 材料
1.1.1 载体、毒株、细胞、抗体
克隆载体pJET1.2购买自Thermo Fisher Scientific。由pOK12改造具有多克隆位点的低拷贝载体pOKq、XH-GD全长感染性克隆质粒、PRRSV易感细胞Marc-145细胞、转染用BHK-21细胞均由华南农业大学兽医学院传染病教研室保存。HP-PRRSV JXA1毒株由河南农业大学田克恭教授惠赠。PRRSV N蛋白单克隆抗体购买自韩国金诺公司。FITC标记的山羊抗小鼠IgG二抗购买自北京中杉金桥生物技术有限公司。
1.1.2 主要试剂
RNA抽提试剂盒购自上海飞捷生物技术有限公司,反转录试剂盒、Taq酶、高保真DNA聚合酶购自宝日医生物技术(北京)有限公司。限制性核酸内切酶购自NEB公司。T4 DNA连接酶购自Thermo Fisher Scientific。DL2000 DNA marker、250 bp DNA ladder (Dye plus)、克隆菌感受态细胞Escherichia coli DH5α、克隆载体pMD18-T vector购自宝日医生物技术(北京)有限公司;DNA凝胶回收试剂盒、质粒抽提试剂盒购自OMEGA公司。DMEM高糖培养基、胰蛋白酶购自Biological Industries。胎牛血清购自Gibco公司。二甲基亚砜(DMSO)购自Amresco公司。
1.2 方法
1.2.1 全长cDNA构建方案与引物设计
构建方案:JXA1毒株全长cDNA的构建见图1。先将CMV、A1、A2片段融合,融合产物再与A3片段连接,构成A片段。将D1片段和终止信号肽序列BGH片段融合构成D片段,然后将D、C、B、A共4个片段依次亚克隆到低拷贝载体pOKq上。
根据GenBank中收录的PRRSV JXA1毒株全基因组序列,利用Oligo7.0软件 设计6对引物对病毒的全长基因进行分段克隆,获得A1、A2、A3、B、C和D1段。同时以PRRSV XH-GD全长感染性克隆质粒为模板,设计引物扩增CMV和BGH片段。同时在扩增A1片段时引入1个沉默突变,将全基因组第510位碱基由A突变为G,引入遗传标记FseI,以便与亲代病毒相区别。引物序列由上海英潍捷基生物技术有限公司合成。各段引物的序列、扩增片断大小及引物名称见表1。
表 1 构建JXA1株全长感染性克隆设计的引物序列Table 1. Primer sequences used for construction of the full-length infectious clone of JXA1 strain引物名称 Primer name 引物序列(5′→3′)1) Primer sequence 产物长度/bp Product length CMV-F AGTC GCGGCCGCCGATGTACGGGCCAGATATAC 757 CMV-R ATAGAGCCAACACCTATACGTCA A1-F TGACGTATAGGTGTTGGCTCTAT 528 A1-R TAGGGGTGAGTTGGCCGGCCCTGTA A2-F ATCTACAGGGCCGGCCAACTCAC 2 193 A2-R CGGCGGTGTCTCGAGAATCATCT A3-F CAAAGATGATTCTCGAGACACC 3 096 A3-R AAGGCATAGGTGCTTAAGT B-F CATCCGTTACAGGTGGTAATG 2 951 B-R AGCACAGCTGTCCATGAGTATTGC C-F GAAGACAACCATCACAGACTCAC 2 713 C-R AAACCTCATGCTGGTGGCATT D1-F AGGACTGGGAGGATTACAATGAT 3 341 D1-R GTGCCAAAGAATGCCAGCCCATCATG BGH-F CATGATGGGCTGGCATTCTTTGGCAC 533 BGH-R GGGATCGA GGTACCCAGAAGC 1)下划线部分为酶切位点
1) The underlined portion is the restricted enzyme digestion site1.2.2 JXA1毒株全基因组各片段的扩增
以XH-GD全长感染性克隆质粒为模板,分别用引物(CMV-F、CMV-R)和(BGH-F、BGH-R)扩增CMV启动子序列和BGH终止信号肽序列;按上海飞捷生物技术有限公司的RNA抽提试剂盒操作说明书提取JXA1细胞病毒的总RNA,用适量RNase free水溶解,获得总RNA,用SuperScriptTM III逆转录酶和OligodT(20)(Invitrogen,USA),按照操作说明书进行cDNA合成,然后将获得的cDNA作为模板,用表1中扩增引物进行各片段的扩增,经过RT-PCR,获得A1、A2、A3、B、C和D1片段,参照DNA purification kit说明书纯化扩增的片段,利用融合PCR技术,用引物(A1-F、A2-R)融合A1和A2片段,构建点突变以引入全长感染性克隆的遗传标记FseI酶切位点,以回收的CMV片段和A1、A2融合片段为模板,用引物(CMV-F、A2-R)融合CMV、A1、A2片段并回收;以回收的BGH片段和D1片段为模板,用引物(D1-F、BGH-R)融合D1和BGH片段构成D片段并回收,PCR按常规方法进行,并设立空白对照。PCR产物用10 g/L琼脂糖凝胶(含0.5 μg/mL EB)电泳检测并回收纯化。另外,为了提高目的片段的保真性,构建感染性克隆过程中的所有PCR反应均使用宝日医生物技术(北京)有限公司的PrimeSTAR® Max高保真DNA聚合酶。
1.2.3 质粒pOK-A、pJET-B、pJET-C和pJET-D的构建
将CMV、A1、A2的融合回收产物连接到pOKq空载体上形成载体pOK-CMV-A1-A2,再将扩增的A3片段连接到pOK-CMV-A1-A2载体上,构建出pOK-A中间载体。将D、C和B这3个片段的纯化产物分别与pJET1.2载体连接。取5 μL的连接产物转化克隆菌感受态细胞E. coli DH5α后,用灭菌枪头挑取可疑菌落于含氨苄青霉素的LB液体培养基中,于37 ℃条件下振荡培养4~6 h,取适量菌液进行PCR鉴定。将PCR鉴定为阳性的菌液送上海英潍捷基生物技术有限公司进行测序验证。测序正确的重组质粒分别命名为pJET-B、pJET-C和pJET-D,并按照OMEGA公司的质粒提取试剂盒说明书进行质粒抽提。
1.2.4 JXA1毒株全长cDNA的构建
将pJET-D、pJET-C、pJET-B和pOK-A按照图1所示的顺序依次亚克隆到pOKq载体,构建的质粒经PCR鉴定为阳性的重组菌液送上海英潍捷基生物技术有限公司进行测序,将测序正确的克隆质粒命名为pOK-JXA1,并参照OMEGA公司去内毒素质粒提取试剂盒说明书进行去内毒素质粒抽提。
1.2.5 JXA1株病毒的拯救
将JXA1株病毒全长cDNA的重组质粒pOK-JXA1转染BHK-21细胞,转染使用Lipofectamine 3000(后文简称Lipo 3000)脂质体,具体操作步骤参照说明书。转染72 h后,将6孔板反复冻融3次,收集细胞液,4 ℃、7 000 r/min离心7 min,取上清接种于单层Marc-145细胞,吸附1 h后补加含2%(φ)FBS的DMEM,置于37 ℃、CO2体积分数为5%的培养箱培养,观察细胞病变情况(Cytopathic effect,CPE),出现病变后冻融收毒,连续传12代。将拯救的病毒命名为rJXA1。
1.2.6 拯救病毒的鉴定
为验证所看到的细胞病变是拯救病毒所致,排除亲本病毒污染的可能,利用引入的沉默突变FseI酶切位点进行鉴定。取第3代的病毒细胞培养悬液进行总RNA的提取,再取2 μg RNA进行反转录。以得到的cDNA为模板,以A1-F和A2-R为引物进行PCR扩增。PCR产物用10 g/L琼脂糖凝胶电泳检测并回收纯化,将纯化后的PCR产物送上海英潍捷基生物技术有限公司进行测序鉴定。
同时将拯救病毒的第3代rJXA1-P3和亲本病毒的第3代JXA1-P3接种至长满单层的Marc-145细胞6孔板中并设1孔阴性对照,置于37 ℃、CO2体积分数为5%培养箱中培养72 h后对拯救的病毒进行间接免疫荧光(Indirect immunofluoresence assay,IFA)试验鉴定。
1.2.7 拯救病毒的稳定性
将拯救病毒rJXA1在Marc-145细胞上连续传至12代,观察每一代的CPE情况。同时从拯救获得的病毒中,选择第1、3、6、9和12代病毒进行TCID50测定。将Marc-145细胞接种到96孔细胞培养板上,待细胞汇合度达到90%以上时,将获得的相应代次的拯救病毒进行10倍梯度倍比稀释,即用DMEM进行10−1~10−8倍比稀释,分别接种于Marc-145细胞中,每个稀释度接种8孔,每孔100 μL。同时设未接毒的空白对照,将细胞板放置37 ℃、CO2体积分数为5%细胞培养箱作用90 min。弃去病毒液,加入含2%(φ)FBS的DMEM,放置于37 ℃、CO2体积分数为5%细胞培养箱。连续观察2~7 d,记录每个稀释度细胞病变的孔数,本试验重复3次求其平均值,并按照Reed-Muench法计算各个样品的TCID50。
1.2.8 拯救病毒的生长曲线
测定rJXA1第3代病毒和亲本病毒JXA1第3代病毒在Marc-145细胞中的生长曲线。将rJXA1第3代病毒和亲本病毒JXA1第3代病毒用DMEM培养基稀释至感染复数(Multiplicity of infection,MOI)为0.1,接种于长成单层的Marc-145细胞,置于37 ℃、CO2体积分数为5%培养箱中孵育1 h,每个病毒各做3次重复。孵育结束后弃去上清,用PBS缓冲液洗涤细胞2次,加入5 mL含2%(φ)FBS的DMEM细胞维持液,置于37 ℃、CO2体积分数为5%的培养箱中培养。分别于接种病毒12、24、36、48、60、72、84和96 h后,从每瓶细胞中吸取200 μL上清,然后测定各时相上清中病毒的TCID50,绘制病毒的生长曲线。
2. 结果与分析
2.1 JXA1毒株全基因组各片段的扩增
以XH-GD全长感染性克隆质粒为模板扩增CMV启动子序列和BGH终止信号肽序列,以JXA1反转录后的cDNA为模板扩增JAX1的A1、A2、A3、B、C和D1段。PCR产物经琼脂糖凝胶电泳后,可见相应的目的条带,其中CMV、BGH和A1片段的扩增产物大小分别约为750、500和500 bp,与预期大小相符(图2A)。A2、A3、B、C和D1片段的扩增产物大小分别约为2 200、3 000、3 000、2 700和3 300 bp,与预期大小相符(图2B)。
图 2 JXA1株各基因片段的PCR扩增与构建M1:DL2000 DNA marker;M2:DL5000 DNA marker;M3:DL10000 DNA marker;1:CMV片段;2:BGH片段;3:A1片段;4:B片段;5:C片段;6:A3片段;7:A3片段酶切产物;8:D1片段;9:D1和BGH融合片段;10:A2片段;11~12:CMV、A1和A2融合片段;13:pOK-CMV-A1-A2的酶切产物;14~18:菌液PCR鉴定;N:阴性对照Figure 2. PCR amplification and construction of each gene fragment of JXA1 strainM1: DL2000 DNA marker; M2: DL5000 DNA marker;M3:DL10000 DNA marker; 1: CMV fragment; 2: BGH fragment; 3 A1 fragment; 4: B fragment; 5: C fragment; 6: A3 fragment; 7: Enzyme digestion of A3 fragment; 8: D1 fragment; 9: D1 and BGH fusion fragment; 10: A2 fragment; 11−12: CMV, A1 and A2 fusion fragment; 13: Enzyme digestion of pOK-CMV-A1-A2; 14−18: PCR identification of the bacterial liquid; N: Negative control利用融合PCR技术融合A1和A2片段,构建点突变来引入全长感染性克隆的遗传标记FseI酶切位点,以回收的CMV片段和A1、A2融合片段为模板,对CMV、A1、A2片段进行融合PCR扩增并回收,PCR产物经琼脂糖凝胶电泳后,可见约为3 800 bp扩增片段,与预期大小相符(图2C)。将CMV、A1、A2的融合回收产物连接到pOKq空载体上形成载体pOK-CMV-A1-A2,再将扩增的A3片段连接到pOK-CMV-A1-A2载体上,并进行菌液PCR鉴定(图2C),构建出pOK-A中间载体;以回收的BGH和D1段为模板,对D1和BGH片段进行融合PCR扩增并回收,PCR产物经琼脂糖凝胶电泳后,可见约为3 800 bp扩增片段,与预期大小相符(图2B),然后将D、C、B 片段依次克隆到pJET1.2载体上。
2.2 JXA1毒株全长cDNA的构建与鉴定
将pJET-D、pJET-C、pJET-B和pOK-A按照图1所示的顺序依次连接到pOKq载体,构建全长cDNA的重组质粒pOK-JXA1,用引物CMV-F、A1-R对重组质粒pOK-JXA1进行PCR鉴定,PCR产物经琼脂糖凝胶电泳后,可见约为1 300 bp的扩增条带,与预期大小相符(图3),鉴定阳性的重组菌液送往上海英潍捷基生物技术有限公司进行测序验证,测序正确的重组质粒命名为pOK-JXA1。
2.3 JXA1株病毒的拯救
将质粒pOK-JXA1转染BHK-21细胞72 h后,冻融收获病毒,离心取上清后接种至Marc-145细胞,置于37 ℃、CO2体积分数为5%的培养箱中培养72 h,显微镜下可见与亲本病毒JXA1类似的CPE(图4),将拯救病毒命名为rJXA1。
2.4 拯救病毒的鉴定
将拯救获得的rJXA1在Marc-145细胞中连续传代。取第3代病毒(rJXA1-P3)的培养液抽提RNA进行RT-PCR鉴定,PCR产物经琼脂糖凝胶电泳后可检测到强阳性条带,大小与预期相符(图5)。将纯化的PCR产物送测序,测序结果显示拯救病毒rJXA1全基因组的第510位核苷酸由A突变为G,对应的阅读框由AGA变为AGG,推导的氨基酸均为精氨酸,产生了新的酶切位点FseI(GGCCGGCC),与预期结果一致,表明拯救病毒的遗传标记被成功引入。
用PRRSV N蛋白单克隆抗体对亲本病毒以及拯救病毒进行间接免疫荧光鉴定,结果显示:接种亲本病毒和拯救病毒的细胞在荧光显微镜下可观察到特异性的绿色荧光,而阴性对照细胞没有荧光产生(图6),证明病毒拯救成功。
2.5 拯救病毒的稳定性
将拯救病毒rJXA1在Marc-145细胞上连续传至12代,每一代均可以产生明显CPE。图7为第1、3、6、9和12代的细胞病变情况。同时对第1、3、6、9和12代病毒进行TCID50的测定,结果表明,拯救病毒可在Marc-145细胞上稳定传代,病毒滴度介于106.0~107.3 TCID50/mL。
2.6 拯救病毒的生长曲线
对拯救病毒rJXA1的第3代病毒和亲本病毒JXA1的第3代病毒进行生长曲线的测定,结果表明拯救病毒rJXA1第3代和亲本病毒JXA1第3代的生长曲线相似,二者达到最高滴度的时间相同,均为72 h(图8)。
3. 讨论与结论
2006年以来,以感染猪高热、高发病率和高死亡率为特征的高致病性猪繁殖与呼吸综合征在我国爆发,并在全国范围流行。截至目前,该病依然在国内广泛流行,给我国养猪业带来巨大的经济损失[18]。
PRRSV基因组为不分节段的单股正链RNA,全长15 kb左右。构建其全长感染性克隆时需要避免基因突变、缺失等破坏保真性的情况出现。为克服这一难点,本研究在构建过程中全程使用PrimeSTAR® Max高保真聚合酶进行基因的扩增或融合PCR扩增。此外,为了避免长片段扩增导致的保真性降低,本研究还将整个病毒的基因组分为4个节段分段克隆,逐步连接到严谨性较高的低拷贝载体pOKq上,成功构建了JXA1株的全长感染性克隆。并采取基于DNA-launched途径进行病毒拯救,成功构建了HP-PRRSV JXA1株的反向遗传平台,获得了感染性拯救病毒rJXA1。该拯救病毒与亲本毒株JXA1具有相同的体外增殖能力。
为了区分亲本病毒和拯救病毒,需要在拯救病毒的基因中加入遗传标记。本研究选择了20株有代表性的基因II型PRRSV毒株,使用MegAlign软件对其进行全基因组序列比对。最终选择第510位碱基作为遗传标记位点。20株基因II型代表株在该位点的碱基均为A,对应的氨基酸密码子为AGA,编码精氨酸,将其突变为G后不影响编码的氨基酸,同时可以形成一个新的单酶切位点FseI(GGCCGGCC),便于对拯救病毒和亲本病毒的鉴定。
准确且完整的全长感染性克隆的构建是病毒拯救的关键[19]。本研究采取基于DNA-launched途径进行病毒拯救,避开了RNA体外转录的步骤,不仅减少了试验操作的影响,也简化了整个试验流程。另外,本研究还在JXA1病毒的基因组两端添加了核酶序列,全长质粒转染至BHK-21细胞后在细胞内转录出RNA,在核酶的作用下直接剪切,形成不含外源基因的病毒基因组。PRRSV基因组3′端存在1个ploy A尾,ploy A的个数对病毒转录的稳定性有重要作用,如果ploy A尾上A的个数过少,有可能导致转录失败,无法产生具有感染性的病毒粒子。基于广东省动物源性人兽共患病预防与控制重点实验室以前建立RNA-launched反向遗传平台时的经验,本研究选择了42个A构建病毒基因组的ploy A尾。
虽然国内已使用高致病性PRRSV弱毒活疫苗来控制HP-PRRSV的流行,但HP-PRRSV毒株依然在国内广泛流行,未呈现明显的减弱趋势[20],其他亚群(如NADC30-like亚群和GM2-like亚群)呈现上升趋势[21-22],所以很有必要对其原因进行研究。本研究成功构建的HP-PRRSV JXA1株的反向遗传平台将为进一步研究HP-PRRSV的致病机理、基因功能以及新型疫苗研发奠定了基础,同时可为PRRSV的防控提供技术参考。
致谢:感谢河南农业大学田克恭教授惠赠HP-PRRSV JXA1毒株,感谢华南农业大学兽医学院陈耀博士在本研究的选题上给予的指导与建议!
-
图 5 TAM模块结构
T、C、H和W分别表示特征图的时间维度、通道数、高度和宽度;3D Conv表示3D卷积层;3D Global Max-Pool表示3D全局最大池化层;3D Global Avg-Pool表示3D全局平均池化层
Figure 5. Structure of TAM module
T, C, H and W represent the time dimension, number of channels, height, and width of the feature map, respectively; 3D Conv represents a 3D convolutional layer; 3D Global Max-Pool represents a 3D global maximum pooling layer; 3D Global Avg-Pool represents a 3D global average pooling layer
图 6 TA3D网络结构
3D Conv表示3D卷积层;3D Max-Pool表示3D最大池化层;FC表示全连接层;TAM表示时间注意力模块;TABlock表示残差结构
Figure 6. TA3D network architecture
3D Conv represents 3D convolutional layer; 3D Max-Pool represents 3D maximum pooling layer; FC represents fully connected layer; TAM represents time attention module; TABlock represents residual structure
表 1 四分制步态评分标准
Table 1 Four point gait socring scale
步态评分
Gait scoring步态级别
Gait level状态描述
State description1 不及格 猪只行走困难,背部扭曲,难以承重 2 及格 猪只行走犹豫,步幅较短,略有弓背 3 良好 猪只行走正常,步幅较长 4 优秀 猪只行走稳健,步态对称,步频稳定 表 2 数据集中不同步态级别数据的占比
Table 2 The proportion of different gait levels in the dataset
步态级别
Gait level数量
Quantity占比/%
Percentage不及格 Fail 71 17.5 及格 Pass 58 14.3 良好 Good 101 24.9 优秀 Excellent 176 43.3 表 3 改进YOLOv8n试验结果
Table 3 Experimental results of improved YOLOv8n
模型1)
Model精确率/%
Precision召回率/%
Recall帧率/(帧·s−1)
Frames per second浮点运算量/(×109)
Floating point operationsYOLOv8n 99.8 99.7 185 8.2 YOLOv8n-2h 99.7 99.8 200 6.9 YOLOv8n-1h 99.8 99.7 217 6.2 1)YOLOv8n-2h表示YOLOv8n保留大、中2种尺度的检测头;YOLOv8n-1h表示YOLOv8n只保留大尺度检测头
1)YOLOv8n-2h represents YOLOv8n keeps two detection heads with large and medium scales; YOLOv8n-1h represents YOLOv8n keeps only one detection head with large scale表 4 评分测试结果混淆矩阵
Table 4 Confusion matrix of score testing results
真实步态级别
Real gait level不同预测评分的样本数
Sample size with different predicted score召回率/%
Recall1分 1 point 2分 2 points 3分 3 points 4分 4 points 不及格 Fail 15 100.00 及格 Pass 9 2 1 75.00 良好 Good 21 100.00 优秀 Excellent 36 100.00 精确率/% Precision 100.00 100.00 91.30 97.30 表 5 各视频分析模型对比
Table 5 Comparison of various video analyzing models
模型
Model准确率/%
Accuracy单视频平均推理时间/s
Average inference time per videoI3D 82.14 2.02 Slowfast 91.67 2.12 VideoSwin 94.05 1.28 TANet 92.86 1.24 TA3D 94.05 1.18 I3D+GFM 91.67 0.40 Slowfast+GFM 86.90 0.44 VideoSwin+GFM 96.43 0.43 TANet+GFM 92.86 0.26 TA3D+GFM 96.43 0.26 表 6 使用GFM前各视频分析模型对比
Table 6 Comparison of various video analyzing models before using GFM
模型
Model精确率/% Precision 召回率/% Recall 不及格
Fail及格
Pass良好
Good优秀
Excellent不及格
Fail及格
Pass良好
Good优秀
ExcellentI3D 57.14 76.92 95.24 93.10 80.00 83.33 95.24 75.00 Slowfast 71.43 100.00 100.00 96.88 100.00 83.33 100.00 86.11 VideoSwin 93.33 88.89 91.30 97.30 93.33 66.67 100.00 100.00 TANet 82.35 90.91 95.45 97.06 93.33 83.33 100.00 91.67 TA3D 83.33 100.00 95.45 97.06 100.00 83.33 100.00 91.67 平均值 Average 77.52 91.34 95.49 96.28 93.33 80.00 99.05 88.89 表 7 使用GFM后各视频分析模型对比
Table 7 Comparison of various video analyzing models after using GFM
模型
Model精确率/% Precision 召回率/% Recall 不及格
Fail及格
Pass良好
Good优秀
Excellent不及格
Fail及格
Pass良好
Good优秀
ExcellentI3D+GFM 88.24 80.00 95.00 94.59 100.00 66.67 90.48 97.22 Slowfast+GFM 66.67 100.00 91.30 94.44 93.33 33.33 100.00 94.00 VideoSwin+GFM 93.75 91.67 95.00 100.00 100.00 91.67 90.48 100.00 TANet+GFM 83.33 100.00 91.30 97.06 100.00 75.00 100.00 91.67 TA3D+GFM 100.00 100.00 91.30 97.30 100.00 75.00 100.00 100.00 平均值 Average 86.40 94.33 92.78 96.68 98.67 68.33 96.19 96.50 -
[1] 黄建平. 种猪肢蹄病的常见原因分析[J]. 猪业科学, 2020, 37(5): 106-107. doi: 10.3969/j.issn.1673-5358.2020.05.028 [2] JØRGENSEN B. Influence of floor type and stocking density on leg weakness, osteochondrosis and claw disorders in slaughter pigs[J]. Animal Science, 2003, 77(3): 439-449. doi: 10.1017/S1357729800054382
[3] 刘瑞玲. 猪群肢蹄病发病症状、病因及防治措施[J]. 国外畜牧学(猪与禽), 2011, 31(1): 88-90. [4] 王怀中, 张印, 孙海涛. 猪肢蹄病的预防[J]. 养猪, 2010(2): 39-40. doi: 10.3969/j.issn.1002-1957.2010.02.019 [5] 王超, 魏宏逵, 彭健. 广西公猪站公猪淘汰原因及在群猪肢蹄病发病规律调查研究[C]//中国畜牧兽医学会动物营养学分会. 第七届中国饲料营养学术研讨会论文集. 郑州: 中国农业大学出版社, 2014: 1. [6] 杨亮, 王辉, 陈睿鹏, 等. 智能养猪工厂的研究进展与展望[J]. 华南农业大学学报, 2023, 44(1): 13-23. doi: 10.7671/j.issn.1001-411X.202209050 [7] 刘波, 朱伟兴, 杨建军, 等. 基于深度图像和生猪骨架端点分析的生猪步频特征提取[J]. 农业工程学报, 2014, 30(10): 131-137. doi: 10.3969/j.issn.1002-6819.2014.10.016 [8] 朱家骥, 朱伟兴. 基于星状骨架模型的猪步态分析[J]. 江苏农业科学, 2015(12): 453-457. [9] 李前, 初梦苑, 康熙, 等. 基于计算机视觉的奶牛跛行识别技术研究进展[J]. 农业工程学报, 2022, 38(15): 159-169. doi: 10.11975/j.issn.1002-6819.2022.15.017 [10] ZHAO K, BEWLEY J M, HE D, et al. Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique[J]. Computers and Electronics in Agriculture, 2018, 148: 226-236. doi: 10.1016/j.compag.2018.03.014
[11] 康熙, 李树东, 张旭东, 等. 基于热红外视频的奶牛跛行运动特征提取与检测[J]. 农业工程学报, 2021, 37(23): 169-178. doi: 10.11975/j.issn.1002-6819.2021.23.020 [12] JIANG B, SONG H, WANG H, et al. Dairy cow lameness detection using a back curvature feature[J]. Computers and Electronics in Agriculture, 2022, 194: 106729. doi: 10.1016/j.compag.2022.106729
[13] POURSABERI A, BAHR C, PLUK A, et al. Online lameness detection in dairy cattle using Body Movement Pattern (BMP)[C]//IEEE. 2011 11th International Conference on Intelligent Systems Design and Applications. Cordoba, Spain: IEEE, 2011: 732-736.
[14] TRAN D, BOURDEV L, FERGUS R, et al. Learning spatiotemporal features with 3d convolutional networks[C]//IEEE. Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015: 4489-4497.
[15] YANG K, QIAO P, LI D, et al. Exploring temporal preservation networks for precise temporal action localization[C]//AAAI. Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto, California, USA: AAAI, 2018: 7477-7484.
[16] WANG X, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, UT, USA: IEEE, 2018: 7794-7803.
[17] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional block attention module[C]//Springer. Proceedings of the European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018: 3-19.
[18] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, UT, USA: IEEE, 2018: 7132-7141.
[19] ZHANG X, ZHOU X, LIN M, et al. Shufflenet: An extremely efficient convolutional neural network for mobile devices[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, UT, USA: IEEE, 2018: 6848-6856.
[20] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016: 770-778.
[21] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
[22] CARREIRA J, ZISSERMAN A. Quo vadis, action recognition? a new model and the kinetics dataset[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017: 6299-6308.
[23] LIU Z, NING J, CAO Y, et al. Video swin transformer[C]//IEEE/CVF. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA: IEEE, 2022: 3202-3211.
[24] FEICHTENHOFER C, FAN H, MALIK J, et al. Slowfast networks for video recognition[C]//IEEE/CVF. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South): IEEE, 2019: 6202-6211.
[25] LIU Z, WANG L, WU W, et al. TAM: Temporal adaptive module for video recognition[C]//IEEE/CVF. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, QC, Canada: IEEE, 2021: 13688-13698.
[26] LIU Z, LIN Y, CAO Y, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//IEEE/CVF. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, QC, Canada: IEEE, 2021: 10012-10022.
-
期刊类型引用(1)
1. 吴迪,栗云鹏,巴洪宇,杜鹃,吴惠明,张启龙,冯小宇,周德刚. 美洲型猪繁殖与呼吸综合征病毒实时荧光RT-PCR定量检测试剂盒测量不确定度研究. 中国动物检疫. 2020(05): 94-100 . 百度学术
其他类型引用(2)