Research on individual recognition of dairy cows based on improved Mask R-CNN
-
摘要:目的
针对传统奶牛养殖中采用人工识别奶牛个体的方法效率低且主观性强的问题，提出一种基于改进Mask R-CNN的奶牛个体识别方法。
方法该方法对Mask R-CNN中的特征提取网络结构进行优化，采用嵌入SE block的ResNet-50网络作为Backbone，通过加权策略对图像通道进行筛选以提高特征利用率；针对实例分割时目标边缘定位不准确的问题，引入IoU boundary loss构建新的Mask损失函数，以提高边界检测的精度；对3000张奶牛图像进行训练、验证和测试。
结果改进Mask R-CNN模型的精度均值(AP)达100%，IoUMask达91.34%；与原始Mask R-CNN模型相比，AP提高了3.28%，IoUMask提高了5.92%。
结论本文所提方法具备良好的目标检测能力，可为复杂农场环境下的奶牛个体精准识别提供参考。
-
关键词:
- Mask R-CNN /
- SENet /
- IoU boundary loss /
- 图像识别 /
- 奶牛识别
Abstract:ObjectiveTo propose an individual cow recognition method based on the improved Mask R-CNN algorithm, and solve the problem of low efficiency and strong subjectivity of artificially identifying individual cows in traditional dairy farming.
MethodThis method optimizes the feature extraction network structure in Mask R-CNN, adopts ResNet-50 network embedded in SE block as backbone, and selects image channels by weighting strategy to improve feature utilization. For the problem of inaccurate target edge positioning during instance segmentation, a boundary weighted loss function is added to construct a new Mask loss function to improve the accuracy of boundary detection. A total of 3000 cow images are trained, validated and tested.
ResultThe improved Mask R-CNN model had an average precision (AP) of 100% and IoUMask of 91.34%. Compared with the original Mask R-CNN model, AP increased by 3.28% and IoUMask increased by 5.92%.
ConclusionThe proposed method has strong segmentation accuracy and robustness, and can provide a reference for accurate recognition of cow images under complex farming environment.
-
Keywords:
- Mask R-CNN /
- SENet /
- IoU boundary loss /
- image recognition /
- cow recognition
-
桑树Morus alba Linn.属桑科Moraceae桑属Morus，原产我国中部，是一种具有重要经济价值的落叶乔木。种桑养蚕是我国的传统产业，我国已有约4 000的桑树栽培历史[1]。随着“东桑西移”发展战略的实施，广西逐步成为我国蚕茧生产第一大省区和世界重要原料蚕茧生产基地，2012年，广西桑树种植面积达1.69×105 hm2，家蚕饲养量为655万张，蚕茧产量达2.56×105 t[2]。由可可毛色二孢Lasiodiplodia theobromae Pat.Griffon & Maubl桑树的新病害，2014年，Xie等[3]曾报道该病害在我国广西横县发生，发病面积达2 400 hm2，其后在广西其他蚕桑种植区均发现该病害的存在。
桑根腐病是一种根部新病害，目前生产上鲜见有防治效果好的化学药剂，且化学防治易对桑树和家蚕产生药害，因此，针对该病害开展生物防治的研究具有重要意义，而获得有显著拮抗效果的菌株是病害生物防治的基础。本研究采集健康桑树根际土壤，筛选能显著抑制L. theobromae的拮抗细菌，以期为桑根腐病的生物防治奠定基础。
1. 材料与方法
1.1 材料
Ezup柱式细菌基因组DNA抽提试剂盒、DNA Ladder Min Marker(SM0337)、Dream Taq Green PCR MasterMix(2×)、PCR引物等均购自上海生物工程技术服务有限公司；PDA粉(广东环凯微生物科技有限公司)；快速革兰氏染色试剂盒(济南百博生物科技有限责任公司)；孔雀石绿(天津市大茂化学试剂厂)。
NA培养基：牛肉浸膏3.0 g、蛋白胨5 g、葡萄糖2.5 g，琼脂粉15 g，用少量蒸馏水加热溶解后，补充蒸馏水至1 L。
可可毛色二孢Lasiodiplodia theobromae菌株由广西大学农学院植保系实验室分离保存。
1.2 方法
从广西自治区南宁市、河池市和来宾市的桑园中，采集健康桑树根际土壤用于分离拮抗细菌。参考孙正祥等[4]的方法分离和纯化细菌菌株。
1.2.1 拮抗细菌对L. theobromae菌丝生长的影响
采用平板对峙法[5]测定拮抗细菌对菌丝生长的影响。将保存的病原菌菌株和细菌菌株分别在PDA培养基和NA培养基上活化。用灭菌打孔器(直径6 mm)取L. theobromae菌饼接种至PDA培养基平板中央，其两侧2 cm处对称放置细菌菌落块，放置于28 ℃培养箱中培养。待对照处理的菌落长满平板后，测量各处理菌落的直径，参照谢晨昭等[6]的方法计算生长抑制率，并在显微镜下观察抑菌带菌丝的形态特征。各处理重复3次。从参试的细菌菌株中筛选出拮抗效果最好的菌株进行后续试验。
1.2.2 细菌培养液对L. theobromae菌丝生长的影响
将筛选出的细菌菌落块接种到150 mL液体NA培养基中，于振荡培养箱中(28 ℃，150 r·min-1)培养3 d。培养液经0.22 μm的微孔滤膜过滤后，备用。取活化好的L. theobromae菌饼接种到PDA培养基中央，在其周围对称放置3片灭菌滤纸片(直径5 mm)，再用移液枪吸取10 μL细菌上清液滴在滤纸片上。重复3次，计算生长抑制率。
1.2.3 细菌培养液对L. theobromae孢子萌发的影响
采用载玻片孢子萌发法[5]：利用过滤的细菌培养液配制孢子悬浮液(约1×106个·mL-1)，以清水为对照, 将500 μL孢子悬浮液滴在干净的载玻片上，再将载玻片放入垫有湿润滤纸的培养皿中，然后放置于28 ℃培养箱中培养20 h后观察孢子萌发情况，计算孢子萌发率。以芽管长度超过孢子长度的一半作为萌发标准。
1.2.4 拮抗菌株的鉴定
将活化好的拮抗菌株菌落划线接种在NA培养基平板上，放入28 ℃培养箱中培养2 d后，观察菌落特征，并进行革兰氏染色和芽孢染色观察形态特征[7]。参照《常见细菌系统鉴定手册》[7]的方法测定拮抗细菌的生理生化特征。试剂盒提取菌株总DNA，保存于-20 ℃备用。参考并利用Chun等[8]的引物扩增gyrA基因。PCR反应体系：Dream Taq Green PCR MasterMix(2×)25 μL，引物各2 μL，DNA模板2 μL，加ddH2O至50 μL。反应条件：95 ℃预变性3 min；95 ℃ 35 s，62 ℃ 1 min，72 ℃ 2 min，重复30次；72 ℃ 10 min。gyrB基因引物为UP1和UP2r[9]。除引物不同外，PCR反应体系中各成分的量和反应条件与gyrA基因序列扩增试验相同。
PCR扩增完成后，取PCR产物在10 g·L-1琼脂糖凝胶中电泳(150 V、100 mA、20 min)检测产物的特异性并委托上海生工测序。将测得的菌株序列在NCBI上进行BLAST比对，确定菌株的分类地位，同时下载NCBI中与参试菌株序列相似性高的序列用Mega 5软件进行同源性分析，构建系统发育树。
1.2.5 YZ14-3大田防治桑根腐病效果
在广西自治区横县石塘镇选择树龄为4~6年的桑园作为试验田，试验田随机设置3个小区，每小区65~70棵桑树。施用生防菌剂前，先调查记录好各小区的病死桑树。将YZ14-3培养液9 L(4.8×108 CFU·mL-1)兑水18 L后均匀浇灌于各小区桑树根部土壤。试验期限为2014年4月至2015年5月，前5个月，每月施用培养液2次，其后每月施用1次。对照用等量的清水代替YZ14-3培养液。最后1次施药1个月后，调查各处理小区及对照的病死株数，参照赖传雅的方法[10]并稍作改进计算防治效果:
防治效果=[(对照区校正病死率-处理区校正病死率)/对照区校正病死率]×100%，
校正病死率=用药后病死率-用药前病死率。
2. 结果与分析
2.1 拮抗菌株分离及拮抗效果测定
从采集的45份土样中分离到菌落形态有明显差异的菌株22个，经筛选得到对L. theobromae有显著抑制效果的8个菌株，其中菌株YZ14-3的抑菌效果最好(图 1)。YZ14-3菌落与L. theobromae对峙培养时，抑菌圈半径为12 mm，对L. theobromae的生长抑制率为73.3%。因此，选定菌株YZ14-3进行后续试验。研究发现，菌株YZ14-3的培养液能显著抑制L. theobromae的生长，抑菌圈半径为8 mm，抑制率为55.6%。观察发现抑菌圈外缘的L. theobromae菌丝变黑(图 1)，挑取变黑的菌丝在显微镜下观察，发现菌丝膨大、畸形、易断裂(图 2)。
![图 1 菌株YZ14-3对Lasiodiplodia theobromae菌丝生长的抑制效果]()
图 1 菌株YZ14-3对Lasiodiplodia theobromae菌丝生长的抑制效果A：YZ14-3菌落的抑菌效果；C：YZ14-3培养液的抑菌效果；B和D分别为A和C的对照。Figure 1. Inhibitory effect of YZ14-3 on myceliium growth of Lasiodiplodia theobromae![图 2 菌株YZ14-3对Lasiodiplodia theobromae菌丝形态的影响]()
图 2 菌株YZ14-3对Lasiodiplodia theobromae菌丝形态的影响A：膨大、畸形的L.theobromae菌丝; B：正常的L.theobromae菌丝。Figure 2. Effect of YZ14-3 on mycelium morphology of Lasiodiplodia theobromae2.2 菌株YZ14-3培养液对L. theobromae孢子萌发的影响
采用载玻片孢子萌发法测定了YZ14-3培养液对L. theobromae分生孢子萌发的影响，培养20 h后，在显微镜下观察孢子的萌发情况。每个视野随机观测500个孢子，观察3个视野，共1 500个孢子。观察发现，L. theobromae分生孢子在YZ14-3的培养液中不能萌发且YZ14-3的培养液能降解L. theobromae分生孢子的细胞壁，使分生孢子解体。
2.3 菌株YZ14-3的鉴定
2.3.1 形态特征
菌株YZ14-3在NA培养基的主要培养特征(图 3A)如下：菌落乳白色，边缘不整齐，表面有皱褶，隆起不透明，菌落干爽无光泽；液体静止培养时形成乳白色菌膜。显微镜下观察发现，YZ14-3革兰氏染色阳性，呈紫色(图 3B)，菌体短杆状，直或略弯，菌体单个或呈短链状排列，芽孢顶生或生于菌体中部(图 3C)。根据形态特征，初步鉴定YZ14-3为芽孢杆菌Bacillus sp.。
![图 3 YZ14-3的形态特征]()
图 3 YZ14-3的形态特征A：菌落形态；B：革兰染色；C：芽孢染色。Figure 3. Morphological characteristics of YZ14-32.3.2 生理生化特性
本研究测定了YZ14-3的部分生理生化特征(表 1)。将本文测定结果与已发表的B. amyloliquefaciens相关菌株生理生化特征测定结果[11-12]相比较，并参考《常见细菌系统鉴定手册》[7]，YZ14-3被初步鉴定为解淀粉芽孢杆菌Bacillus amyloliquefaciens。
表 1 菌株YZ14-3的生理生化特性1)Table 1. Physiological and biochemical characteristics of YZ14-3
2.3.3 gyrA和gyrB序列分析鉴定
菌株YZ14-3的gyrA基因扩增后，获得1个长度为1 013 bp的片段。PCR产物纯化、测序后，将该基因序列在NCBI上进行BLAST相似性分析，比对结果表明，YZ14-3的gyrA序列与GenBank中的B. amyloliquefaciens的gyrA序列相似性均高于98%。从GenBank中下载与YZ14-3的gyrA序列相似性较高的B. amyloliquefaciens gyrA序列11个、B. subtilis序列8个、B. licheniformis序列6个，以大肠埃希菌Escherichia coli菌株的gyrA序列(登录号：DQ447131)为外群构建系统发育树(图 4A)。由系统发育树可知，YZ14-3与11株B. amyloliquefaciens聚在一群，并与其他菌株分离，表明YZ14-3与B. amyloliquefaciens具有很高的遗传相似性。
![图 4 基于gyrA和gyrB基因序列的YZ14-3系统发育树]()
图 4 基于gyrA和gyrB基因序列的YZ14-3系统发育树Figure 4. Phylogenetic tree of YZ14-3 based on gyrA and gyrB gene sequencs菌株YZ14-3的gyrB基因扩增后，获得1个长度为1 243 bp的片段。PCR产物纯化、测序后，将该基因序列在NCBI上进行BLAST相似性分析，结果发现，YZ14-3的gyrB序列与GenBank中的B. amyloliquefaciens的gyrB序列相似性均高于99%。下载GenBank中与YZ14-3的gyrB序列相似性较高的7个B. amyloliquefaciens菌株序列、7个B. subtilis序列、3个B. licheniformis序列、3个B. thuringiensis序列，以E.coli菌株的gyrB序列(登录号：AB083949)为外群构建系统发育树(图 4B)。由系统发育树可知，YZ14-3与7株B. amyloliquefaciens聚在一群，并与7株B. subtilis分离，表明YZ14-3与B. amyloliquefaciens的遗传相似性很高。
由gyrA和gyrB序列构建的系统发育树可鉴定菌株YZ14-3为B. amyloliquefaciens。
2.3.4 菌株YZ14-3的田间防治效果
施用YZ14-3培养液前后各调查1次桑树病死情况，施用YZ14-3培养液用药前和用药后桑树病死率分别为14.44%和18.89%，用药后的桑树病死率显著地低于对照的(29.44%)。生防菌剂处理的校正病死率约为4.45%，显著高于对照的校正病死率13.88%。由生防菌剂处理和对照的校正病死率得YZ14-3的田间防治效果为67.94%。
3. 讨论与结论
B. amyloliquefaciens与B. subtilis亲缘性很高，能分泌一系列抑制真菌、细菌、病毒和支原体生长发育的抗菌脂肽[13]。王奕文等[14]从甜瓜果实表面分离到1株B. amyloliquefaciens，该菌株对灰葡萄孢Botrytis cinerea、链格孢Alternaria sp.、尖孢镰刀菌Fusarium. oxysporum等病原真菌的拮抗作用显著。陈妍等[15]从土壤中分离出1株对棉花黄萎病菌Verticillium dahliae有良好拮抗作用的B. amyloliquefaciens菌株。陈成等[16]从土壤中分离到1株B. amyloliquefaciens，其对黑曲霉Aspergillus niger、稻瘟病菌Magnaporthe oryzae和水稻纹枯病菌Rhizoctonia solani等植物病原真菌有很强的抑制作用。B. amyloliquefaciens菌株DFE16及其发酵液不仅能抑制病菌生长，而且能诱导油菜对黑胫病产生抗性[17]。B. amyloliquefaciens的发酵液对油茶炭疽病具有很强的抑制作用，进一步研究发现发酵液中的抑菌物质为脂肽，该物质能使病菌菌丝畸形[18]。B. amyloliquefaciens分泌的胞外非蛋白类物质能有效抑制鱼腥藻的生长[19]。枯草芽孢杆菌不同种群在植物病害的生物防治中有广泛的应用，其作用机制主要有竞争、抗生、溶菌等[20]。本研究从健康桑树的根际土壤中分离出1株B. amyloliquefaciens YZ14-3，其对桑根腐病菌L. theobromae的抑制效果显著，YZ14-3的无菌培养液能完全抑制病菌分生孢子的萌发，降解分生孢子的细胞壁，从而使孢子解体，说明YZ14-3的培养液中含有溶菌物质。溶菌作用是B. amyloliquefaciens菌株YZ14-3抑制病原菌生长的一种机制。田间防治试验结果表明，YZ14-3的生防效果较显著达67.94%，具有一定的应用前景。本研究结果为菌株YZ14-3在桑根腐病生物防治中的应用奠定了基础。
16S rDNA/RNA基因序列被广泛应用于细菌鉴定或研究细菌的系统进化关系，但由于16S rDNA/RNA基因序列过于保守，在亲缘关系很近的分类类群间，由于序列间的相似度太高而无法区分近缘种[21]。Wang等[22]研究认为16S rDNA/RNA基因序列不能有效区分枯草芽孢杆菌的菌株，而gyrA和gyrB基因序列可以用于枯草芽孢杆菌的鉴定。gyrA和gyrB基因的分子进化速率比16S rDNA/RNA基因大，可以弥补16S rDNA/RNA基因的不足[22-23]。菌株SWB16的16S rRNA序列与B. subtilis、B. amyloliquefaciens、B. licheniformis和贝莱斯芽孢杆菌B. velezensis有99%的相似性，但利用gyrA序列构建的系统发育树显示SWB16与B. amyloliquefaciens聚为一群[24]。本文利用gyrA和gyrB基因序列构建了系统发育树，2株系统发育树均能将B. amyloliquefaciens与B. subtilis及其他芽孢杆菌近缘种区分开。目前，gyrA和gyrB基因已经应用到许多细菌近缘种的鉴别中，如枯草芽孢杆菌组(B. subtilis group)[21, 25-26]、假单孢菌属Pseudomonas[27]、气单孢菌属Aeromonas[28]、分枝杆菌属Mycobacterium[29]等。
-
![]()
图 2 增强后的奶牛图像
a：原始图像；b：水平翻转；c：垂直翻转；d：顺时针旋转45º；e：逆时针旋转45º；f：灰度化
Figure 2. Enhanced cow image
a: Original picture; b: Flip horizontal; c: Flip vertical; d: Clockwise rotation of 45º; e: Counterclockwise rotation of 45º; f: Gray picture
![]()
图 6 改进前后Mask-R-CNN模型试验结果对比
a1~a4为原始模型，b1~b4为改进模型
Figure 6. Comparison of experimental results before and after improvement of Mask R-CNN model
a1−a4 are the original models, b1−b4 are the improved models
![]()
图 7 IoU boundary loss对Mask loss的影响
Figure 7. The influence of IoU boundary loss on Mask loss
表 1 改进前后Mask R-CNN模型各项评价指标对比
Table 1 Comparison of evaluation indexes for Mask R-CNN model before and after improvement
模型 Model AP/% IoUMask/% 原始模型 Original model 96.72 85.42 改进模型 Improved model 100 91.34 
下载: 导出CSV
表 2 结构优化前后Mask R-CNN模型评价指标对比
Table 2 Comparison of evaluation indexes for Mask R-CNN model before and after structural optimization
模型 AP/% IoUMask/% 原始模型
Original model96.72 85.42 结构优化后的模型
Model after structural optimization100 87.51
下载: 导出CSV
表 3 损失函数优化前后Mask R-CNN模型IoUMask对比
Table 3 Comparison of IoUMask for Mask R-CNN model before and after loss function optimization
模型 Model IoUMask/% 原始模型 Original model 85.42 加入IoU boundary loss后的模型
Model added with IoU boundary loss87.84
下载: 导出CSV
-
[1] 郑国生, 施正香, 滕光辉. 基于不同行为时间的奶牛健康状况评价[J]. 农业工程学报, 2019, 35(19): 238-244. doi: 10.11975/j.issn.1002-6819.2019.19.029 [2] 何东健, 刘冬, 赵凯旋. 精准畜牧业中动物信息智能感知与行为检测研究进展[J]. 农业机械学报, 2016, 47(5): 231-244. doi: 10.6041/j.issn.1000-1298.2016.05.032 [3] 刘杰鑫, 姜波, 何东健, 等. 基于高斯混合模型与CNN的奶牛个体识别方法研究[J]. 计算机应用与软件, 2018, 35(10): 159-164. [4] 张满囤, 单新媛, 于洋, 等. 基于小波变换和改进KPCA的奶牛个体识别研究[J]. 浙江农业学报, 2017, 29(12): 2000-2008. doi: 10.3969/j.issn.1004-1524.2017.12.07 [5] 刘忠超, 翟天嵩, 何东健. 精准养殖中奶牛个体信息监测研究现状及进展[J]. 黑龙江畜牧兽医, 2019(13): 30-33. [6] 汪开英, 赵晓洋, 何勇. 畜禽行为及生理信息的无损监测技术研究进展[J]. 农业工程学报, 2017, 33(20): 197-209. doi: 10.11975/j.issn.1002-6819.2017.20.025 [7] 孙雨坤, 王玉洁, 霍鹏举, 等. 奶牛个体识别方法及其应用研究进展[J]. 中国农业大学学报, 2019, 24(12): 62-70. [8] 陈娟娟, 刘财兴, 高月芳, 等. 基于改进特征袋模型的奶牛识别算法[J]. 计算机应用, 2016, 36(8): 2346-2351. doi: 10.11772/j.issn.1001-9081.2016.08.2346 [9] 张满囤, 米娜, 于洋, 等. 基于特征融合的奶牛个体识别[J]. 江苏农业科学, 2018, 46(24): 278-281. [10] 杨阿庆, 薛月菊, 黄华盛, 等. 基于全卷积网络的哺乳母猪图像分割[J]. 农业工程学报, 2017, 33(23): 219-225. doi: 10.11975/j.issn.1002-6819.2017.23.028 [11] 蔡骋, 宋肖肖, 何进荣. 基于计算机视觉的牛脸轮廓提取算法及实现[J]. 农业工程学报, 2017, 33(11): 171-177. doi: 10.11975/j.issn.1002-6819.2017.11.022 [12] 赵凯旋, 何东健. 基于卷积神经网络的奶牛个体身份识别方法[J]. 农业工程学报, 2015, 31(5): 181-187. doi: 10.3969/j.issn.1002-6819.2015.05.026 [13] 王毅恒, 许德章. 基于YOLOv3算法的农场环境下奶牛目标识别[J]. 广东石油化工学院学报, 2019, 29(4): 31-35. doi: 10.3969/j.issn.2095-2562.2019.04.007 [14] HE K, GKIOXARI G, DOLLAR P, et al. Mask R-CNN[J]. IEEE T Pattern Anal, 2017(99): 1.
[15] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE T Pattern Anal, 2017, 39(6): 1137-1149. doi: 10.1109/TPAMI.2016.2577031
[16] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE T Pattern Anal, 2020, 42(8): 2011-2023.
[17] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]. IEEE. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas: IEEE Computer Society, 2016.
[18] LUO Z, MISHRA A, ACHKAR A, et al. Non-local deep features for salient object detection[C]. IEEE. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Hawaii: IEEE Computer Society, 2017.
[19] LIU F, LIU P Y, LI B, et al. Deep learning model design of video target tracking based on TensorFlow platform[J]. Laser & Optoelectronics Progress, 2017, 54(9): 091501.
[20] SUN X D, WU P C, HOI S C H. Face detection using deep learning: An improved faster RCNN approach[J]. Neurocomputing, 2018, 299: 42-50. doi: 10.1016/j.neucom.2018.03.030
[21] HUANG Z J, HUANG L C, GONG Y C, et al. Mask scoring R-CNN[C]. IEEE. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Los Angeles: IEEE Computer Society, 2019.
