基于跨模态共享特征学习的夜间牛脸识别方法

    许兴时, 王云飞, 邓红兴, 宋怀波

    许兴时, 王云飞, 邓红兴, 等. 基于跨模态共享特征学习的夜间牛脸识别方法[J]. 华南农业大学学报, 2024, 45(5): 793-801. DOI: 10.7671/j.issn.1001-411X.202403020
    引用本文: 许兴时, 王云飞, 邓红兴, 等. 基于跨模态共享特征学习的夜间牛脸识别方法[J]. 华南农业大学学报, 2024, 45(5): 793-801. DOI: 10.7671/j.issn.1001-411X.202403020
    XU Xingshi, WANG Yunfei, DENG Hongxing, et al. Nighttime cattle face recognition based on cross-modal shared feature learning[J]. Journal of South China Agricultural University, 2024, 45(5): 793-801. DOI: 10.7671/j.issn.1001-411X.202403020
    Citation: XU Xingshi, WANG Yunfei, DENG Hongxing, et al. Nighttime cattle face recognition based on cross-modal shared feature learning[J]. Journal of South China Agricultural University, 2024, 45(5): 793-801. DOI: 10.7671/j.issn.1001-411X.202403020

    基于跨模态共享特征学习的夜间牛脸识别方法

    基金项目: 国家重点研发计划(2023YFD1301800);国家自然科学基金(32272931);陕西省农业重点核心技术项目(2023NYGG005);陕西省科技创新引导计划(2022QFY11-02)
    详细信息
      作者简介:

      许兴时,硕士研究生,主要从事模式识别研究,E-mail: xingshixu@nwafu.edu.cn

      通讯作者:

      宋怀波,教授,博士,主要从事精准养殖研究,E-mail: songhuaibo@nwsuaf.edu.cn

    • 中图分类号: TP391.4;S823

    Nighttime cattle face recognition based on cross-modal shared feature learning

    • 摘要:
      目的 

      解决夜间环境下牛只身份信息难以有效识别的问题,以期为牛只全天候监测提供技术基础。

      方法 

      提出了一种基于跨模态共享特征学习的夜间牛脸识别方法。首先,模型框架采用浅层双流结构,有效提取不同模态的牛脸图像中的共享特征信息;其次,引入Triplet注意力机制,跨维度地捕捉交互信息,以增强牛只身份信息的提取;最后,通过嵌入扩展模块进一步挖掘跨模态身份信息的表征。

      结果 

      本文提出的夜间牛脸识别模型在测试集上的平均精度均值、一阶累积匹配特征值(CMC-1)和五阶累积匹配特征值(CMC-5)分别为90.68%、94.73%和97.82%,相较于未进行跨模态训练的模型,提高了19.67、18.91和12.00个百分点。

      结论 

      本研究所提出的模型为夜间牛只身份识别问题提供了可靠的解决方案,为实现牛只全天候持续监测奠定了坚实的技术基础。

      Abstract:
      Objective 

      To address the challenge of effectively recognizing cattle identity in the nighttime, and lay the technical foundation for 24-hour monitoring of cattle.

      Method 

      A nighttime cattle face recognition method based on cross-modal shared feature learning was proposed. The model framework adopted a shallow dual-stream structure to effectively extract shared feature information from different modalities of cattle face images. Additionally, a triplet attention mechanism was introduced to capture intermodal interaction information across dimensions, enhancing the extraction of cattle identity information. Finally, an embedded extension module was utilized to further explore the representation of cross-modal identity information.

      Result 

      The nighttime cattle face recognition model proposed in this article achieved a mean average precision, the first order cumulative matching eigenvalue (CMC-1) and the fifth order cumulative matching eigenvalue (CMC-5) of 90.68%, 94.73% and 97.82% on the test set, respectively. Compared to the model without cross-modality training, the three indexes improved by 19.67, 18.91 and 12.00 percentage points, respectively.

      Conclusion 

      The proposed method provides a reliable solution for nighttime cattle identity recognition, laying a solid technical foundation for the application of continuous 24-hour monitoring of cattle.

    • 保鲜环境温湿度调控是延长果蔬保鲜周期的有效方式之一[1-2]。然而,温度超调量过大可能会导致冷害[3],环境湿度过高会加速微生物生长[4],保鲜环境参数波动震荡也会影响果蔬保鲜效果[5]。因而,提高保鲜环境控制系统的控制性能对于保障果蔬储运品质有重要作用。我们前期开发了基于双限值的果蔬保鲜控制系统,该系统能实时调控保鲜环境参数,但存在环境参数超调量大、波动严重、抗干扰能力不强等问题。因此,有必要开展果蔬保鲜环境参数调控策略优化试验,提高系统控制性能。

      国内外学者对环境参数的调控进行了一系列研究,王广海等[6]以双限值作为系统控制算法,控制系统温度、相对湿度、氧气和二氧化碳等环境参数。虽然双限值控制逻辑简单,但存在超调量大、环境参数频繁波动等问题[7]。Barros 等[8]设计了基于比例−积分−微分(Proportional-integral-derivative,PID)控制器的温度加热系统。传统PID控制结构易于实现,在工业中最为常用[9],然而传统PID需要人为调整控制器参数,缺少自适应能力,鲁棒性较低[10],难以实现环境参数的高质量控制。赵鑫鑫[11]设计了车厢温度模糊规则,应用于冷藏车箱温度控制。相较于传统PID,超调量有所降低,但仍存在自适应能力弱、抗干扰能力较差等问题。近年来,人工智能算法发展迅速,许多学者对自适应控制技术进行了研究。Aftab等[12]提出采用基于Lyapunov函数的人工神经网络对PID控制器的比例、积分和微分项进行在线整定,相较于传统PID取得较好的跟踪效果,但系统的每个控制参数都需使用一个独立的神经网路,计算量大且复杂。Salcedo等[13]设计了一种结合Smith预估器的状态反馈控制器,其控制性能和精度高于传统PID控制器,但需要建立控制对象动态行为的数学模型,该模型缺乏自适应能力,控制环境或对象发生变化时,控制精度将大幅下降。Silveira等[14]设计了LPPT控制算法用于制冷系统,通过2个具有自适应能力的非零开关量,实现降低系统能耗的同时具备较强的抗干扰能力,但与传统PID相比该系统温度有明显波动,稳态误差较大,无法保持恒定。

      目前,针对果蔬保鲜环境参数智能调控方面研究较少,大多数冷藏、冷冻等控制系统仍采用传统双限值和PID控制技术[15]。因此,本文将根据传统果蔬保鲜环境控制系统超调量大、控制精度低、波动严重、鲁棒性差等现状,结合神经网络和PID控制,设计一种基于BP神经网络-PID(Back-propagation neural network-PID,BPNN-PID)的控制策略,使PID控制器具备自学习、自适应能力,确保果蔬保鲜环境控制系统在运行过程中处于优化状态,从而提高系统控制性能,为果蔬保鲜环境参数调控的实际应用提供一定参考。

      图1所示,果蔬保鲜环境调控试验平台[6]由制冷系统、加湿系统和控制系统3个部分组成。制冷系统主要由变频器(型号为SC-650,由河南尚川电子科技有限公司生产)、变频压缩机(型号为DTH356LDPC9FQ,由上海日立电器有限公司生产)、直流蒸发风机(额定电压24 V、额定电流8 A)、冷凝风机(额定电压220 V,额定电流0.42 A)和制冷管路组成。果蔬保鲜环境控制系统通过变频器调节变频器压缩机工作频率改变压缩机的转速,再利用直流蒸发风机带动气流,穿过蒸发盘管形成冷空气,经开孔隔板(开孔率16.11%)[16]均匀流入保鲜室,降低货物温度后从回风道返回,实现果蔬保鲜环境温度控制。

      图  1  果蔬保鲜运输车箱体结构示意图
      1:冷凝器;2:冷凝风机;3:蒸发风机;4:回风道;5:保鲜室;6: 传感器盒;7:货物;8:支撑架;9:气流轨道;10:排水管;11:三通接头;12:积水槽;13:温度传感器;14:超声波雾化器;15:开孔隔板;16:加湿风机;17:蒸发器;18:补水箱;19:排水阀;20:变频器;21:变频压缩机;22:制冷管路;23:压力室;24:控制器;25:触摸屏;26:电子计算机
      Figure  1.  Schematic diagram of the box structure of the transport vehicle for fruit and vegetable fresh-keeping
      1: Condenser; 2: Condensing fan; 3: Evaporating fan; 4: Return air duct; 5: Keep-freshing room; 6: Sensor box; 7: Cargo; 8: Support frame; 9: Air flow track; 10: Drain pipe; 11: Tee connector; 12: Standing water tank; 13: Temperature sensor; 14: Ultrasonic atomizer; 15: Open partition; 16: Humidifying fan; 17: Evaporator; 18: Water replenishment tank; 19: Drain valve; 20: Inverter; 21: Inverter compressor; 22: Refrigeration line; 23: Pressure chamber; 24: Controller; 25: Touch screen; 26: Electronic computer

      加湿系统主要由水槽、超声波雾化器(额定电压24 V、额定电流1 A)和加湿风机(额定电压24 V、额定电流0.55 A)组成。超声波雾化器置于液面下2~3 cm处,将液态水雾化形成微小雾粒,通过加湿风机吹进保鲜区,提高保鲜区环境相对湿度。

      控制系统总体结构如图2所示,该系统以Cortex-M3架构的STM32F103C8T6微处理器为核心,配合数据采集模块、执行机构、触摸屏、PC电子计算机、电路保护装置等对果蔬保鲜环境进行控制。

      图  2  果蔬保鲜环境控制系统结构框架图
      Figure  2.  Structural framework diagram of the environmental control system for fruit and vegetable fresh-keeping

      本研究将设计一款基于STM32F103C8T6的果蔬保鲜环境调控系统,该系统微处理器工作频率最高为72 MHz, 内置高达128 K字节的Flash存储器和20 K字节的SRAM, 具备足够的通用I/O端口[17],满足系统开发需求。

      电源电路如图3所示,考虑到本系统的运行环境复杂,信息通讯频繁且运行时间长等一系列问题,电路设计需降低干扰源、阻断耦合以及提高敏感设备的阈值。系统器件需要的电压等级分别为24.0、5.0和3.3 V,其中24.0 V由外部开关电源提供,隔离5.0 V电源电路采用DC-DC电源隔离模块B0505S-1WR2,为系统提供信号电源,3.3 V的电源采用AMS1117-3.3电压转换芯片。

      图  3  果蔬保鲜环境控制系统的电源电路
      Figure  3.  Power supply circuit of the environmental control system for fruit and vegetable fresh-keeping

      控制器局域网总线(Controller area network,CAN)驱动电路如图4所示,ISO1050是一款将隔离通道和CAN收发器集成在一个封装内的隔离型CAN总线收发器。与隔离式电源一起使用,可防止数据总线或者其他电路上的噪音电流进入本地接地而产生的干扰或损坏敏感电路。为抵消电信号的反射,CAN总线输出两端增加了1个120 Ω的终端电阻。

      图  4  CAN总线驱动电路
      Figure  4.  CAN bus driver circuit

      RS485的通信电路如图5所示,MCU根据Modbus-RTU通讯协议,通过RS485收发器与从机进行异步通讯。SP3485芯片是3.3 V 低功耗半双工的收发器,将其RO及DI引脚分别与USART的RX和TX引脚相连,将RE和DE引脚直接用普通IO口来控制数据传输方向,采用轮询发送和中断接收的数据传输方式。A与B之间接120 Ω电阻避免信号发射问题。

      图  5  RS485接口电路
      Figure  5.  RS485 interface circuit

      中间继电器驱动电路如图6所示,当NPN型三极管导通时,继电器吸合,并联在继电器两端的发光二极管被点亮,表明继电器正在工作。与线圈并联的续流二极管可以吸收线圈断电时产生的感应电动势,防止晶体管被击穿。继电器输出端串联1个保险丝,当电路出现温度异常时可以迅速切断电路。

      图  6  中间继电器驱动电路
      Figure  6.  Intermediate relay drive circuit

      数据采集模块由温度传感器(型号:TH600NXC,供电:10~30 V,精度:±0.3 ℃,范围:−40~80 ℃,通讯方式:RS485)、相对湿度传感器(型号:TH600NXT,供电:10~30 V,精度:±3%,范围:0%~100%,通讯方式:RS485)组成。各传感器单独作为1个节点接入RS485总线,微处理器利用Modbus-RTU通讯协议定时采集数据,数据经过微处理器解析后得到实时的保鲜室环境参数。

      果蔬保鲜控制系统软件设计主要由硬件驱动程序、数据采集及处理模块、控制算法程序、历史数据存储模块和触摸屏驱动程序5个部分组成。

      硬件驱动程序使控制系统及各执行器正常运行;数据采集及处理模块对箱内传感器信号进行采集和处理;控制算法程序将数学模型转换为机器语言,实现对果蔬保鲜环境参数的自动控制;历史数据存储模块使处理器将采集并处理后的环境数据以txt文件格式保存于SD卡中,方便用户后期对果蔬保鲜环境数据进行分析;触摸屏驱动程序使用户通过人机交互页面对果蔬保鲜系统下达控制指令、设置控制参数,并实时显示箱内环境参数。配合BPNN-PID控制算法得到基于BPNN-PID的果蔬保鲜环境控制策略,系统运行程序流程如图7所示。

      图  7  基于BPNN-PID的果蔬保鲜环境控制策略
      Figure  7.  Environmental control strategy of fruit and vegetable fresh-keeping based on BPNN-PID

      常规PID控制系统,由PID控制器和被控对象组成[18]。PID控制器是一种线性控制器,它根据给定值r(k)与被控对象输出值y(k)构成控制偏差e(k),通过对系统当前状态的监测和反馈,实现对系统行为的控制。

      $$ e\left( k \right) = r\left( k \right) - y\left( k \right) ,$$ (1)

      式中:k为采样序号;r(k) 为系统期望值;y(k) 为系统实际值;e(k) 为系统偏差。

      PID控制算法的核心是3个参数:比例、积分和微分系数,它们分别控制着系统的响应速度、稳定性和抗干扰性能。其中,比例环节反应了控制系统的偏差信号e(k),偏差一旦产生,控制器立即反应,以减小偏差。积分环节主要用于消除静态误差,提高系统的误差度。微分环节主要反映偏差信号的变化趋势,并在偏差信号值过大之前,在系统中引用一个有效的早期修正信号,从而减小系统震荡。常规PID控制又分为位置式PID与增量式PID,两者的表达式分别为[19]

      $$ u(k) = {K_{\rm{P}}}e(k) + {K_{\rm{I}}}\displaystyle\sum\limits_{k = 0}^k {e(k) + {K_{\rm{D}}}[e(k) - e(k - 1)]} ,$$ (2)
      $$ \Delta u(k) ={K_{\rm{P}}}[e(k) - e(k - 1)] + {K_{\rm{I}}}e(k)+ $$
      $$ {K_{\rm{D}}}[e(k) - 2e(k - 1) + e(k - 2)] ,$$ (3)

      式中:u(k)为第k次采样时刻的计算机输出值;KP 为比例系数;KI为积分系数;KD为微分系数。

      由位置式PID表达式可知,控制器每次输出都与过去的状态有关,导致计算机运算量过大。如MCU出现故障,输出会大幅度变化,这种情况在实际生产中是不允许的。而增量式PID只与过去2次的状态有关,大大增加了系统的容错率,因此本系统选择增量式PID作为控制器的基础。

      常规的果蔬保鲜环境温度PID控制器无法根据被控对象等因素自适应调整控制参数,在PID控制器的基础上增加BP神经网络,构成一个具有自适应能力的果蔬保鲜环境温度BPNN-PID控制器,如图8所示。

      图  8  果蔬保鲜环境温度BPNN-PID控制器
      C:外部偏置常量;r(k) :系统期望值;y(k) :系统实际值;e(k) :系统偏差;u(k):计算机输出值;KP:比例系数;KI :积分系数;KD:微分系数
      Figure  8.  Ambient temperature BPNN-PID controller for fruit and vegetable fresh-keeping
      C: External bias constant; r(k): System expected value; y(k): Actual value of the system; e(k): System deviation; u(k):Computer output; KP: Proportional coefficient; KI: Integration coefficient; KD: Differential coefficient

      本文设计的果蔬保鲜环境控制系统的BP神经网络输入层由目标温度、实际温度、温度误差和外部偏置常量共4个神经元组成[20],由于控制参数的取值范围为0~1,并根据前期试验进行调试,确定当外部偏置常量C=1时控制效果最好。输出层由比例、积分、微分系数组成,共3个神经元,再经过调试后确定隐藏层一共5个神经元,最终建立的BP神经网络结构如图9所示。

      图  9  BP神经网络结构
      x1:目标温度;x2:实际温度;x3:温度误差;x4:外部偏置常量;l:输入层神经元序号;m隐含层神经元序号;n:输出层神经元序号;KP :比例系数;KI:积分系数;KD:微分系数
      Figure  9.  BP neural network structure
      x1: Target temperature; x2: Actual temperature; x3: Temperature error; x4: External bias constant; l: Input layer neuron number; m: Hidden layer neuron number; n: Output layer neuron number; KP: Proportional coefficient; KI: Integration coefficient; KD: Differential coefficient

      1)误差正向传播:根据图9所示的神经网络结构图可得,输入层的输出$O_l^{(1)} $

      $$ O_{l}^{(1)}=x_{l}, \;l=1,2,3,4 \; ,$$ (4)

      式中:l为输入层神经元序号;xl为输入层第l个输入。

      隐含层的输入和输出分别为

      $$ \left\{\begin{array}{l}{\rm{n e t}}_m^{(2)}(k)=\displaystyle\sum_{l=0}^4 w_{l m}^{(2)} O_l^{(1)} \\ O_m^{(2)}(k)=f\left[ { {\rm{net}} }_m^{(2)}(k)\right]\end{array}, \;m=1,2,3,4,5\; ,\right. $$ (5)

      式中:m为隐含层神经元序号;${\rm{net}}_m^{(2)} $为隐含层第m个神经元输入;${w_{lm}^{(2)}}$为隐含层权值系数;$O_m^{(2)} $为隐含层第m个神经元输出。

      输出层的输入和输出分别为

      $$ \left\{\begin{array}{l}{\rm{n e t}}_n^{(3)}(k)=\displaystyle\sum_{m=0}^5 w_{m n}^{(3)} O_m^{(2)} \\ O_n^{(3)}(k)=g\left[{\rm{n e t}}_n^{(3)}(k)\right]\end{array},\;n=1,2,3\right. ,$$ (6)

      式中:n为输出层神经元序号;${\rm{net}}_n^{(3)} $为输出层第n个神经元输入;${w_{mn}^{(3)}}$为输出层权值系数;$O_n^{(3)} $为输出层第n个神经元输出。

      隐含层的激活函数$ f(x) $采用正负对称的Sigmoid函数,输出层激活函数$ g(x) $采用非负的Sigmoid函数。

      $$ f(x)=\dfrac{{\text{e}}^{x}-{\text{e}}^{-x}}{{\text{e}}^{x}+{\text{e}}^{-x}}\text{,}g(x)=\dfrac{1}{1+{\text{e}}^{-x}} 。$$ (7)

      2)误差反向传播:本系统设计所用的神经网络的输出性能指标函数为

      $$ E(k)=\dfrac{1}{2}\left[r(k)-y(k)\right]^{2}。 $$ (8)

      引入学习效率η和惯性系数α,根据式(4)~(8)通过梯度下降法,得到输出层和隐藏层的权重更新和误差项,经调试取η=0.1,α=0.25,系统控制效果最佳。

      $$ \left\{\begin{array}{l}\Delta w_{m n}^{(3)}(k)=0.1 \Delta w_{m n}^{(3)}(k-1)+0.25 \delta_n^{(3)} O_n^{(2)}(k) \\ \delta_n^{(3)}=\operatorname{sgn}\left[\dfrac{\partial \operatorname{yout}(k)}{\partial u(k)}\right] e(k) \dfrac{\partial u(k)}{\partial O_l^{(3)}(k)} g^{\prime}\left[{\rm{n e t}}_n^{(3)}(k)\right]\end{array}\right., $$ (9)

      式中:$ \delta_{n}^{(3)} $为输出层神经元误差项。

      $$ \left\{\begin{array}{l}\Delta w_{l m}^{(2)}(k)=0.1 \Delta w_{l m}^{(2)}(k-1)+0.25 \delta_m^{(2)} O_l^{(1)}(k) \\ \delta_m^{(2)}=f^{\prime}\left[{\rm{n e t}}_m^{(2)}(k)\right] \displaystyle\sum_{n=1}^3 \delta_n^{(3)} w_{m n}^{(3)}(k)\end{array}\right., $$ (10)

      式中:$ \delta_{m}^{(2)} $为隐藏层神经元误差项。

      由于$\dfrac{\partial {\rm{y o u t}}(k)}{\partial u(k)}$无法直接计算,用$\operatorname{sgn}\left[\dfrac{\partial {\rm{yout}}(k)}{\partial u(k)}\right]$代替[21]。以上为果蔬保鲜环境BPNN训练1次的全部过程。

      研究发现,果蔬保鲜环境温度与相对湿度存在较强的耦合关系[22],且环境温度对厚表皮类果蔬品质的影响更为明显[23]。因此本研究在温度控制方面采用BPNN-PID控制算法,实现对温度的精准控制;湿度方面搭配双限值控制算法,组成BPNN-PID控制策略,可满足果蔬保鲜的基本环境要求。

      本研究通过自主搭建的果蔬保鲜系统,采用常规PID和BPNN-PID 2种不同控制策略进行果蔬保鲜试验,分析果蔬保鲜系统在不同控制策略下环境参数的超调量、稳定时间和稳态误差。根据试凑法[24]确定常规PID控制器控制参数KP=0.8、KI=0.75、KD=0.5,果蔬保鲜环境BPNN-PID控制系统的隐含层、输出层的初始权重均为−0.5~0.5的随机值,根据前期试验,学习率η=0.1、惯性系数α=0.25时控制性能最优。

      试验材料采用赣南脐橙,总质量40 kg,购于水果批发市场,果实新鲜,无病虫害,无机械损伤。脐橙采用塑料筐装放,塑料筐呈网状结构,尺寸规格(长×宽×高)为600 mm×425 mm×350 mm。脐橙以每框20 kg装箱,共2框放置保鲜室,外界环境温度(26±1) ℃,保鲜室初始温度(26±1) ℃,据相关文献[25],脐橙适宜的保鲜参数为:温度为6 ℃,相对湿度为80%~90%。因此设置果蔬保鲜环境目标温度为6 ℃、目标湿度为80%~90%。为分析果蔬保鲜系统在不同控制策略下的抗干扰能力,在实载试验中,待果蔬保鲜系统运行稳定(240 min)后,对系统施加干扰(模拟实际取货时打开箱门5 min),每5 min记录1次数据,运行时间为6 h。

      试验完成后计算系统的超调量、稳态误差和稳定时间。超调量计算公式如下:

      $$ \sigma = {T_{{\rm{max}}}}(t) - {T_{{\rm{out}}}}(\infty ) ,$$ (11)

      稳态误差计算公式如下:

      $$ {e_{{\rm{ss}}}} = {T_{{\rm{out}}}}(t) - {T_{{\rm{out}}}}(\infty ) ,$$ (12)

      稳定时间评判公式如下:

      $$ \dfrac{{|{T_{{\rm{out}}}}(t) - {T_{{\rm{out}}}}(\infty )|}}{{|{T_{{\rm{out}}}}(0 + ) - {T_{{\rm{out}}}}(\infty )|}} \leqslant \Delta ,$$ (13)

      式中:σ为超调量;ess为稳态误差;Tmax(t)为环境参数最大值;Tout(t)为环境参数瞬态值;Tout(0+)为环境参数初始值;Tout(∞)为环境参数稳态值;Δ为稳定时间评判系数,取2%[26]

      空载状态下,果蔬保鲜环境系统采用常规PID控制策略的控制响应曲线如图10所示,环境温度的超调量为3.5 ℃、稳定时间为100 min、稳态误差为±0.2 ℃;相对湿度的超调量为9.5%、稳定时间为100 min。

      图  10  基于常规PID控制策略的空载保鲜环境参数变化曲线
      Figure  10.  Variation curve of no-load fresh-keeping environment parameters based on conventional PID control strategy

      从该试验结果可以看出,以STM32F103C8T6微处理器为核心的控制系统利用RS485通讯方式可实时采集箱内环境参数;利用CAN总线可实时调节变频压缩机频率从而控制系统制冷量;通过继电器驱动电路控制环境相对湿度。系统按照设定的控制流程执行,实现了果蔬保鲜环境参数的自动控制。因此,本文设计的控制系统软硬件满足果蔬保鲜要求。

      空载状态下,果蔬保鲜环境系统采用BPNN-PID控制策略的控制响应曲线如图1112所示,果蔬保鲜环境系统在运行过程中通过自学习、自适应能力动态调整控制参数,最终收敛于KP=0.588,KI=0.666,KD=0.617,环境温度的超调量为2.5 ℃、稳定时间为70 min、稳态误差为±0.1 ℃;相对湿度的超调量为4.3%、稳定时间为70 min。

      图  11  基于BPNN-PID控制策略的空载保鲜环境参数变化曲线
      Figure  11.  Variation curve of no-load fresh-keeping environment parameters based on BPNN-PID control strategy

      空载试验中,与常规PID控制策略相比,基于BPNN-PID控制策略的果蔬保鲜系统环境温度超调量减小了1 ℃、稳态误差减小了0.1 ℃、稳定时间缩短了30 min;环境相对湿度超调量减小了5.2%、稳定时间缩短了30 min。由此可知,采用BPNN-PID控制策略的果蔬保鲜系统控制性能均有明显提升。

      图  12  空载状态下的控制参数变化曲线
      Figure  12.  Variation curves of no-load control parameters

      图13可知,实载状态下,果蔬保鲜环境温度控制采用常规PID控制算法,相对湿度控制采用双限值控制算法时,温度的超调量为3.8 ℃、稳定时间为105 min、稳态误差为±0.5 ℃;相对湿度的超调量为5%、稳定时间为80 min。

      图  13  基于常规PID控制策略的实载保鲜环境参数变化曲线
      Figure  13.  Variation curves of real-load fresh-keeping environment parameters based on conventional PID control strategy

      与双限值控制策略相比,温、湿度控制精度有所提高,温、湿度波动减小,但仍存在超调量较大、稳定时间慢等问题。针对干扰,箱内环境温、湿度经过105 min的上下波动才重新恢复稳定。因此常规PID控制策略缺少动态调节能力,存在抗干扰能力不强、适应性较弱等缺陷,系统控制性能仍有提升空间。

      图1415可知,实载状态下,果蔬保鲜环境温度控制采用BPNN-PID控制算法,相对湿度控制采用双限值控制算法时,果蔬保鲜环境系统控制参数最终收敛于KP=0.717,KI=0.682,KD=0.656,温度超调量为1.7 ℃,稳定时间为80 min,稳态误差为±0.2 ℃,相对湿度超调量为2.8%、稳定时间为55 min。

      图  14  基于BPNN-PID控制策略的实载保鲜环境参数变化曲线
      Figure  14.  Variation curves of real-load fresh-keeping environment parameters based on BPNN-PID control strategy
      图  15  实载状态下的控制参数变化曲线
      Figure  15.  Variation curves of real-load control parameters

      实载试验中,与常规PID控制策略相比,基于BPNN-PID控制策略的果蔬保鲜系统环境温度超调量减小了2.1 ℃、稳态误差减小了0.3 ℃、稳定时间缩短了25 min;环境相对湿度超调量减小了2.2%、稳定时间缩短了25 min。BPNN-PID控制策略在超调量、稳定时间、稳态误差和控制精度等方面都有了较大的提升。针对干扰,BPNN-PID控制策略有效地抑制了保鲜室内环境参数的剧烈波动,经过80 min的动态调节后,最终收敛于目标参数。因此BPNN-PID控制策略的抗干扰能力更强、鲁棒性优异、自适应性好,具有良好的动态调节能力,其控制性能明显优于常规PID控制策略的,能够更有效地完成果蔬保鲜环境的控制工作。

      本研究根据果蔬保鲜运输的温、湿度控制要求,以STM32为核心处理器,设计了果蔬保鲜环境控制系统硬件和软件,并通过试验对比常规PID和BPNN-PID 2种控制策略的环境参数调控效果,研究结果对于果蔬保鲜环境参数调控有重要意义。经研究获得以下结论:

      1)所开发的控制系统能准确采集保鲜室各环境参数,并根据控制策略准确控制相应的执行机构,实现保鲜环境参数的实时控制。

      2)基于BPNN-PID控制策略的果蔬保鲜环境控制系统具有响应速度快、超调量小、控制精度高、抗干扰能力强等优点,系统控制性能明显提升。

      3)保鲜环境温、湿度调控过程中,温度和相对湿度具有较强的耦合关系,其中温度占主导地位,相对湿度的波动趋势与温度基本一致,随着系统温度控制性能的提高,相对湿度的控制性能有了明显的改善。

      值得注意的是,加湿器性能、果蔬生理特性、堆码方式等因素也可能会对研究结果产生一定的影响,这些因素将在后续研究中进行探讨。

    • 图  1   数据集中的部分图像样本

      Figure  1.   Partial image samples in dataset

      图  2   夜间牛脸识别模型

      嵌入空间中圆形和五边形色块分别表示原始嵌入和扩展嵌入,虚线和实线色块分别表示RGB图像和IR图像的嵌入,色块的不同颜色表示不同身份的牛只个体

      Figure  2.   Night cattle face recognition model

      In the embedded space, circles and pentagons represent the original and extended embeddings respectively, dashed and solid color blocks represent the embeddings of RGB images and IR images respectively, different colors of the color blocks represent individual cattles of different identities

      图  3   Triplet注意力原理

      Figure  3.   Triplet attention schematic

      图  4   Triplet注意力结构

      Figure  4.   Triplet attention architecture

      图  5   嵌入扩展模块

      $ {\boldsymbol{f}} $代表原始的嵌入特征,$ {\boldsymbol{f}}_ + ^i $代表第i个分支生成的扩展嵌入特征,$ \theta _{3 \times 3}^n( \cdot ) $代表扩张率为n的3×3空洞卷积,$ {{{F}}_{{\mathrm{ReLU}}}}( \cdot ) $代表非线性激活函数,$ {\delta _{1 \times 1}}( \cdot ) $代表1×1卷积

      Figure  5.   Embedding expansion module

      $ {\boldsymbol{f}} $ represents the original embedded features, $ {\boldsymbol{f}}_ + ^i $ represents the extended embedded features generated by the i-th branch, $ \theta _{3 \times 3}^n( \cdot ) $ represents a 3×3 dilated convolution with a dilation rate of n, $ {{F}_{{\mathrm{ReLU}}}}( \cdot ) $ represents a nonlinear activation function, and $ {\delta _{1 \times 1}}( \cdot ) $ represents a 1×1 convolution

      图  6   训练过程参数变化曲线

      Figure  6.   Change curve of parameter in training process

      表  1   RGB-IR跨模态牛脸识别数据集具体细节

      Table  1   Overview of RGB-IR cross-modal cattle face recognition dataset

      数据集
      Dataset
      牛只数量
      Number of cattles
      RGB图像数量
      Number of RGB images
      IR图像数量
      Number of IR images
      图像总数量
      Total number of images
      训练集 Training set 60 2570 2002 4572
      测试集 Test set 32 1362 1085 2447
      下载: 导出CSV

      表  2   ResNet模型结构

      Table  2   Model structure of ResNet

      阶段
      Stage
      操作
      Operation
      重复次数
      Stack number
      1 Conv, 7×7, 64, stride 2
      Max pool, 3×3, stride 2
      1
      2 Conv, 1×1, 64
      Conv, 3×3, 64
      Conv, 1×1, 256
      3
      3 Conv, 1×1, 128
      Conv, 3×3, 128
      Conv, 1×1, 128
      4
      4 Conv, 1×1, 256
      Conv, 3×3, 256
      Conv, 1×1, 1024
      6
      5 Conv, 1×1, 512
      Conv, 3×3, 512
      Conv, 1×1, 2048
      3
      下载: 导出CSV

      表  3   跨模态训练效果对比试验结果1)

      Table  3   Comparative experimental result of cross-modal training effect

      模型 Model mAP/% CMC-1/% CMC-5/%
      未进行跨模态训练的模型 Model without cross-modal training 71.01 75.82 85.82
      提出的模型 Proposed model 90.68 94.73 97.82
       1) mAP:平均精度均值;CMC-1:一阶累积匹配特征值;CMC-5:五阶累积匹配特征值
       1) mAP: Mean average precision; CMC-1: Cumulative match characteristic at rank 1; CMC-5:Cumulative match characteristic at rank 5
      下载: 导出CSV

      表  4   各个模型消融试验结果1)

      Table  4   Result of ablation experiment for each model

      模型结构
      Model structure
      Triplet注意力机制
      Triplet attention
      mechanism
      嵌入扩展模块
      Embedding extension
      modules
      mAP/% CMC-1/% CMC-5/% Parameters/M FLOPs/G
      单流
      Single-stream
      77.23 84.55 91.64 9.18 4.73
      81.13 86.91 92.36 9.24 4.75
      79.00 85.09 92.36 9.18 4.73
      81.42 87.09 92.91 9.24 4.75
      全双流
      Full dual-stream
      80.73 88.73 94.00 9.18 4.73
      84.88 87.45 95.09 9.24 4.75
      82.75 89.27 93.64 9.18 4.73
      87.96 91.64 96.17 9.24 4.75
      浅层双流
      Shallow dual-stream
      81.86 89.45 94.73 9.18 4.73
      89.60 92.00 95.09 9.24 4.75
      86.19 89.64 96.55 9.18 4.73
      90.68 94.73 97.82 9.24 4.75
       1) mAP:平均精度均值;CMC-1:一阶累积匹配特征值;CMC-5:五阶累积匹配特征值;Parameters:参数量;FLOPs:浮点运算量
       1) mAP: Mean average precision; CMC-1: Cumulative match characteristic at rank 1; CMC-5:Cumulative match characteristic at rank 5; Parameters: Number of parameters; FLOPs: Floating point operations
      下载: 导出CSV
    • [1] 熊安然, 熊本海, 蒋林树. 奶牛数字化养殖技术研究进展[J]. 中国乳业, 2020, 11: 29-32.
      [2] 杨亮, 王辉, 陈睿鹏, 等. 畜禽个体身份标识技术发展进程与展望[J]. 猪业科学, 2023, 40(9): 24-27. doi: 10.3969/j.issn.1673-5358.2023.09.005
      [3]

      KAUR A, KUMAR M, JINDAL M K. Cattle identification with muzzle pattern using computer vision technology: A critical review and prospective[J]. Soft Computing, 2022, 26(10): 4771-4795. doi: 10.1007/s00500-022-06935-x

      [4] 许兴时, 王云飞, 华志新, 等. 融合YOLOv5s与通道剪枝算法的奶牛轻量化个体识别方法[J]. 农业工程学报, 2023, 39(15): 152-162. doi: 10.11975/j.issn.1002-6819.202303122
      [5]

      LI R, WEN Y, ZHANG S, et al. Automated measurement of beef cattle body size via key point detection and monocular depth estimation[J]. Expert Systems with Applications, 2024, 244: 123042. doi: 10.1016/j.eswa.2023.123042

      [6]

      XU X, WANG Y, SHANG Y, et al. Few-shot cow identification via meta-learning[J]. Information Processing in Agriculture, 2024, 4: 1-11.

      [7] 王政, 宋怀波, 王云飞, 等. 奶牛运动行为智能监测研究进展与技术趋势[J]. 智慧农业, 2022, 4(2): 36-52. doi: 10.12133/j.smartag.SA202203011
      [8]

      HOSSAIN M, KABIR M, ZHENG L, et al. A systematic review of machine learning techniques for cattle identification: Datasets, methods and future directions[J]. Artificial Intelligence in Agriculture, 2022, 6: 138-155. doi: 10.1016/j.aiia.2022.09.002

      [9]

      MAHMUD M, ZAHID A, DAS A, et al. A systematic literature review on deep learning applications for precision cattle farming[J]. Computers and Electronics in Agriculture, 2021, 187: 106313. doi: 10.1016/j.compag.2021.106313

      [10]

      QIAO Y, KONG H, CLARK C, et al. Intelligent perception for cattle monitoring: A review for cattle identification, body condition score evaluation, and weight estimation[J]. Computers and Electronics in Agriculture, 2021, 185: 106143. doi: 10.1016/j.compag.2021.106143

      [11]

      HUANG X, HU Z, QIAO Y, et al. Deep learning-based cow tail detection and tracking for precision livestock farming[J]. IEEE/ASME Transactions on Mechatronics, 2023, 28(3): 1213-1221. doi: 10.1109/TMECH.2022.3175377

      [12]

      FERREIRA R, BRESOLIN T, ROSA G, et al. Using dorsal surface for individual identification of dairy calves through 3D deep learning algorithms[J]. Computers and Electronics in Agriculture, 2022, 201: 107272. doi: 10.1016/j.compag.2022.107272

      [13]

      WENG Z, MENG F, LIU S, et al. Cattle face recognition based on a two-branch convolutional neural network[J]. Computers and Electronics in Agriculture, 2022, 196: 106871. doi: 10.1016/j.compag.2022.106871

      [14]

      LU Y, WENG Z, ZHENG Z, et al. Algorithm for cattle identification based on locating key area[J]. Expert Systems with Applications, 2023, 228: 120365. doi: 10.1016/j.eswa.2023.120365

      [15]

      XU B, WANG W, GUO L, et al. CattleFaceNet: A cattle face identification approach based on RetinaFace and ArcFace loss[J]. Computers and Electronics in Agriculture, 2022, 193: 106675. doi: 10.1016/j.compag.2021.106675

      [16]

      BAKHSHAYESHI I, ERFANI E, TAGHIKHAH F, et al. An intelligence cattle reidentification system over transport by siamese neural networks and YOLO[J]. IEEE Internet of Things Journal, 2024, 11(2): 2351-2363. doi: 10.1109/JIOT.2023.3294944

      [17]

      YANG L, XU X, ZHAO J, et al. Fusion of RetinaFace and improved FaceNet for individual cow identification in natural scenes[J/OL]. Information Processing in Agriculture, (2023-09-02) [2024-05-01]. https://doi.org/10.1016/j.inpa.2023.09.001.

      [18]

      SENGER P L. The estrus detection problem: New concepts, technologies, and possibilities[J]. Journal of Dairy Science, 1994, 77(9): 2745-2753. doi: 10.3168/jds.S0022-0302(94)77217-9

      [19]

      WANG Z, HUA Z, WEN Y, et al. E-YOLO: Recognition of estrus cow based on improved YOLOv8n model[J]. Expert Systems with Applications, 2024, 238: 122212. doi: 10.1016/j.eswa.2023.122212

      [20]

      CASEY T, PLAUT K. Circadian clocks and their integration with metabolic and reproductive systems: Our current understanding and its application to the management of dairy cows[J]. Journal of Animal Science, 2022, 100(10): 233.

      [21]

      HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016: 770-778.

      [22]

      MISRA D, NALAMADA T, ARASANIPALAI A U, et al. Rotate to attend: Convolutional triplet attention module[C]//2021 IEEE Winter Conference on Applications of Computer Vision. Waikoloa, HI, USA: IEEE, 2021: 3139-3148.

      [23]

      ZHANG Y, WANG H. Diverse embedding expansion network and low-light cross-modality benchmark for visible-infrared person re-identification[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver, Canada: IEEE, 2023: 2153-2162.

      [24]

      WANG Y, XU X, WANG Z, et al. ShuffleNet-Triplet: A lightweight RE-identification network for dairy cows in natural scenes[J]. Computers and Electronics in Agriculture, 2023, 205: 107632. doi: 10.1016/j.compag.2023.107632

    • 期刊类型引用(5)

      1. 高旻. 视频分析技术在港口交通流量监控中的应用. 电视技术. 2025(01): 223-225 . 百度学术
      2. 陈钇果. 基于FPGA架构的人工智能加速器设计与实现. 软件. 2025(01): 59-61 . 百度学术
      3. 沃英达. 基于深度学习算法的激光散斑音频信号提取与增强. 电声技术. 2025(02): 52-54+77 . 百度学术
      4. 蓝壮青. 基于欠定盲源分离的双路音频信号噪声自适应分离. 现代电子技术. 2024(24): 68-72 . 百度学术
      5. 吴源源. 基于机器学习的音频信号处理系统设计. 电声技术. 2024(11): 182-184 . 百度学术

      其他类型引用(0)

    图(6)  /  表(4)
    计量
    • 文章访问数:  0
    • HTML全文浏览量:  0
    • PDF下载量:  0
    • 被引次数: 5
    出版历程
    • 收稿日期:  2024-05-09
    • 网络出版日期:  2024-06-26
    • 发布日期:  2024-07-14
    • 刊出日期:  2024-08-07

    目录

    /

    返回文章
    返回