Detection method of citrus in nighttime environment combined with active light source and improved YOLOv5s model
-
摘要:目的
解决夜间环境下遮挡和较小柑橘难以准确识别的问题，实现采摘机器人全天候智能化作业。
方法提出一种结合主动光源的夜间柑橘识别方法。首先，通过分析主动光源下颜色特征不同的夜间柑橘图像，选择最佳的光源色并进行图像采集。然后，提出一种夜间柑橘检测模型BI-YOLOv5s，该模型采用双向特征金字塔网络(Bi-FPN)进行多尺度交叉连接和加权特征融合，提高对遮挡和较小果实的识别能力；引入Coordinate attention (CA)注意力机制模块，进一步加强对目标位置信息的提取；采用融入Transformer结构的C3TR模块，在减少计算量的同时更好地提取全局信息。
结果本文提出的BI-YOLOv5s模型在测试集上的精准率、召回率、平均准确率分别为93.4%、92.2%和97.1%，相比YOLOv5s模型分别提升了3.2、1.5和2.3个百分点。在所采用的光源色环境下，模型对夜间柑橘识别的正确率为95.3%，相比白光环境下提高了10.4个百分点。
结论本文提出的方法对夜间环境下遮挡和小目标柑橘的识别具有较高的准确性，可为夜间果蔬智能化采摘的视觉精准识别提供技术支持。
Abstract:ObjectiveTo solve the problems of occlusion and difficult identification of small citrus in the nighttime environment and redlize the all-weather intelligent operation of picking robots.
MethodA nighttime citrus identification method combined with active light sources was proposed in this paper. Firstly, the best illuminant color was selected by analyzing nighttime citrus images with different color features under active light sources. Then, a nighttime citrus detection model named BI-YOLOv5s was proposed with bi-directional feature pyramid network (Bi-FPN) for multi-scale cross connection and weighted feature fusion to improve the detection performance of occlusion and small citruses. The coordinate attention (CA) module with attention mechanism was introduced to further strengthen the extraction of target location information. Meanwhile, the C3TR module integrated with a Transformer structure was adopted to reduce the computing amount and better extract global information.
ResultThe precision, recall and average precision of the citrus detection using the BI-YOLOv5s on test set were 93.4%, 92.2% and 97.1%, respectively, with 3.2, 1.5 and 2.3 percent higher than the YOLOv5s, respectively. Moreover, the identification accuracy of the proposed model with an active light source for nighttime citrus was 95.3%, with 10.4 percent higher than the model in the white light environment.
ConclusionThe proposed method in this paper has high accuracy for the identification of occlusion and small target citrus in the nighttime environment, and it can provide technical support for nighttime visual identification of intelligent picking of fruits and vegetables.
-
玉米Zea mays L.作为我国三大主要粮食作物之一，具有种植成本低、周期短、收益快的优势，保证玉米作物的高质量生产是保障国家粮食安全、促进农民增收以及农业经济发展的有效措施[1]。 然而，在玉米生长过程中面临着多种挑战，包括玉米生长状况监测、病虫害预测和防治等问题。因此，高效、准确、快速、及时地获取玉米作物的生长信息对玉米生长监测和管理具有重要意义。地上部生物量和叶面积指数(Leaf area index，LAI)是反映作物生长状况的重要农艺参数，且二者间存在密切的联系。在玉米不同的生长发育阶段，由于作物冠层结构、叶片形态以及生理生态特征的变化，作物冠层在图像中表现出的光谱特征亦有不同[2, 3]。目前，测量作物LAI主要包括地面采样以及遥感与地面测量结合这2种方法，其中，遥感与地面测量结合的方法更为精确，可用于验证遥感结果的准确性[4]。广泛应用于作物长势监测研究的光谱植被指数法为玉米监测提供了有效的工具。植被指数(Vegetation index，VI)是利用2个或多个波段的反射率经过线性或非线性组合运算增强植被信息，以削弱环境背景对植被光谱特征的干扰，如归一化植被指数(Normalized difference vegetation index, NDVI)、增强植被指数(Enhanced vegetation index, EVI)和差值植被指数(Difference vegetation index, DVI)等。目前，光谱植被指数法已经作为一种快速获取地表信息的手段，被国内外学者用于作物长势监测研究[5]。杨贵军等[6]通过无人机搭载多传感器，实现了对作物产量、LAI、冠层温度等多种信息的监测。邵国敏等[7]基于无人机获取多光谱数据，在水分胁迫条件下，植被指数的随机森林回归模型可以较好地估算LAI，决定系数(R2)在0.74~0.87之间，表明使用随机森林回归算法估算多种灌溉条件下的夏玉米LAI是可行的。张瑾[8]基于无人机多光谱遥感数据和采用支持向量机构建了LAI估测模型，模型的R2可达到0.701；并通过粒子群算法进行模型优化，优化后模型的R2提高至0.822，均方根误差(RMSE)为0.267，证明粒子群算法可以有效地提高模型的预测精度。孙诗睿等[9]基于无人机多光谱影像，通过对比不同植被指数建模方法分析了冬小麦叶面积指数的反演精度，发现基于多植被指数的随机森林算法预测具有更好的拟合效果。鲸鱼优化算法(Whale optimization algorithm ，WOA)以其高效的参数优化能力和出色的全局搜索能力而闻名，能够更好地优化数据模型以适应玉米监测需求。此外，WOA具有自适应性，可以自动调整搜索策略，从而提高模型的鲁棒性。He等[10]为了研究土壤湿度对玉米产量的影响，将WOA与正弦混沌图相结合，并与支持向量机(Support vector machine, SVM)结合使用，结果显示，SVM-WOA相对于SVM在60 cm深度的平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和平均偏差(MBE)方面分别提高了14.0%、13.0%、41.5%和14.0%，表明经过WOA算法优化后的模型可以更好地为智能农业和精准灌溉提供指导。将WOA算法应用于无人机遥感预测农业数据领域方面的研究鲜见报道，为进一步提高多光谱数据处理和植被指数计算的准确性，本研究对WOA算法进行优化，通过多光谱遥感无人机获取玉米作物冠层多光谱信息构建植被指数，研究植被指数与玉米LAI之间的定量关系；并对筛选出的植被指数分别使用多元线性回归、SVM、随机森林回归算法(Random Forest, RF)和基于WOA优化的随机森林算法(WOA-RF)构建玉米LAI预测模型，选择最优模型以提高玉米LAI的预测精度，为玉米监测和农田管理提供指导和数据参考。
1. 材料与方法
1.1 试验材料
本试验在广东省广州市增城区华南农业大学教学科研基地(113°40′E，23°24′N )展开研究，如图1所示，a为华南农业大学科研基地，b为本次试验的试验田，试验地海拔约为20 m，属于亚热带气候，温暖湿润，适合种植多种作物。玉米品种为‘华珍’甜玉米，播种日期为2022年8月15日，玉米的种植密度相同；播种前施入适量的基础肥料，拔节期和抽雄期追施氮肥。将试验田分为6个等份区域，每个区域标记3株玉米并实测玉米叶面积。田间玉米群体采集系统主要有计算机(配套软硬件)、大疆精灵4多光谱版一体化无人机(Phantom4-M，P4M)、电池若干、漫反射标准参照板(MFB99-16-16)以及活体叶面积测量仪(YMJ-D)。所用软件有ENVI、Pix4Dmapper、ArcMap、SPSS以及Matlab。
1.2 无人机影像获取
图2中，a为无人机航线，图中红色点为拍摄点；b为图像拍摄所在位置和角度,每次航拍作业可获取1 800张原始多光谱影像。采用P4M获取试验区域多光谱影像数据，该设备集成1个可见光传感器通道和5个多光谱传感器通道(蓝光、绿光、红光、红边和近红外)，每次拍摄可以获得6张分辨率为208万像素的影像，最高飞行速度14 m/s，最大续航时间27 min，搭配有TimeSync时间同步系统，可获得厘米级定位精度。此外，P4M顶部集成光强传感器可捕捉太阳辐照度数据，用于影像的光照补偿，以排除环境光对数据的干扰，提高不同时段采集数据的准确度与一致性。北京时间上午10:30—11:30期间拍摄。飞行高度设置为30 m，航向、旁向重叠率分别设置为70%和80%，在保持光源稳定、无风的情况下，获取图像序列。
1.3 图像处理
1.3.1 多光谱影像预处理
利用漫反射标准参照板对无人机拍摄的原始多光谱影像进行辐射标定。通过漫反射标准参照板反射比数据获取各个波段的波长，计算参照板反射率，获取同一时期、相同条件下的多光谱影像，共同完成辐射校正[11]。在Envi软件中，对多光谱无人机拍摄的一组参照板影像进行勾选，通过已知参照板的反射率，对多光谱5个波段进行校正，可以获得多光谱影像的各个反射率影像，从而得到试验区域内被校正后垂直于地面的多光谱影像。在Envi软件中将影像叠加为多波段后，查看典型植被的反射率，以检验校正后数据是否正常。辐射校正可以有效地减少地形变形[12]、投影偏移[13]等问题，以便得到更真实的试验数据。
1.3.2 影像拼接与光谱信息提取
将矫正后的影像导入Pix4Dmapper软件中进行拼接，得到完整的试验区多光谱影像。将拼接后的多光谱反射率影像导入Arcgis软件中，设置正确的图像投影，确定坐标系统与影像坐标系统一致。选择WSG_1984坐标系建立Shp图层，勾画研究区内多光谱反射率影像[14]，分成6个待提取小区的范围，规划小区1作为验证区，其余5个小区作为训练区(图3)。使用Envi软件中Band Math功能，通过选择多光谱影像中的5个波段，分别计算它们的反射率，获得各区域植物光谱信息。在此基础上，计算出各小区平均反射率，作为每个区域的光谱反射率，从而求得各植被指数。
1.4 地面实测数据获取
为了研究试验区内玉米植株LAI变化情况，本试验使用了活体叶面积测量仪。手持扫描仪器在试验区内扫描测量了玉米植株地上部所有叶片的叶面积，将这些测量结果相加得到叶面积总和。这一步骤旨在获取试验区内玉米植株的实际叶面积数据，为后续的分析和研究提供重要数据支持。通过使用活体叶面积测量仪，可以准确地获取玉米植株的叶面积信息，进而对其生长状态和生理特征进行详细分析。
1.5 植被指数的选取
多光谱影像是一种常用的监测和评估玉米生长状况的工具，其包含红(R)、绿(G)、蓝(B)、红边(RE)和近红外(NIR)5个光谱通道，通过计算多种植被指数来反映玉米的生长状态。为了确定最适合的植被指数，在玉米不同生长阶段选择了10种植被指数，并对其进行了比较和分析。通过对比不同植被指数的表现，最终选取了最相关的NDVI[15]、NDRE、EVI和 CIG (Chlorophyll Index Green)[16]4种光谱指数，以确保获得最准确的玉米生长状况数据。本试验使用的10个植被指数计算公式如下：
$$ {\text{NDVI = (NIR} - \text{Red) / (NIR + Red),}} $$ (1) $$ {\text{NDRE = (NIR} - \text{RE) / (NIR + RE),}} $$ (2) $$ {\text{PVI = (Red} - \text{Green) / (Red + Green),}} $$ (3) $$ {\text{GNDVI = (NIR} - \text{Green) / (NIR + Green),}} $$ (4) $$ \text{SAVI = (NIR} - \text{Red) / (NIR + Red + 0}\text{.5) × 1}\text{.5}\text{，} $$ (5) $$ \text{OSAVI = (NIR} - \text{Red) / (NIR + Red + 0}\text{.16) × 1}\text{.16}\text{，} $$ (6) $$ \begin{split} \text{EVI} = & 2\text{.5 × [(NIR} - \text{Red) / (NIR + 6 × Red }-\\ & 7\text{.5 × Blue + 1)]}\text{，} \end{split} $$ (7) $$ {\text{CIG = NIR / Green} - \text{1}}， $$ (8) $$ \text{RDVI = (NIR} - \text{Red) / (NIR + Red)}\text{，} $$ (9) $$ \text{TSAVI = 1}\text{.5 × (NIR} - \text{Red) / (NIR + Red + 0}\text{.5)}\text{，} $$ (10) 式中，NIR、Red、RE、Green、Blue分别表示近红外波段、红色波段、红边波段、绿色波段、蓝色波段的反射率。
1.6 模型构建与精度验证
采用3种不同的算法构建玉米LAI反演模型。多元线性逐步回归(Stepwise LR)方法用于优选植被指数和玉米LAI反演模型，通过筛选自变量以构建准确预测模型[17]。SVM用于评估其在LAI反演模型中的适用性，是一种统计学习算法，可用于分类和回归问题[18]。RF分析玉米LAI反演模型基于决策树的集成学习思想，通过随机特征选择和多数投票等策略构建强大的分类模型[19]。对比分析选出最优预测模型后，使用WOA优化，得到最终预测模型。
1.6.1 WOA优化
WOA作为本试验的模型优化算法，是一种自然启发式算法，灵感来自于鲸鱼捕食行为。它通过模拟鲸鱼群体的行为来寻找最优解。WOA的核心是维护一群鲸鱼，这些鲸鱼在搜索空间中游动，并根据其位置和适应度函数值来调整自己的位置。WOA通过迭代的方式搜索超参数空间，尝试不同的超参数组合。使用一群鲸鱼(空间中的候选超参数)来共同寻找最佳解[20]。
WOA在优化过程中，会尝试不同的超参数组合，不断迭代以寻找更好的超参数值。这个过程会一直进行，直到达到预定的最大迭代次数或其他停止条件。返回最佳的超参数设置，这些参数将用于构建RF模型，以使模型在给定的数据上达到最佳性能。它可以自动选择超参数，不需要手动调整，从而提高了模型的效果。
如图4所示，首先，初始化所需的参数，包括种群数量(pop)、最大迭代次数(Max_iter)、超参数维度(dim)、上下边界(lb & ub)。通过WOA函数对RF回归模型的超参数进行优化，最终得到最佳的超参数。
1.6.2 模型验证
采用决定系数(R2)、RMSE和MAE这3种指标来检验和评价模型性能。R2衡量拟合度，越接近1表示模型拟合效果越好；RMSE衡量预测值与真实值差异，较小值表示较好的预测效果；MAE评估平均绝对差异，值越小表示预测效果越好。使用R2、RMSE和MAE这3种指标来检验和评价模型的拟合效果，判断模型是否适用于未来结果的预测。
2. 结果与分析
2.1 玉米叶面积的实测结果
试验时间为2022年9月10日至2022年11月9日，试验区玉米经历了拔节期、抽雄期、喇叭口期、穗期、乳熟期和成熟期共6个生长发育阶段。采集数据频率为每10 d采集1次，在研究区域内每个小区采集3株，共18株玉米叶面积样本，7次采集共得到126株玉米叶面积总样本。这些数据将用于分析玉米叶面积随生长发育阶段的变化情况，为研究玉米生长过程中叶面积的动态变化提供数据支持。在试验区域内采集的126株玉米叶面积样本，能够为后续的数据分析和模型建立提供充分的数据支持。
使用活体叶面积测量仪作为测量工具来测量叶面积，测量试验区内已标记的18株玉米地上部。首先，测量所有叶片的叶面积总和(S1)；然后，根据小区的行数(m)、行长(L)以及行间距(D)计算出小区的面积(S2)；最后，根据下式计算出每个小区对应的LAI：
$$ S_2=m \times L\times (L+D)， $$ (11) $$ {\mathrm{LAI}}=S_1/S_2。 $$ (12) 以上步骤将被重复执行6次，通过计算LAI来了解不同试验小区内玉米植株的生长情况，获得各个试验区内玉米植株LAI的变化趋势。6个试验区的平均LAI变化如图5所示。玉米生长周期可分为拔节期、抽雄期、喇叭口期、穗期、乳熟期和成熟期6个阶段。在拔节期，植株快速生长，叶片逐渐展开，导致LAI逐渐上升；随后进入抽雄期，生长速度依然较快，叶片覆盖面积继续增加，LAI持续上升；接着是喇叭口期，植株生长达到高峰，叶片面积达到最大值；随后进入穗期，虽然生长速度减缓，但LAI仍保持在较高水平；乳熟期中，植株生长停滞，穗开始成熟，叶片老化导致LAI略微下降；最终进入成熟期，植株生长停止，叶片逐渐凋落，LAI持续下降。
![]()
图 5 6个试验区玉米LAI变化图Figure 5. The variation chart of maize LAI in six experimental areas2.2 植被指数的筛选结果
通过从多光谱影像中提取的5个波段下的玉米冠层反射率值，可以计算出各植被指数，并将玉米LAI数据与相应的植被指数数据输入SPSS软件进行相关性分析。表1可知，不同生育时期玉米LAI与10个植被指数之间均存在正相关关系；通过分析对比，选择出4种高度相关的植被指数EVI、CIG、NDRE和NDVI，这4个植被指数与玉米LAI的相关系数分别为0.884、0.850、0.836和0.824，均达极显著的正相关(P < 0.01)。这4种植被指数对植被的不同生理和生态学特征具有敏感性，包括叶绿素含量、植被覆盖度和生长状态等。NDVI、NDRE和EVI都使用了红外波段的信息，植被在红外波段通常具有较高的反射率，而在可见光波段有较低的反射率，这使得这些指数能够更好地区分植被和非植被区域。所选植被指数能够更精确地估算玉米的LAI，并可作为构建玉米LAI估算模型的参数。
表 1 植被指数与叶面积指数相关性分析Table 1. Correlation analysis between vegetation index and leaf area index植被指数
Vegetation index皮尔逊相关系数
Pearson correlation coefficient显著性
Sig.EVI 0.884 0.001 CIG 0.850 0.001 NDRE 0.836 0.003 NDVI 0.824 0.002 SAVI 0.793 0.003 OSAVI 0.774 0.004 PVI 0.765 0.007 GNDVI 0.763 0.007 RDVI 0.643 0.010 TSAVI 0.571 0.012 将玉米LAI作为因变量y，4个植被指数NDVI、NDRE、EVI和CIG分别作为自变量x，通过SPSS软件进行一元线性回归分析。结果发现，不同生育时期的4个植被指数模型的R2分别为0.680、0.704、0.775、0.726，均大于0.6，表明模型的拟合度高，可用于预测玉米的生长状态和产量。其中， EVI与玉米LAI的相关性最好，R2 达到0.775，表明EVI能够更准确地反映玉米生长状态与LAI之间的关系。EVI综合了红外、近红外和蓝波段的反射率，并对大气干扰和土壤背景噪声具有一定的抵抗能力，可以更好地反映玉米生长期间的生长状态和LAI变化。
2.3 不同模型的预测结果
2.3.1 多元线性回归模型
根据逐步回归模型的分析，得到了最优的多元线性回归模型，用于预测LAI，结果见表2。由表2可见，植被指数EVI、CIG、NDVI和NDRE与LAI之间均存在显著相关(Sig. < 0.05)。另外，模型还进行了多重共线性的检验，结果显示这些植被指数之间的方差膨胀因子(VIF)均小于4，没有出现严重的多重共线性问题，可以用来构建玉米LAI的预测模型。在多元线性回归模型中，常量代表截距，表示当所有自变量(植被指数)为0时，因变量(LAI)的预期值。在表2中，常量B和Sig.分别表示截距项的回归系数和显著性水平，B和Sig.在模型中的作用是为LAI提供一个基准预测值，并检验这个基准值的统计置信度。线性回归模型在描述LAI与多光谱植被指数之间的关系方面表现出较高的拟合度(R2=0.873)和较小的均方根误差(RMSE=0.277)，表明该模型能够很好地描述LAI与多光谱植被指数之间的关系，并且对未知数据的预测能力较强。
表 2 多元线性回归模型最优植被指数1)Table 2. Optimal vegetation index for multiple linear regression model模型Model B Sig. VIF R2 RMSE 常量 Intercept −1.021 0.092 0.873 0.277 EVI 3.314 0.001 3.916 CIG 0.263 0.001 3.082 NDVI 3.308 0.007 2.828 NDRE 2.871 0.020 3.262 1) B：回归系数，Sig.：显著性水平，VIF：多重共线性检验中的方差膨胀因子
1) B：Regression coefficient, Sig.: Significance level, VIF: Variance inflation factor in multicollinearity test2.3.2 支持向量机(SVM)模型
采集了126株玉米样本，为保证模型的准确性，将其中的105株样本用于训练模型，剩下21株样本用于测试模型的精度。将读取的每株玉米叶面积数据和对应的植被指数数据作为输入，用SVM算法进行训练，预测玉米LAI。结果(表3和图6)表明，训练集数据R2 为0.895 5、RMSE为0.151 1、MAE为0.222 6，测试集数据R2为0.878 0、RMSE为0.182 1、MAE为0.236 5。表明该模型在解释训练集和测试集数据的变异性方面表现出很好的能力，同时也具有较小的平均误差，RMSE较小。SVM模型表现出良好性能，对训练数据的解释能力强，同时在未见过的测试数据上也表现出良好的预测能力，表明其在预测玉米LAI方面具有高性能和泛化能力。
表 3 不同模型性能指标对比Table 3. The comparison of performance metrics of various models模型 Model 样本 Sample R2 RMSE MAE 多元线性回归 MLR 0.873 2 0.277 5 0.193 2 SVM 训练集 Training set 0.895 5 0.222 6 0.151 1 测试集 Test set 0.878 0 0.236 5 0.182 1 RF 训练集 Training set 0.963 0 0.132 0 0.151 2 测试集 Test set 0.917 7 0.209 0 0.134 9 WOA-RF 训练集 Training set 0.966 8 0.125 0 0.124 3 测试集 Test set 0.940 8 0.128 7 0.134 5 ![]()
图 6 支持向量机模型训练集和测试集预测结果Figure 6. The predict results of training and test sets of the SVM model2.3.3 随机森林回归模型
原始数据集包含126个玉米样本的LAI以及与之相关的4个植被指数。为了确保随机性，将原始数据集按照8∶2的比例进行随机划分，得到训练数据集(100个样本)和预测数据集(26个样本)。训练数据集将用于训练回归模型，而预测数据集则用于验证模型的准确性。RF模型的超参数选择构成森林的决策树数量(ntree)和最小叶子节点数(Min_samples_leaf)，增加ntree值可以降低RF模型的误差，如果决策树的数量过多，计算时间会增加，导致模型的运行时间被浪费。因此，需要选择合适的ntree值进行优化，通过使用Matlab编程建立RF模型，并分别设定ntree值为100、200、300和400，分析不同ntree值时的拟合系数R2 (图7a)。图7a表明，当ntree为300时， R2最高，效果最好。分别设定最小叶子节点数为1、2、3、4、5和6，并使用Matlab中的4折交叉验证方法来评估不同最小叶子节点数下的模型性能，结果(图7b)表明，不同最小叶子节点数对应的R2值范围为0.8~0.9，且最小叶子节点数为4的R2最高，效果最好。通过对ntree和Min_samples_leaf进行调优，选择了ntree为300、Min_samples_leaf为4的超参数配置，建立了一个RF模型，该模型在数据集上表现最佳。
![]()
图 7 最佳决策树和最小叶子节点数的拟合系数(R 2)Figure 7. The fitting coefficients (R2) of the ntree and Min_samples_leaf确定模型的超参数后，在Matlab上进行回归分析。首先，导入数据，将数据划分为训练集和测试集。对数据进行归一化处理，以便更好地训练模型；然后，使用训练集数据训练模型，并使用测试集数据进行仿真测试。完成预测后，将预测结果反归一化为原始数据，通过计算RMSE和相关指标对模型进行评估。结果如表3和图8所示，RF模型训练集数据R2为0.9630、RMSE为0.1320、MAE为0.1512，测试集数据R2为0.9177、RMSE为0.2090、MAE为0.1349，该模型在训练集和测试集上都表现出较好的性能，具有较高的R2和较小的MAE和RMSE。表明该模型具有出色的数据拟合和准确的测试数据预测能力，能够很好地拟合训练数据，并在测试数据上有较准确的预测。
![]()
图 8 随机森林回归模型训练集和测试集的预测结果Figure 8. The predict results of training and testing sets of the random forest regression model2.3.4 WOA-RF优化算法
为了确保随机性，采用了8∶2的比例将原始数据集随机分成2部分，即训练数据集(包含100个样本)和预测数据集(包含26个样本)。通过WOA-RF优化算法寻找随机森林算法最佳的超参数，得到了最佳随机森林的决策树数量和最佳叶子节点的最小样本数。如表3和图9所示，WOA-RF模型训练集数据R2为0.966 8、RMSE为0.125 0、MAE为 0.1243，测试集数据R2为0.940 8、RMSE 为0.1287、MAE 为0.1345；该模型在训练集和测试集上都表现出色的性能，具有较高的R2以及较小的MAE和RMSE，表明模型能够很好地拟合训练数据，获得较准确的预测。
![]()
图 9 WOA-RF回归模型训练集和测试集的预测结果Figure 9. The predict results of training and testing sets of the WOA-RF model2.4 不同模型性能比较分析
由表3可知，多元线性回归模型(MLR)在描述LAI与多光谱植被指数之间的关系方面表现出较高的拟合度和较小的均方根误差，表明该模型能够很好地描述LAI与多光谱植被指数之间的关系，并且对未知数据的预测能力较强。SVM模型表现出良好性能，对训练数据的解释能力强，同时在未见过的测试数据上也表现出良好的预测能力，表明其在预测玉米LAI方面具有高性能和泛化能力。RF模型表现出出色的性能，拥有高的R2和低的MAE和RMSE，不论是在训练集还是测试集上，证明了其出色的数据拟合和准确的测试数据预测能力。
3. 讨论与结论
多元线性回归、SVM和RF这 3种回归模型都在不同程度表现出了良好的性能，但RF模型在训练和测试集上都表现出了更高的准确性，具有更强的泛化能力，因此被认为是最适合用于预测植被指数和与LAI之间关系的模型。通过WOA算法对RF模型进行优化，可得到更高效准确的预测模型，各评价指标均高于单一模型预测精度。R2提高了约2.31%，RMSE减小了约38.49%，MAE减小了约0.30%。在优化机器学习模型中，WOA算法可以用于调整模型参数，提高模型性能。如张伟萍等[21]等提出一种针对非平稳水声信号的改进WOA-VMD小波阈值去噪方法，利用WOA选取水声信号变分模态分解(VDM)的最佳参数组合，通过仿真试验和实测数据的降噪分析，证明了使用WOA优化算法后去噪性能优于其他方法。WOA优化算法在农业领域也逐渐热门起来，赵丙秀等[22]利用WOA对BP神经网络模型进行优化来预测马铃薯产量，结果表明WOA-BP神经网络模型精度明显高于BP神经网络模型。本文通过WOA算法对RF进行优化后，预测模型的性能得到了显著改善，WOA-RF模型比RF模型有更高的预测精度，更适合基于多光谱无人机对玉米LAI的预测研究。
目前，通过无人机多光谱对作物LAI进行预测的研究很多，但大多采用的是单一模型预测，本文通过多光谱遥感无人机获取玉米作物冠层多光谱信息以构建植被指数，研究植被指数与玉米LAI之间的定量关系，对筛选后的植被指数分别使用不同的机器学习方法构建LAI预测模型，对玉米LAI的预测精度进行预测研究。结果表明， WOA算法对表现最优的RF模型进行优化后，各评价指标均高于单一模型预测精度，优化后的模型R2为0.9408、MAE为0.1345、RMSE为0.1287，预测精度可以满足玉米生产的实际需要，为农业种植管理和决策提供有益参考。然而，许多因素会对无人机多光谱在玉米LAI反演中的准确度产生影响，包括季节和生长阶段、波段选择、辐射定标和大气校正、数据处理算法等。本研究数据采集仅覆盖了拔节期至抽雄期，未考虑喇叭口期和穗期的变化，可能影响模型的泛化能力。因此，在将这一技术推广至其他地区或不同种植条件时，必须考虑外部因素对模型性能的潜在影响。
-
![]()
图 2 Bi-FPN网络结构
C3~C7表示网络的层数；$ {{P}}_{{i}}^{\text{in}} $表示输入层，$ {{P}}_{{i}}^{\text{td}} $表示中间层，$ {{P}}_{{i}}^{\text{out}} $表示输出层；w和w′等表示不同的权值矩阵；为了避免数值不稳定的小数值，∈=0.001
Figure 2. Network architecture of Bi-FPN
C3~C7 represents the number of layers in the network; $ {{P}}_{{i}}^{\text{in}} $ represents the input layer, $ {{P}}_{{i}}^{\text{td}} $ represents the middle layer, $ {{P}}_{{i}}^{\text{out}} $ represents the output layer; w and w′ indicate different weight matrixes; In order to avoid the unstable small values, ∈=0.001
![]()
图 3 BI-YOLOv5s网络结构
Focus：采用切片操作将输入特征图拆成多个低分辨率特征图，CBS：卷积+批量归一化+SiLU激活函数，C3_B1：采用BottleNeck 1结构拼接的C3模块，C3_B2：采用BottleNeck 2结构拼接的C3模块，SPP：空间金字塔池化，C3TR：融入Transformer结构的C3模块，Bi_Concat：通过Bi-FPN结构连接
Figure 3. Network architecture of BI-YOLOv5s
Focus: Splitting the input feature map into multiple low-resolution feature maps by slicing operation, CBS: Convolution+ batch normalization+ SiLU activation function, C3_B1: A C3 module concatenated with BottleNeck1structure, C3_B2: A C3 module concatenated with BottleNeck 2 structure, SPP: Spatial pyramid pooling, C3TR: A C3 module integrated with a Transformer structure, Bi_Concat: Connecting by Bi-FPN structure
![]()
图 4 不同模型对不同果实分布的检测效果
各小图中，加粗框表示漏检目标
Figure 4. Detection effect of different models for different fruit distributions
In each figure, the bold box indicates the missed target
![]()
图 5 不同模型对不同果实状态的检测效果
各小图中，加粗框表示漏检目标
Figure 5. Detection effect of different models for different fruit states
In each figure, the bold box indicates the missed target
![]()
图 6 R光(R)和白光(W)2种灯光下不同模型对比曲线
Figure 6. Comparison curves of different models under two conditions of R light (R) and white light (W)
![]()
图 7 2种灯光不同光照角度下不同模型检测效果比较
R：R 光，W：白光；各小图中，加粗框表示漏检目标
Figure 7. Detection effect comparison of different models under different angles of two lights
R: R light, W: White light; In each figure, the bold box indicates the missed target
表 1 每轮柑橘和叶片HSV颜色距离
Table 1 HSV color distance between citruses and leaves in each round
图像
Image第1轮 Round 1 第2轮 Round 2 第3轮 Round 3 第4轮 Round 4 第5轮 Round 5 RGB 颜色距离
Color
distanceRGB 颜色距离
Color
distanceRGB 颜色距离
Color
distanceRGB 颜色距离
Color
distanceRGB 颜色距离
Color
distance1 R=128, G=0, B=128 2.02 R=64, G=0, B=192 2.04 R=96, G=0, B=224 2.15 R=96, G=0, B=224 2.15 R=96, G=0, B=224 2.15 2 R=64, G=0, B=128 1.99 R=96, G=0, B=192 2.00 R=80, G=0, B=224 2.04 R=96, G=0, B=216 1.90 R=92, G=0, B=224 2.09 3 R=64, G=0, B=64 1.78 R=32, G=0, B=192 1.62 R=112, G=0, B=224 2.06 R=96, G=0, B=232 1.91 R=100, G=0, B=224 1.88 4 R=64, G=0, B=192 2.04 R=32, G=0, B=160 1.41 R=112, G=0, B=208 2.03 R=88, G=0, B=232 1.87 R=100, G=0, B=220 1.84 5 R=128, G=0, B=192 1.80 R=64, G=0, B=160 2.01 R=96, G=0, B=208 2.01 R=88, G=0, B=224 1.89 R=96, G=0, B=220 2.16 6 R=192, G=0, B=192 1.90 R=96, G=0, B=160 2.06 R=80, G=0, B=208 1.84 R=88, G=0, B=216 1.92 R=92, G=0, B=220 2.06 7 R=192, G=0, B=128 2.07 R=96, G=0, B=224 2.15 R=80, G=0, B=240 1.86 R=112, G=0, B=216 2.01 R=92, G=0, B=228 1.93 8 R=192, G=0, B=64 1.91 R=64, G=0, B=224 1.89 R=96, G=0, B=240 1.82 R=112, G=0, B=224 2.06 R=96, G=0, B=228 1.92 9 R=128, G=0, B=64 1.98 R=32, G=0, B=224 1.79 R=112, G=0, B=240 1.87 R=112, G=0, B=232 2.08 R=100, G=0, B=228 1.95 
下载: 导出CSV
表 2 各个模型消融试验
Table 2 Ablation experiment for each model
模型
Model精准率/%
Precision召回率/%
Recall平均准确率/%
Average precisionF1分数/%
F1 score检测速度/(帧·s−1)
Detection speedYOLOv5s 90.2 90.7 94.8 90.4 71 YOLOv5s+CA 91.5 91.0 95.8 91.2 58 YOLOv5s+Bi-FPN 92.3 92.2 96.2 92.2 62 YOLOv5s+Bi-FPN+CA 93.0 91.4 96.8 92.2 45 BI-YOLOv5s 93.4 92.2 97.1 92.8 40
下载: 导出CSV
表 3 不同模型测试结果对比
Table 3 Comparison of test results of different models
模型
Model精准率/%
Precision召回率/%
Recall平均准确率/%
Average precisionF1分数/%
F1 score检测速度/(帧·s−1)
DetectionspeedYOLOv5s 90.2 90.7 94.8 90.4 71 ShuffleNetV2-YOLOv5s 87.0 85.6 91.8 86.3 62 GhostNet-YOLOv5s 88.7 86.7 93.2 87.7 42 BI-YOLOv5s 93.4 92.2 97.1 92.8 40
下载: 导出CSV
表 4 不同模型对不同果实状态数据集的测试结果
Table 4 Test results of different models for data sets of different fruit states
模型
Model果实状态
Fruit state精准率/%
Precision召回率/%
Recall平均准确率/%
Average precisionF1分数/%
F1 scoreYOLOv5s 弱光照 Weak illumination 87.4 90.9 93.7 89.1 小目标 Small object 89.0 92.4 95.1 90.7 重叠遮挡 Overlap and occlusion 90.0 92.9 95.2 91.4 BI-YOLOv5s 弱光照 Weak illumination 88.2 91.8 95.7 90.0 小目标 Small object 92.1 92.6 96.8 92.3 重叠遮挡 Overlap and occlusion 93.5 94.4 97.7 93.9
下载: 导出CSV
表 5 2种灯光不同光照角度下BI-YOLOv5s模型检测的果实数量统计
Table 5 Quantity statistics of detected fruit by BI-YOLOv5s model under different angles of two lights
灯光类型
Light type光照角度
Illumination angle实际数量
Actual quantity正检数量
Positive quantity漏检数量
Missed quantity误检数量
False quantity正确率/%
AccuracyR光
R light顺光 Frontlighting 52 50 2 0 96.1 侧光 Sidelighting 34 32 2 2 94.1 整体 Overall 86 82 4 2 95.3 白光
White light顺光 Frontlighting 52 44 8 0 84.6 侧光 Sidelighting 34 29 5 0 85.3 整体 Overall 86 73 13 0 84.9
下载: 导出CSV
-
[1] 王刘坤, 祁春节. 中国柑橘主产区的区域比较优势及其影响因素研究: 基于省级面板数据的实证分析[J]. 中国农业资源与区划, 2018, 39(11): 121-128. [2] REN D, YANG S. Intelligent automation with applications to agriculture[J]. Intelligent Automation and Soft Computing, 2016, 22(2): 227-228. doi: 10.1080/10798587.2015.1095473
[3] KOIRALA A, WALSH K B, WANG Z, et al. Deep learning: Method overview and review of use for fruit detection and yield estimation[J]. Computers and Electronics in Agriculture, 2019, 162: 219-234. doi: 10.1016/j.compag.2019.04.017
[4] 杨长辉, 刘艳平, 王毅, 等. 自然环境下柑橘采摘机器人识别定位系统研究[J]. 农业机械学报, 2019, 50(12): 14-22. doi: 10.6041/j.issn.1000-1298.2019.12.002 [5] XIANG R. Image segmentation for whole tomato plant recognition at night[J]. Computers and Electronics in Agriculture, 2018, 154: 434-442. doi: 10.1016/j.compag.2018.09.034
[6] HAYASHI S, SHIGEMATSU K, YAMAMOTO S, et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering, 2010, 105(2): 160-171. doi: 10.1016/j.biosystemseng.2009.09.011
[7] AREFI A, MOTLAGH A M, MOLLAZADE K, et al. Recognition and localization of ripen tomato based on machine vision[J]. Australian Journal of Crop Science, 2011, 5(10): 1144-1149.
[8] JI W, QIAN Z, XU B, et al. A nighttime image enhancement method based on Retinex and guided filter for object recognition of apple harvesting robot[J]. International Journal of Advanced Robotic Systems, 2018, 15(1): 1729881417753871.
[9] PAYNE A, WALSH K, SUBEDI P, et al. Estimating mango crop yield using image analysis using fruit at ‘stone hardening’ stage and night time imaging[J]. Computers and Electronics in Agriculture, 2014, 100: 160-167. doi: 10.1016/j.compag.2013.11.011
[10] TANG Y, CHEN M, WANG C, et al. Recognition and localization methods for vision-based fruit picking robots: A review[J]. Frontiers in Plant Science, 2020, 11: 510. doi: 10.3389/fpls.2020.00510.
[11] XIONG J, LIN R, LIU Z, et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment[J]. Biosystems Engineering, 2018, 166: 44-57. doi: 10.1016/j.biosystemseng.2017.11.005
[12] FU L, WANG B, CUI Y, et al. Kiwifruit recognition at nighttime using artificial lighting based on machine vision[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(4): 52-59.
[13] 项荣, 段鹏飞. 番茄采摘机器人夜间照明系统设计与试验[J]. 农业机械学报, 2016, 47(7): 8-14. doi: 10.6041/j.issn.1000-1298.2016.07.002 [14] 赵德安, 刘晓洋, 陈玉, 等. 苹果采摘机器人夜间识别方法[J]. 农业机械学报, 2015, 46(3): 15-22. doi: 10.6041/j.issn.1000-1298.2015.03.003 [15] LIANG C, XIONG J, ZHENG Z, et al. A visual detection method for nighttime litchi fruits and fruiting stems[J]. Computers and Electronics in Agriculture, 2020, 169: 105192. doi: 10.1016/j.compag.2019.105192.
[16] 王辉, 张帆, 刘晓凤, 等. 基于DarkNet-53和YOLOv3的水果图像识别[J]. 东北师大学报(自然科学版), 2020, 52(4): 60-65. [17] 熊俊涛, 郑镇辉, 梁嘉恩, 等. 基于改进YOLO v3网络的夜间环境柑橘识别方法[J]. 农业机械学报, 2020, 51(4): 199-206. doi: 10.6041/j.issn.1000-1298.2020.04.023 [18] 吕石磊, 卢思华, 李震, 等. 基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法[J]. 农业工程学报, 2019, 35(17): 205-214. doi: 10.11975/j.issn.1002-6819.2019.17.025 [19] 郑太雄, 江明哲, 冯明驰. 基于视觉的采摘机器人目标识别与定位方法研究综述[J]. 仪器仪表学报, 2021, 42(9): 28-51. [20] CHEN J, WU J, WANG Z, et al. Detecting ripe fruits under natural occlusion and illumination conditions[J]. Computers and Electronics in Agriculture, 2021, 190: 106450. doi: 10.1016/j.compag.2021.106450.
[21] 熊俊涛, 林睿, 刘振, 等. 夜间自然环境下荔枝采摘机器人别技术[J]. 农业机械学报, 2017, 48(11): 28-34. doi: 10.6041/j.issn.1000-1298.2017.11.004 [22] LIU X, ZHAO D, JIA W, et al. A method of segmenting apples at night based on color and position information[J]. Computers and Electronics in Agriculture, 2016, 122: 118-123. doi: 10.1016/j.compag.2016.01.023
[23] 贾伟宽, 赵德安, 阮承治, 等. 苹果采摘机器人夜间图像降噪算法[J]. 农业工程学报, 2015, 31(10): 219-226. doi: 10.11975/j.issn.1002-6819.2015.10.029 [24] 赵桂兰, 姚其. 蔬果照明光源与物体的照明光谱反射关系研究[J]. 灯与照明, 2019, 43(2): 1-5. doi: 10.3969/j.issn.1008-5521.2019.02.002 [25] HOU Q, ZHOU D, FENG J. Coordinate attention for efficient mobile network design[EB/OL]. arXiv: 2103.02907v1 (2021-03-04) [2022-09-09]. https://arxiv.org/pdf/2103.02907.pdf.
[26] TAN M, PANG R, LE Q. EfficientDet: Scalable and efficient object detection[C]//Proceedings of IEEE/CFV Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 10781-10790.
[27] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 8759-8768.
[28] ZHU X, LYU S, WANG X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Virtual Conference: IEEE, 2021: 2778-2788.
[29] GLENN J. YOLOv5[CP/OL]. (2021-01-15) [2022-03-12]. https://github.com/ultralytics/yoloV5.
-
期刊类型引用(1)
1. 刘蕾，杨易，徐金瑞. 结核分枝杆菌感染对NLRP3炎性小体活化的调控作用研究进展. 微生物学杂志. 2021(04): 91-97 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 133
- HTML全文浏览量: 62
- PDF下载量: 27
- 被引次数: 1
