Grading standards of one-year-old container seedlings of Dalbergia cochinchinensis
-
摘要:目的
开展1年生交趾黄檀Dalbergia cochinchinensis容器苗质量评价,为其壮苗培育和人工林规模发展提供技术支撑。
方法应用主成分分析法确定交趾黄檀苗木分级指标,通过平均值±标准差法和逐步聚类法比较分析各等级苗木比例、标准以及在广东阳江、高明和福建漳州不同级别苗木的早期造林效果的差异,确定合理的交趾黄檀苗木质量分级方法与分级标准。
结果苗高(H)和地径(D) 2个性状的主成分贡献率分别为59.85%和26.02%,累积方差贡献率为85.87%,H和D可作为1年生交趾黄檀苗木分级指标,各等级苗木之间存在着显著差异。2种不同方法确定的交趾黄檀各等级苗木比例、等级取值范围无明显差异。应用平均值±标准差法分级的交趾黄檀合格苗(Ⅰ和Ⅱ级苗)在各试验点的早期生长表现良好、造林成活率(90%以上)较高;造林3和12个月时,苗木建成形态和成活率与造林时的H和D呈极显著正相关。
结论综合各等级苗木比率、等级取值范围、早期造林效果以及实际育苗生产过程,1年生交趾黄檀苗木质量分级宜采用平均值±标准差法,其分级标准为:Ⅰ级苗,H ≥ 119.76 cm,D ≥ 7.66 mm;Ⅱ级苗,69.62 cm ≤ H < 119.76 cm,5.04 mm ≤ D < 7.66 mm;Ⅲ级苗,H < 69.62 cm,D < 5.04 mm。
Abstract:ObjectiveTo evaluate the quality of one-year-old container seedlings of Dalbergia cochinchinensis, and provide a technical basis for its seedling cultivation and plantation development.
MethodSeedling grading indexes were determined by principal components analysis. We used the mean ± standard deviation and progressive clustering methods to analyze the proportions of seedlings in different grades, grading standards and differences among grades in afforestation effects at early stage of seedlings in Yangjiang, Gaoming of Guangdong and Zhangzhou of Fujian. The suitable grading method and standards were determined.
ResultThe principal component contribution rates of seedling height (H) and ground diameter (D) were 59.85% and 26.02%, respectively. H and D could be used as the grading indexes for one-year-old D. cochinchinensis seedlings, and these traits were significantly different among different graded seedlings. The cumulative variance contribution rate of seedling height and ground diameter was 85.87%. There were no obvious differences in the proportions of seedlings in each grade and grading ranges between two grading methods. Qualified D. cochinchinensis seedlings (Grade Ⅰ and Ⅱ) determined by the mean ± standard deviation method performed well in the early growth period and had higher survival rates (>90%) at all test sites. Seedling traits and survival rates after planting of 3 and 12 months had highly significant positive correlations withH and D at planting time.
ConclusionThe mean ± standard deviation method is more feasible for grading of one-year-old D. cochinchinensis seedlings by comprehensively evaluating the proportions of seedlings in different grades, ranges of grading indexes, early afforestation effect and practical seedling cultivation. The grading standards are as follows: Grade Ⅰof H ≥ 119.76 cm and D ≥ 7.66 mm; grade Ⅱ of 69.62 cm ≤ H < 119.76 cm and 5.04 mm ≤ D < 7.66 mm; grade Ⅲ of H < 69.62 cm and D < 5.04 mm.
-
农作物病虫害种类多、密度大,极易造成作物大量减产,严重制约农业生产,而快速高效地识别病虫害是防治的关键。随着智慧农业的兴起与发展,利用深度学习技术对病虫害进行智能识别以辅助农业生产,减少不必要的农药喷施,对保护生态环境、提高农作物的品质,有着十分重要的作用。
随着数据量的增长和算力的提升,深度学习发展迅猛,诞生出CNN、Transformer等特征提取器,催生出一系列模型。比较经典的卷积网络如VGGNets[1]、ResNets[2]具有识别准确率高的优点,但也存在参数量大、性能差、难以广泛应用于移动端的问题,因此越来越多的学者将目光转向轻量级网络的研究。李静等[3]通过迁移学习对GoogLeNet的Inception-v4网络结构进行优化,对玉米螟虫害识别任务达到96.44%的准确率。刘洋等[4]对轻量级网络MobileNet和Inception V3进行优化,在PlantVillage数据集上分别达到95.02%和95.62%的识别准确率。陆健强等[5]提出一种基于Mixup算法和卷积神经网络的柑橘黄龙病果实识别模型,对柑橘黄龙病数据集的识别准确率达到94.29%。邱文杰等[6]通过知识蒸馏得到压缩模型Distilled-MobileNet,该模型在38种常见病害中达到了97.62%的分类准确率,且模型仅为19.83M。轻量级卷积网络在作物病虫害识别中的应用研究已经颇有成效,但其在模型参数和性能方面仍有继续提升的空间,也许多头注意力机制将是一个突破点。
近两年,在自然语言处理领域大火的Transformer也被成功应用到计算机视觉领域。Dosovitskiy等[7]提出了直接应用于图像块序列的视觉Transformer (Vision transformer,ViT),在ImageNet-1K上取得了88.55%的准确率,刷新了该榜单纪录。相较于CNN(如ResNet),ViT依靠多头注意力机制捕获图像块之间的长距离依赖关系,因此拥有更大的感受野,能获取全局信息,但长程的多头注意力也使得ViT很容易忽略图像的局部性质,而刚好CNN能弥补这一点。相较于ViT网络,CNN的卷积核大多尺寸较小,具有局部特征提取能力,且在现实的工业部署场景中,执行CNN比大多数现有的ViT都要高效。由此可见,将卷积和多头注意力混合设计,有效结合CNN和ViT的优点,可进一步提升轻量级作物病虫害识别模型的性能。
为了将卷积与多头注意力有效结合,设计出高效的作物病虫害识别方法,本研究提出了一个全新的架构M2CNet (Multi-head attention to convolutional neural network)。M2CNet基于层级金字塔结构,并引入深度可分离卷积和循环全连接层进行局部特征提取,同时设计轻量级的全局特征捕捉块,既提高了性能,也节省了计算开销,以期为病虫害精准识别提供新的思路,为后续的边缘平台部署和作物病害检测系统的开发提供新的解决思路和方案。
1. 材料与方法
1.1 数据集及处理
1.1.1 CIFAR100数据集
CIFAR100由Krizhevsky等[8]收集,图片主要来自Google和各类搜索引擎。CIFAR100数据集有100个类别,每个类别有600张大小为32像素 × 32像素的彩色图像,其中500张作为训练集,100张作为测试集。这100类被分为20个超类,每个图像都带有一个“精细”标签(它所属的类)和一个“粗略”标签(它所属的超类)。将M2CNet应用于CIFAR100数据集,并与其他模型进行效果比较。
1.1.2 PlantVillage数据集
PlantVillage由Hughes等[9]创建,在植物病理学专家的辅助下完成标注,目的是帮助解决传染病导致的作物产量损失问题。该数据集包含54309张图像,涵盖南瓜白粉病、桃细菌性斑点病、樱桃白粉病、柑橘黄龙病、玉米枯叶病、玉米灰斑病、玉米锈病、番茄二斑叶螨病、番茄叶霉病、番茄斑枯病、番茄早疫病、番茄晚疫病、番茄细菌性斑点病、番茄花叶病、番茄轮斑病、番茄黄曲叶病、苹果疮痂病、苹果锈病、苹果黑腐病、苹果叶焦病、葡萄叶枯病、葡萄黑痘病、葡萄黑腐病、辣椒细菌性斑点病、马铃薯早疫病、马铃薯晚疫病共计26种作物疾病。试验中按数量8∶2的比例划分训练集和测试集,PlantVillage将用于检验M2CNet在作物病害识别任务中的表现。
1.1.3 IP102数据集
IP102是用于作物害虫识别的野外构建的大规模数据集[10],共有75222张图像,涵盖了102种常见的害虫,平均每种害虫737个样本,这些图像呈现出自然的长尾分布。病虫害生命周期有不同阶段,例如稻纵卷叶螟在幼虫时期呈现翠绿色的长条节状,而在成虫时期呈现棕灰色的飞蛾形态,与水稻二化螟类似,因此IP102呈现出类间差异小和类内差异大的特点。试验中同样按数量8∶2的比例来划分训练集和测试集,各类具体害虫的训练集、测试集包含的图像数量汇总如表1所示。IP102用于检验M2CNet在作物虫害识别任务中的表现。
表 1 IP102 数据集害虫分级分类体系Table 1. Taxonomy of the IP102 dataset on different class levels作物
Crop害虫类别
Pest class训练集
Training set测试集
Test set水稻 Rice 14 6734 1683 玉米 Corn 13 11212 2803 小麦 Wheat 9 2734 684 甜菜 Sugarbeet 8 3536 884 苜蓿 Alfalfa 13 8312 2078 葡萄 Grape 16 14041 3510 柑橘 Orange 19 5818 1455 芒果 Mango 10 7790 1948 总计 Total 102 60177 15045 1.2 构建病虫害识别网络
本文构建了一种识别作物病虫害的轻量模型——M2CNet,该模型采用金字塔结构,降低空间分辨率的同时能够在不同阶段扩展通道数。M2CNet主要开发了2个重要组件,首先构建了局部捕获块(Local capture block,LCB),该组件主要由深度可分离卷积和多层循环全连接构成,用来捕捉病虫害图片的短距离和细粒度信息;其次构建了轻量级全局捕获块(Lightweight global capture block,LGCB),该组件由全局子采样注意力(Global sub-sampling attention,GSA)和轻量级前馈网络(Lightweight feedforward network)构成,用来捕捉病虫害图片的长距离和高维信息。模型总体组成如图1所示,下面将分别介绍局部捕获块和轻量级全局捕获块。
图 1 M2CNet网络总体组成LCB:局部捕获块;LGCB:轻量级全局捕获块;H和W分别代表输入图片的高度和宽度;$ {C}_{i} $:指用于阶段i的通道数;$ {L}_{i} $:阶段i的局部捕获块和轻量级全局捕获块数量Figure 1. Overall structure of the M2CNet networkLCB: Local capture block; LGCB: Lightweight global capture block; H and W represent the height and width of the input image, respectively; $ {C}_{i}: $ Number of channels used for stage i; $ {L}_{i} $ represents the number of local capture blocks and lightweight global capture blocks in stage i1.2.1 局部捕获块
局部捕捉块的结构如图2所示,其中引入了残差学习[11]的思想,主要由2个连续的深度可分离卷积[12]和1个多层循环全连接[13]构成。深度可分离卷积由1个深度卷积和1个逐点卷积构成,每层卷积后跟随一个批规范化[14],由于频繁地做非线性投影会有害于模型特征的信息传递[15],因此这里减少了激活层。深度可分离卷积先从空间维度获取局部信息,再将获取的局部信息向通道维度传递,最大程度地降低特征的损失;多层循环全连接由2个伪核为
$ 1\times 3 $ 和$ 3\times 1 $ 的循环全连接层构成,其中也使用了残差学习以避免模型加深时出现的退化现象。多层循环全连接层通过阶梯状采样来增大其感受野以更好地集成上下文特征,相比通道全连接有着一步操作就可以同时提取局部信息和融合通道信息的优势。深度可分离卷积和多层循环全连接的感受野基本相当,都可以关注局部信息,但深度可分离卷积更侧重于空间维度,多层循环全连接更侧重于通道维度。由于图片数据的纹理在空间维度表现更加明显,因此在局部捕捉块中采取先空间后通道的思想,深度可分离卷积在前,多层循环全连接在后,避免特征提取过程中图片纹理被过度压缩。
1.2.2 轻量级全局捕获块
轻量级全局捕获块由多个轻量结构组成,旨在通过更少的参数来学习更鲁棒的表征。LGCB最核心的部分是一种特殊的多头注意力:全局子采样注意力[16]。图3是标准多头注意力与全局子采样注意力的对比,可以看到全局子采样注意力多出一个次采样(Subsampling)结构,该结构把特征图分为多个不重叠的子窗口(
$ s\times s $ ),在子窗口上提取代表键(K)和值(V),但由于查询(Q)是全局的,因此注意力仍可以恢复到全局,这种做法显著减少了计算量。图 3 标准多头注意力(a)与全局子采样注意力(b)的对比Q、K、V分别表示查询、键和值,H、W分别表示输入图片的高度和宽度,s表示子窗口大小,C表示通道数Figure 3. Comparison of standard multi-head attention and global subsampling attentionQ, K, V represent query, key and value respectively, H and W represent the height and width of the input picture respectively, s represents size of the subwindow, C represents number of channels轻量级全局捕获块的整体结构如图4所示,LGCB首先对输入特征图做条件位置编码[17](Conditional position encoding,CPE),将输入向量
$ H\times W\times {d}_{i} $ 映射到高维空间,然后在空间维度展平成向量$ HW\times {d}_{i} $ ,过程中得到了输入特征图的位置信息。在全局子采样注意力阶段,输入特征尺寸为$ HW\times {d}_{i} $ ,次采样的输出尺寸为$ HW/{s}^{2}\times {d}_{i} $ ,其中$ {d}_{i} $ 为通道维数,s为子窗口的大小,得到$ Q=HW\times {d}_{i} $ ,$ K=V=HW/{s}^{2}\times {d}_{i}/h $ ,$ h $ 为多头注意力头的数量,将QKV共同送入多头注意力。最后经过轻量级前馈网络[18]将输入从$ {d}_{i} $ 降维到$ {d}_{i}/r $ ,再从$ {d}_{i}/r $ 升维到$ {d}_{i} $ ,其中r为降维因子,通常取$ r=4 $ ,该操作用于提升模型容量。简单地,轻量级全局捕获块可以表述如下:图 4 轻量级全局捕获块a:条件位置编码;b:全局子采样注意力;c:轻量级前馈网络;di:通道维数;s:子窗口的大小;h:多头注意力头的数量;H和W分别代表输入特征的高度和宽度Figure 4. Lightweight global capture blocka: Conditional position encoding; b: Global subsampling attention; c: Lightweight feedforward network; di: Channel dimension; s: Size of the sub window; h: Number of attention heads with multiple heads; H and W represent the height and width of the input features, respectively$$ \begin{array}{c}X={\rm{CPE}}\left[\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left({X}_{{\rm{in}}}\right)\right],\end{array} $$ (1) $$ \begin{array}{c}Y={\rm{GSA}}\left[\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left({X}\right)\right]+X,\end{array} $$ (2) $$ \begin{array}{c}{X}_{\mathrm{o}\mathrm{u}\mathrm{t}}={\rm{Lightweight\;FFN}}\left[\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left({Y}\right)\right]+Y,\end{array} $$ (3) 式中,
${X}_{{\rm{in}}}$ 表示输入张量,Norm是层归一化操作,CPE是条件位置编码,GSA是全局子采样注意力,Lightweight FFN是轻量级前馈网络。所有这些操作都可以在标准深度学习平台通过常用和高度优化的操作来实现。1.2.3 M2CNet模型架构
为满足不同的边缘部署需求,本研究提出了3个典型的变体,即M2CNet-S/B/L。架构规范如表2所示,对于归一化,在局部捕捉块中使用批归一化,在轻量级全局捕获块中使用层归一化,对于激活函数均使用ReLU。
表 2 M2CNet-S/B/L的网络架构 1)Table 2. M2CNet-S/B/L network architecture阶段
Stage输出尺寸
Output size层名称
Name of layerM2CNet-S M2CNet-B M2CNet-L 1 $ 56\times 56 $ Conv.下采样 $ 4\times \mathrm{4,36},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\;4 $ $ 4\times \mathrm{4,48},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\;4 $ $ 56\times 56 $ 深度可分离卷积 $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,36}\\ 3\times \mathrm{1,1}\times \mathrm{3,36}\\ \begin{array}{c}{H}_{1}=1,{s}_{1}=4\\ {R}_{1}=4\end{array}\end{array} \right]\times 1 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,48}\\ 3\times \mathrm{1,1}\times \mathrm{3,48}\\ \begin{array}{c}{H}_{1}=1,{s}_{1}=4\\ {R}_{1}=4\end{array}\end{array} \right]\times 1 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,48}\\ 3\times \mathrm{1,1}\times \mathrm{3,48}\\ \begin{array}{c}{H}_{1}=1,{s}_{1}=4\\ {R}_{1}=4\end{array}\end{array} \right]\times 1 $ 多层循环全连接 全局子采样注意力 轻量级前馈网络 2 $ 28\times 28 $ Conv.下采样 $ 2\times \mathrm{2,72},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\; 2 $ $ 2\times \mathrm{2,96},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\; 2 $ $ 28\times 28 $ 深度可分离卷积 $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,72}\\ 3\times \mathrm{1,1}\times \mathrm{3,72}\\ \begin{array}{c}{H}_{1}=2,{s}_{1}=2\\ {R}_{1}=4\end{array}\end{array} \right]\times 2 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,96}\\ 3\times \mathrm{1,1}\times \mathrm{3,96}\\ \begin{array}{c}{H}_{1}=2,{s}_{1}=2\\ {R}_{1}=4\end{array}\end{array} \right]\times 1 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,96}\\ 3\times \mathrm{1,1}\times \mathrm{3,96}\\ \begin{array}{c}{H}_{1}=2,{s}_{1}=2\\ {R}_{1}=4\end{array}\end{array} \right]\times 2 $ 多层循环全连接 全局子采样注意力 轻量级前馈网络 3 $ 14\times 14 $ Conv.下采样 $ 2\times \mathrm{2,144},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\; 2 $ $ 2\times \mathrm{2,192},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\; 2 $ $ 14\times 14 $ 深度可分离卷积 $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,144}\\ 3\times \mathrm{1,1}\times \mathrm{3,144}\\ \begin{array}{c}{H}_{1}=4,{s}_{1}=2\\ {R}_{1}=4\end{array}\end{array} \right]\times 3 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,192}\\ 3\times \mathrm{1,1}\times \mathrm{3,192}\\ \begin{array}{c}{H}_{1}=4,{s}_{1}=2\\ {R}_{1}=4\end{array}\end{array} \right]\times 4 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,192}\\ 3\times \mathrm{1,1}\times \mathrm{3,192}\\ \begin{array}{c}{H}_{1}=4,{s}_{1}=2\\ {R}_{1}=4\end{array}\end{array} \right]\times 6 $ 多层循环全连接 全局子采样注意力 轻量级前馈网络 4 $ 7\times 7 $ Conv.下采样 $ 2\times \mathrm{2,288},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}\; 2 $ $ 2\times \mathrm{2,384},\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e} \;2 $ $ 7\times 7 $ 深度可分离卷积 $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,288}\\ 3\times \mathrm{1,1}\times \mathrm{3,288}\\ \begin{array}{c}{H}_{1}=8,{s}_{1}=1\\ {R}_{1}=4\end{array}\end{array} \right]\times 2 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,384}\\ 3\times \mathrm{1,1}\times \mathrm{3,384}\\ \begin{array}{c}{H}_{1}=8,{s}_{1}=1\\ {R}_{1}=4\end{array}\end{array} \right]\times 2 $ $ \left[ \begin{array}{c}3\times \mathrm{3,1}\times \mathrm{1,384}\\ 3\times \mathrm{1,1}\times \mathrm{3,384}\\ \begin{array}{c}{H}_{1}=8,{s}_{1}=1\\ {R}_{1}=4\end{array}\end{array} \right]\times 4 $ 多层循环全连接 全局子采样注意力 轻量级前馈网络 输出 Output $ 1\times 1 $ 全连接 100 参数量(M) No. of parameters 1.83 3.52 5.76 计算量(G) Floating point operations 0.23 0.39 0.60 1)输入图像大小默认为224像素×224像素,Conv.代表卷积操作,stride表示卷积的步幅,Hi和Si是第i个全局子采样注意力的头数和次采样大小,Ri是第i个轻量级前馈网络的特征尺寸缩放比
1) The input image size is 224×224 by default, Conv. stands for convolution operation, stride stands for convolution step, Hi and Si are the number of heads and subsampling size of the ith global subsampling, and Ri is the scaling ratio of the feature size of the ith lightweight feedforward network2. 结果与分析
2.1 试验环境与评价指标
本研究在Ubuntu 20.04系统展开,该系统搭载GeForce RTX 3090图形处理器并通过并行计算架构CUDA 11.4和CUDNN 8.2.4驱动,深度学习框架选择PyTorch 1.10.1,编程语言为Python 3.8.5。训练时CIFAR100和IP102的迭代次数设为300,PlantVillage的迭代次数设为60,批次均为64。学习率选择余弦衰减[19]策略,PlantVillage和CIFAR100的初始学习率设为0.0005,IP102的初始学习率设为0.005,前10个迭代次数学习率均使用线性启动。优化器选择Adamw[20],并将权重衰减设置为0.05,在训练中还使用了标签平滑[21]和Mixup[22]数据增强来进一步探索模型性能。训练时图像使用224像素×244像素的随机裁剪,测试时使用224像素×244像素的中心裁剪。
评价指标采用Top1准确率、Top5准确率和损失值,Top1准确率指预测概率排名第1的类别与实际结果相符的准确率,Top5 准确率是指预测概率排名前5的类别与实际结果相符的准确率。准确率(Accuracy)和损失值(Loss)的计算公式如下:
$$ \begin{array}{c}{\rm{Accuracy}}=\dfrac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{T}\mathrm{N}} \times 100{\text{%}},\end{array} $$ (4) $${\rm{Loss}}=-{\displaystyle\sum} _{i=1}^{n}p\left({x}_{i}\right)\mathrm{lg}\left[q\left({x}_{i}\right)\right], $$ (5) 式中,TP为真正类,TN为真负类,FP假正类,FN假负类;
$ p ({x}_{i})$ 代表真实的标签,$ q({x}_{i}) $ 代表预测的概率。2.2 模型性能对比
本研究将M2CNet应用于CIFAR100,并与多种模型进行了比较,包括许多经典的计算量(Floating point operations,FLOPs)小于1G的轻量级卷积网络,例如ShuffleNets [23-24]、SqueezeNet[25]、MobileNetV2[26]、MobileNetV3[27]、MnasNet[28]、EfficientNet[29],还包括ViT模型MobileViT[30]和大型模型VGG,M2CNet-S/B/L的训练过程见图5,从图5可以直观地看到随着300次迭代的收敛,M2CNet-S/B/L在训练集和测试集的损失值逐渐降低,直至趋于平稳。
表3是对比结果,在参数量和计算量相似的情况下,M2CNet-S/B/L占据一定优势,且M2CNet-L参数量和准确率最优。与ShuffleNet系列相比,本研究的M2CNet-S/B比ShuffleNet-V2 1.5/2.0分别在Top1准确率上实现了4.53、2.53个百分点的提升。与MnasNet系列相比,M2CNet-S/B/L比MnasNet 0.75/1.0/1.3分别在Top1的准确率上实现了1.89、2.62和1.75个百分点的提升。与MobileNet系列相比,M2CNet-S/B/L分别在Top1准确率上实现了9.35、6.16和5.12个百分点的提升。由此可见将多头注意力机制与卷积结合可以有效提升卷积模型的性能,例如M2CNet-S与MobileNet-V2、MobileNet-V3-Large参数量和计算量相似,但其识别精度却更优。在与MobileViT系列的对比中,M2CNet-S/B/L同样在识别精度上展现出明显优势。本研究也将M2CNet与大型模型做对比,可以看到M2CNet-L比VGG系列、ResNet 18准确率更高,而参数量仅为ResNet 18的一半,是VGG系列的
$ 1/20 $ 。由此可见M2CNet可以在模型参数量和准确率之间保持平衡。表 3 CIFAR100数据集模型对比结果Table 3. Comparison results of CIFAR100 dataset model模型
Model参数量 (M)
No. of
parameters计算量 (G)
Floating
point
operations准确率/%
AccuracyTop5 Top1 ShuffleNet-V2 0.5 0.4 0.04 72.74 41.83 ShuffleNet-V2 1.0 1.4 0.15 86.21 59.65 ShuffleNet-V2 1.5 2.6 0.30 90.08 66.56 ShuffleNet-V2 2.0 5.6 0.56 93.06 72.79 SqueezeNet 1.0 0.8 0.75 78.48 49.68 SqueezeNet 1.1 0.8 0.30 78.12 50.14 MobileNet-V3-Small 1.6 0.06 87.90 61.74 MobileNet-V2 2.4 0.31 91.69 69.16 MobileNet-V3-Large 4.3 0.23 93.57 73.27 MnasNet 0.5 1.1 0.11 88.13 62.60 MnasNet 0.75 2.0 0.22 91.44 69.20 MnasNet 1.0 3.2 0.32 92.81 72.70 MnasNet 1.3 5.1 0.54 94.41 76.64 EfficientNet B0 4.1 0.40 94.63 76.00 EfficientNet B1 6.6 0.60 94.95 77.96 ResNet 18 11.2 1.80 94.66 76.85 VGG 11 129.2 7.60 94.25 75.82 VGG 13 129.4 11.30 94.38 76.46 VGG 16 134.7 15.50 94.63 78.19 VGG 19 140.0 19.60 95.25 78.19 MobileViT-XXS 1.0 0.33 84.98 55.96 MobileViT-XS 2.0 0.90 89.55 64.34 MobileViT-S 5.1 1.75 93.64 72.93 M2CNet-S 1.8 0.23 92.46 71.09 M2CNet-B 3.5 0.39 94.16 75.32 M2CNet-L 5.8 0.60 95.31 78.39 2.3 病虫害识别效果
为了更好地比较M2CNet-S/B/L的效果,本研究针对每一种变体找到了在参数量和计算量上相似的对照,即M2CNet-S对应MobileViT-XS、MobileViT-XXS、MnasNet 0.75、MobileNet-V2;M2CNet-B对应MobileNet-V3-Large、EfficientNet B0、MnasNet 1.0;M2CNet-L对应EfficientNet B1、MobileViT-S、MnasNet 1.3。将以上网络分别在PlantVillage病害数据集和IP102虫害数据集上展开试验,试验结果见图6。
图 6 病虫害数据集识别结果柱状图的宽度与模型参数呈线性关系,参数量越大柱状图越宽;同一色系代表同一对照,同一色系中颜色最深的柱子对应M2CNet变体Figure 6. Identification results of pest data setsThe width of the bar chart is linearly related to the model parameters, the larger the number of parameters, the wider the bar chart; The same color system represents the same control, and the darkest column in the same color system corresponds to the M2CNet variant图6a是PlantVillage数据集识别结果,可以看到在各组对照中M2CNet-S/B/L分别取得了95.92%、96.82%、97.15%的最大Top1识别准确率,在参数量相似的情况下取得了最优的结果。图6b是IP102数据集识别结果,M2CNet-S/L依然延续了在PlantVillage上的表现,分别取得了67.08%、71.0%的最大Top1准确率和88.49%、90.50%的最大Top5准确率。在M2CNet-B对照中MnasNet 1.0取得了69.46%的最大Top1准确率,超出M2CNet-B 0.47个百分点,不过从整体来看,M2CNet变体在作物病虫害识别任务中依然表现出色。M2CNet变体能在对照试验中取得比其他轻量级网络更有竞争力的结果,分析原因在于融合多头注意力的M2CNet不仅关注局部信息,也关注全局信息,因此能够灵活应对不同特征尺度的变化。
2.4 热力图可视化
为了进一步解释融合多头注意力后M2CNet-S/B/L关注的区域,这里使用Grad-CAM[31]方法在病害和虫害的部分数据集上抽取特征图进行可视化,其可视化结果如图7所示。可以看到,由M2CNet-S到M2CNet-B再到M2CNet-L,模型对于分类识别任务中更有判别性的特征区域给予了更高的关注,在一定程度上降低了背景特征的干扰,进而提升了模型识别精度。
3. 结论
本研究为设计出轻量级作物病虫害识别方法,将多头注意力机制捕捉长距离依赖关系的能力与卷积神经网络的局部特征提取能力相结合,设计出满足不同边缘部署需求的3个变体:M2CNet-S/B/L。
为了验证M2CNet-S/B/L的特征提取能力,在CIFAR100数据集上将其与其他轻量级网络展开对比,在参数量和计算量相似的情况下,M2CNet 3个变体均表现出良好的性能。在与经典的轻量级网络MobileNet系列比较中,M2CNet-S/B/L在Top1准确率上分别实现了9.35、6.16和5.12个百分点的增益。
在作物病虫害数据集的试验中,M2CNet-S/B/L在PlantVillage病害数据集上取得了大于99.70%的Top5准确率和大于95.92%的Top1准确率,在IP102虫害数据集上取得了大于88.4%的Top5准确率和大于67.0%的Top1准确率,且在同级别网络的对比中均占有优势,证明M2CNet能够胜任作物病虫害识别任务。
M2CNet网络有着参数量少的优点,以M2CNet-S为例,其参数内存仅占用1.8M,对硬件性能(FLOPs)要求仅为0.23G,这极大降低了对硬件平台的要求,有利于后续的边缘平台部署和作物病害检测系统的开发和普及。
-
表 1 试验地基本情况
Table 1 Basic information of test site
试验地
Test site位置
Location经纬度
Longitude
and latitude海拔/m
Elevation年降雨量/mm
Annual
rainfall年均温/℃
Annual average
temperature无霜期/d
Frost-free
season土壤类型
Soil type阳江( YJ)
Yangjiang广东省阳江市阳东区合山镇 N21°59′28″
E112°09′54″25 2 136 23 350 砖红壤
Latosol soil高明 (GM)
Gaoming广东省佛山市高明区杨梅镇 N22°47′34″
E112°41′55″73 1 683 21 335 赤红壤
Lateritic red soil漳州 (ZZ)
Zhangzhou福建省漳州市龙海镇 N24°28′46″
E117°30′29″150 1 440 21 312 酸性红壤
Acid red soil表 2 交趾黄檀苗木各性状调查及精度检验
Table 2 Traits and precision tests of Dalbergia cochinchinensis seedlings
项目
Item苗高/cm
Seedling height地径/cm
Ground diameter高径比/%
Height-to-diameter ratio主根长/cm
Taproot length茎根比/%
Stem-to-root ratio叶面积/cm2
Leaf area$\bar x $ 94.69 6.35 14.92 17.54 2.34 15.33 SD 25.07 1.31 2.67 7.59 0.68 4.47 SE 1.45 0.08 0.15 0.44 0.04 0.26 P/% 98.46 98.81 98.97 97.5 98.32 98.31 项目
Item生物量/g Biomass 质量指数
Seedling quality index根 Root 茎 Stem 叶 Leaf 地上部 Aboveground 全株 Total $\bar x $ 4.77 2.74 8.25 10.99 15.76 0.92 SD 3.04 2.1 5.47 7.24 10.06 0.63 SE 0.18 0.12 0.32 0.42 0.58 0.04 P/% 96.32 95.59 96.17 96.2 96.31 96.05 表 3 交趾黄檀苗木不同性状的主成分特征值、贡献率及累积贡献率
Table 3 Eigenvalues, contribution rates and cumulative contribution rates of principal components of Dalbergia cochinchinensis seedling traits
主成分
Principle component特征值
Eigenvalue贡献率/%
Contribution rate累积贡献率/%
Cumulative contribution rate苗高 Seedling height 7.19 59.85 59.85 地径 Root collar diameter 1.57 26.02 85.87 高径比 Height-to-diameter ratio 1.17 6.87 92.74 主根长 Taproot length 0.95 2.13 94.87 茎根比 Stem-to-root ratio 1.22×10–3 0.36 99.93 叶面积 Leaf area 0.62 1.35 96.22 根生物量 Root biomass 0.31 1.12 97.34 茎生物量 Stem biomass 8.98×10–2 0.96 98.30 叶生物量 Leaf biomass 5.45×10–2 0.71 99.01 地上生物量 Aboveground biomas 2.24×10–2 0.56 99.57 总生物量 Total biomass 5.13×10–17 0.15 ≈100.00 质量指数 Seedling quality index 1.21×10–17 6.71×10–17 ≈100.00 表 4 1年生交趾黄檀分级标准与不同苗木等级级别间的生长表现1)
Table 4 Grading standards and growth performances in different grades of one-year-old Dalbergia cochinchinensis seedlings
分级方法
Grading method苗木等级
Seedling quality分级标准
Grading standards占比/%
Ratio苗高 (H)/cm
Seedling height地径 (D)/mm
Root collar diameter平均值±标准差法
Mean ± standard deviationⅠ H ≥ 119.76cm,D ≥ 7.66 mm 10.33 136.03±8.39a 8.69±0.78a Ⅱ 69.62 cm ≤ H < 119.76 cm,5.04 mm ≤ D < 7.66 mm 72.33 98.04±17.13b 6.43±0.92b Ⅲ H < 69.62 cm,D < 5.04 mm 17.33 62.42±7.83c 4.94±0.79c 逐步聚类法
Progressive clusteringⅠ H ≥ 115.34 cm,D ≥ 7.35 mm 13.33 133.85±8.94a 8.32±0.17a Ⅱ 68.65 cm ≤ H < 115.34 cm,4.87 mm ≤ D < 7.35 mm 71.66 96.11±16.62b 6.35±0.91b Ⅲ H < 68.65 cm,D < 4.87 mm 15.01 60.46±6.29c 4.86±0.83c 1) 同一方法的同列数据后,不同小写字母表示不同等级间差异显著 (P<0.05,Duncan’s 法)
1) Different lowercase letters in the same column of each method indicate significant difference among grades (P<0.05,Duncan’s method)表 5 各试验点不同等级交趾黄檀苗木生长情况1)
Table 5 Growth performances of Dalbergia cochinchinensis seedlings in different grades at each test site
试验地
Test site苗木等级
Seedling quality造林时
Planting造林3个月后
Three months after planting造林12个月后
Twelve months after planting苗高/cm
Seedling
height地径/mm
Ground diameter苗高/cm
Seedling
height地径/mm
Ground diameter存活率/%
Survival
rate苗高/cm
Seedling
height地径/mm
Ground diameter存活率/%
Survival
rate阳江 (YJ)
YangjiangⅠ 138.88±14.19a 11.69±1.97a 141.88±14.24a 12.76±1.98a 100.00 316.75±13.30a 32.25±1.67a 100.00 Ⅱ 97.69±13.15b 7.16±0.64b 99.61±13.11b 7.99±0.65b 97.50 252.21±12.63b 25.33±1.14b 97.50 Ⅲ 64.26±5.81c 4.67±0.55c 65.53±5.53c 5.08±0.53c 78.75 183.03±4.99c 17.65±1.22c 77.50 高明 (GM)
GaomingⅠ 129.29±13.75a 10.74±1.96a 131.35±32.15a 12.18±8.05a 96.25 286.94±13.27a 35.33±1.64a 96.25 Ⅱ 93.67±13.36b 6.16±0.64b 99.52±17.51b 7.21±0.59b 95.00 222.19±13.02b 27.38±1.15b 95.00 Ⅲ 54.82±5.14c 3.66±0.53c 51.67±5.68c 4.17±0.52c 76.25 143.04±5.06c 15.96±1.21c 76.25 漳州 (ZZ)
ZhangzhouⅠ 126.80±4.76a 10.05±1.68a 127.93±13.98a 11.13±1.93a 100.00 286.66±13.11a 35.31±1.62a 100.00 Ⅱ 93.88±13.41b 6.16±0.50b 94.58±13.39b 6.95±0.64b 93.75 222.45±12.83b 27.38±1.14b 93.75 Ⅲ 53.41±7.49c 3.72±0.54c 54.38±7.51c 4.44±0.71c 80.00 153.81±6.55c 18.16±1.68c 78.75 1) 相同试验地的同列数据后,不同小写字母表示不同等级间差异显著 (P<0.05,Duncan’s 法)
1) Different lowercase letters in the same column of each site indicate significant difference among grades (P<0.05,Duncan’s method)表 6 不同定植时期交趾黄檀苗期性状间相关性分析1)
Table 6 Correlation analysis among growth traits of Dalbergia cochinchinensis seedlings at different time after planting
性状
Trait造林3个月后 Three months after planting 造林12个月后 Twelve months after planting 苗高
Seedling height地径
Ground diameter成活率
Survival rate苗高
Seedling height地径
Ground diameter成活率
Survival rate苗高(定植)
Seedling height (Planting)0.99** 0.98** 0.98** 0.96** 0.90** 0.92** 地径(定植)
Root collar diameter (Planting)0.98** 0.99** 0.85** 0.90** 0.87** 0.85** 1) “**” 表示相关性达到 0.01 的显著水平(Pearson 相关)
1) “**” indicates significant correlation at P<0.01 level (Pearson correlation) -
[1] 中国林业科学研究院木材工业研究所. 红木: GB/T: 18107-2000 [S]. 北京: 国家质量技术监督局, 2000. [2] MORITSUKA E, CHHANG P, TAGANE T, et al. Genetic variation and population structure of a threatened timber tree Dalbergia cochinchinensis in Cambodia[J]. Tree Genet Genomes, 2017, 13(6): 115. doi: 10.1007/s11295-017-1199-8
[3] 吴培衍, 张荣标, 张金文. 红木树种新贵: 交趾黄檀[J]. 福建热作科技, 2016, 41(4): 51-54. doi: 10.3969/j.issn.1006-2327.2016.04.016 [4] 李科, 洪舟, 杨曾奖, 等. 不同种源交趾黄檀种子形态及多点发芽率的差异[J]. 浙江农林大学学报, 2018, 35(1): 121-127. [5] 鲁敏, 姜凤岐, 宋轩. 容器苗质量评定指标的研究[J]. 应用生态学报, 2002, 13(6): 763-765. doi: 10.3321/j.issn:1001-9332.2002.06.029 [6] 周新华, 黄拯, 厉月桥, 等. 杉木容器苗分级标准研究[J]. 中南林业科技大学学报, 2017, 37(9): 68-73. [7] 李玉莲, 张亚楠, 王子奕. 评价出圃苗木质量的几个主要指标[J]. 林业科技, 2007, 32(4): 12-13. doi: 10.3969/j.issn.1672-0938.2007.04.005 [8] 曾郁珉, 刘金凤, 苏俊武, 等. 高阿丁枫苗木分级研究[J]. 西部林业科学, 2006, 35(3): 43-48. doi: 10.3969/j.issn.1672-8246.2006.03.008 [9] 杨斌, 周凤林, 史富强, 等. 铁力木苗木分级研究[J]. 西北林学院学报, 2006, 21(1): 85-89. doi: 10.3969/j.issn.1001-7461.2006.01.021 [10] 封丹, 张厚江, 季梦婷. 苗木质量分级方法研究综述[J]. 林业机械与木工设备, 2016, 44(4): 10-15. doi: 10.3969/j.issn.2095-2953.2016.04.002 [11] 方碧江. 降香黄檀苗木分级标准的探讨[J]. 福建热作科技, 2009, 34(4): 30-32. doi: 10.3969/j.issn.1006-2327.2009.04.012 [12] 周双清, 周亚东, 吴群富, 等. 海南降香黄檀种苗分级标准[J]. 西部林业科学, 2015, 44(3): 26-30. [13] 黎明, 黄柏华, 韦叶桥, 等. 降香黄檀轻基质容器苗分级标准研究[J]. 南方农业学报, 2016, 47(12): 2103-2107. [14] 史富强, 杨斌, 付玉嫔, 等. 铁力木造林苗木分级标准及施肥试验研究[J]. 林业调查规划, 2010, 35(5): 28-30. [15] 闫彩霞, 杨锦昌, 尹光天, 等. 米老排不同高度级苗木形态特征的分析[J]. 林业资源管理, 2013(5): 98-102. doi: 10.3969/j.issn.1002-6622.2013.05.020 [16] 楚秀丽, 吴利荣, 汪和木, 等. 马尾松和木荷不同类型苗木造林后幼林生长建成差异[J]. 东北林业大学学报, 2015, 43(6): 25-29. doi: 10.3969/j.issn.1000-5382.2015.06.005 [17] 周凤林, 李玉媛, 史富强, 等. 印度紫檀苗木分级研究[J]. 西部林业科学, 2004, 33(2): 29-33. doi: 10.3969/j.issn.1672-8246.2004.02.005 [18] 林元震, 陈晓阳. R与ASReml-R统计分析教程[M]. 北京: 中国林业出版社, 2014: 99-136. [19] 刘佳嘉, 李国雷, 刘勇, 等. 容器类型和胚根短截对栓皮栎容器苗苗木质量及造林初期效果的影响[J]. 林业科学, 2017, 53(6): 47-55. [20] 王印肖, 田冬. 苗木质量分级与检测方法[J]. 河北林业科技, 2005(4): 61-62. doi: 10.3969/j.issn.1002-3356.2005.04.034 [21] 潘超美, 黄崇才, 郑芳昊, 等. 药用植物土沉香种苗分级标准的研究[J]. 广州中医药大学学报, 2012, 29(2): 180-184. [22] 杨斌, 赵文书, 姜远标, 等. 思茅松造林苗木选择及施肥效应[J]. 浙江农林大学学报, 2005, 2(4): 396-399. doi: 10.3969/j.issn.2095-0756.2005.04.008 [23] 郑益兴, 冯永刚, 彭兴民, 等. 印楝1年生苗木生长节律与数量分级标准[J]. 南京林业大学学报(自然科学版), 2008, 32(3): 25-30. doi: 10.3969/j.issn.1000-2006.2008.03.006 [24] 赵建华, 叶力勤, 安巍, 等. 宁夏枸杞苗木分级及不同质量苗木定植初期生长特征[J]. 浙江农林大学学报, 2011, 28(3): 450-454. doi: 10.3969/j.issn.2095-0756.2011.03.016 [25] 陈琳, 曾杰, 贾宏炎, 等. 容器规格和基质配方对红锥幼苗生长及造林效果的影响[J]. 林业科学, 2017, 53(3): 76-83. -
期刊类型引用(2)
1. 李道亮,赵晔,杜壮壮. 农业领域多模态融合技术方法与应用研究进展. 农业机械学报. 2025(01): 1-15 . 百度学术
2. 杨巧梅,崔婷婷,袁永榜,罗桦. 轻量化YOLO模型在农作物微小病虫害检测中的应用研究. 中国农机化学报. 2024(09): 265-270+284 . 百度学术
其他类型引用(2)