水稻作为人类主要粮食之一，受众十分广泛，遍布亚、欧、非洲以及热带美洲，全球约一半的人口以稻米作为主食，因此水稻的产量问题一直备受关注，水稻产量预测也成为当前水稻生产中的一个重要研究方向。当前作物估产方面，主要有气象产量预测法、遥感技术和统计动力学模拟法^[1]，通常使用多元线性回归、决策树、神经网络等构建模型；水稻产量受多种因素影响，如气候、病虫害、农药化肥使用量等，导致产量数据呈现非线性分布，预测效果整体较差。

现今我国的水稻主要有早、中、晚3种水稻，水稻的分布位置与气候条件密切相关，光照、温度、风向、水分等因素的变化会影响水稻的生长，进而影响水稻的产量。比如，气温变化会对水稻花器官分化、发育以及水稻同化物合成、累积、转运及分配过程产生影响；水稻在孕穗期和灌浆期对水分变化最为敏感，在这期间水稻缺水会阻碍分蘖穗的形成，并影响谷粒的灌浆充实程度；水稻从孕穗期到出穗期叶面积较大，蒸腾强度达到高峰，蒸发量过大会对水稻生长造成影响；水稻属喜阳短日照作物，光照强度直接影响水稻同化物的形成速率，进而影响产量^[2-5]。当前，在气象估产方面，国内外学者已进行了相关的研究，比如，刘洪英等^[6]利用四川省南充市1989—2018年气象数据和水稻单产数据，采用线性回归方法建立了基于气象因子的水稻产量预报模型；高俊杰等^[7]利用1982—2020年广东省肇庆市高要区气象因子与早稻产量的数据，采用逐步线性回归方法建立了早稻产量预报模型；Chutia等^[8]利用1990—2012年水稻作物产量数据和周天气数据，建立了阿萨姆邦13个地区的水稻产量预测模型；Kaeomuangmoon等^[9]通过研究泰国77个区域的气候数据变化，利用Rice4cast平台预测季节性KDML 105水稻的产量；Traore等^[10]使用决策分析针对萨赫勒地区气候条件进行水稻估产；Jha等^[11]通过作物动态模型根据每日气象数据对尼泊尔水稻产量进行估产；Dhekale等^[12]针对印度克勒格布尔市日降雨量数据，采用CERES-Rice(DSSATv4.5)模型进行水稻产量预测；Nain等^[13]针对印度哈里亚纳邦卡尔纳尔地区的气象及水稻产量数据，使用多元线性回归等不同统计方法对该地区的水稻产量进行预测；Guo等^[14]通过气象和水稻产量等农艺性状数据，分别使用反向传播神经网络和偏最小二乘法构建模型，预测华东地区的水稻产量；杨北萍等^[15]通过长春市2个地区的气象、水稻遥感及产量数据，使用随机森林算法对2个地区的水稻产量进行预估；徐强强等^[16]通过浙江省台州市椒江区的气象及水稻产量数据，使用指数平滑法对该地区早稻产量进行预测。其他作物方面，路智渊等^[17]通过气象因子结合固原市小麦产量进行回归分析，进行小麦产量预测；马凡^[18]基于气象数据及安徽省小麦产量，构建小麦产量预测模型。以上方法不同程度地存在模型精度低、预测区域级别过大、模型优化时间过长等缺陷，如模型的误差超过10%，预测区域的级别为国家或省市，使用群智能算法等优化神经网络时间过长等。为了解决上述问题，本文提出一种基于Spark的鲸鱼优化算法−反向传播神经网络 (Whale optimization algorithm-backpropagation，WOA-BP)水稻产量预测方法。首先，以县/市/区作为研究区域级别，避免研究区域范围过大和数据量太少的问题，可以很好地反映气象因素对县/市/区级别水稻产量的影响，在研究小区域水稻产量时更具有参考意义；此外，BP神经网络具有优良的非线性映射能力，利用其构建水稻产量模型能够提升模型的预测效果，同时利用WOA对BP网络的权值和偏置值进行优化，改善BP神经网络收敛慢、易局部收敛等缺陷，能够进一步提升模型的效果，避免误差较大等问题；最后，将现有的大数据技术与农业和人工智能进行结合，利用大数据Spark框架，搭建Spark集群，将改造后的WOA-BP算法在集群环境下实现并行化运算，减少算法优化过程的时间开销，充分发挥大数据技术的优势，实现对水稻产量与气象数据的快速建模以及县/市/区水稻产量的精准预测。

1.   材料与方法

1.1   试验环境

模型的训练在TensorFlow框架下完成，优化算法在Spark集群下运行，其中Spark集群由3台相同配置的联想台式电脑组成，硬件环境：联想3148主板、AMD Ryzen5 3600 6-Core双线程CPU、16 GB DDR4 3 000 MHz内存、TP-LINK路由器，软件环境：Ubuntu16.04系统、TensorFlow2.8、Spark3.2.0、Python3.7，编程语言为Python；通过路由器将3台电脑构成局域网，按照1主节点2子节点搭建Spark集群环境，Spark集群模式为Standalone模式。

1.2   数据来源与处理

本文以广东省西部地区4座城市(湛江、茂名、阳江、云浮)23个区县2000—2020年水稻的单产(每667 m²)数据及该地区的气象因素作为研究对象，其中，该区域的水稻单产数据共计482条，数据来源于广东省统计局历年的《广东农村统计年鉴》；气象因素选取2000—2020年每年3—10月的每月气温(最高、最低、平均)，土温(最高、最低、平均)，露点温度(最高、最低、平均)，积温，降水量，蒸发量和太阳辐射量，来源于欧洲中期天气预报中心(ECMWF)的气象数据。为了降低后期BP神经网络模型结构的复杂程度，通过主成分分析 (Principal component analysis，PCA) 对影响因素进行降维，降维后累积方差贡献度保持在0.95以上；此外为了加快BP神经网络的收敛，需对数据进行归一化处理，归一化公式如下：

式中，X为当前元素，$ {X}' $为X归一化后的值，MIN、MAX分别为X整体数据集中所有元素的最小值和最大值，$ {X}_{\mathrm{m}\mathrm{i}\mathrm{n}} $与$ {X}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为当前所在列的最小值与最大值。

1.3   BP神经网络和WOA算法

BP神经网络是1986年由Rumelhart等^[19]提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络之一。BP神经网络学习过程分为输入信息正向传播和误差反向传播2个阶段^[20]。

WOA算法是由澳大利亚学者Mirjalili等^[21]于2016年提出的新型群智能寻优算法，该算法主要分为座头鲸识别并包围猎物、螺旋泡网攻击、鲸鱼根据同类位置随机搜索捕食3个阶段；WOA算法已经被运用到复杂函数优化、路径规划、图像分割和光伏模型等领域，并取得显著效果^[22]。

1.4   基于Spark的WOA-BP算法并行化

Spark是一个基于内存运算的大数据计算框架，在时间性能上优于MapReduce，Spark为了能够实现高并发和高吞吐率的数据处理过程，封装了弹性分布式数据集(Resilient distributed datasets，RDD)、累加器、广播变量3大数据结构，应对不同场景下数据处理，其中，RDD是Spark中最基本的数据单元，同时也是1个不可变、可分区且支持并行计算的数据集合。RDD用于支持Spark框架的并行计算，而累加器以及广播变量则用于数据同步，其中累加器是1个只写变量，变量一旦被修改，该变量在所有节点的值将同步更新；广播变量是1个只读变量，当变量被广播后，成为该节点的局部变量，节点修改该变量不会影响其他节点^[23-24]。

由于WOA算法优化BP神经网络时，存在大量迭代计算，除鲸鱼自身的信息不一样外，每头鲸鱼在寻找自身最优解以及更新自身位置信息的过程中，所有更新逻辑均相同，因此，结合Spark并行计算框架，实现基于Spark的WOA-BP算法并行化，减少算法的时间开销。图1为基于Spark的WOA-BP算法的并行化流程图，算法的具体步骤如下。

图  1  WOA-BP算法的并行化流程

Figure  1.  The parallelization process of the WOA-BP algorithm

下载: 全尺寸图片 幻灯片

1)设置相关参数：设置种群规模，如鲸鱼数量n，参数维度d等，同时设置Spark广播变量。

2)初始化种群：创建含d个元素的一维零数组，通过该数组构建RDD，之后通过map算子进行种群的初始化，实现并行化初始化操作，减少时间开销。

3)更新鲸鱼位置和适应度：更新每头鲸鱼的位置信息，并进行越界检查，之后计算该鲸鱼的适应度(Fitness)，以样本的均方根误差(Root mean square error，RMSE)作为适应度，计算公式如下：

式中，n为样本数，m为网络输出层输出个数，$ {y}_{ij} $为样本的实际值，$ {{y}'}_{ij} $为网络的实际输出值。

4)更新全局最优解和最小适应度：通过sortBy算子获取最小适应度以及该适应度对应的鲸鱼位置信息，更新全局最优解。

5)终止条件判断：若不满足终止条件，则程序继续执行，否则，通过collect算子收集各个分区的数据，完成算法的优化阶段，得到全局最优解。

6)构建BP神经网络：利用全局最优解对网络的权值和偏置值进行初始化，构建模型。

2.   结果与分析

2.1   基于WOA-BP水稻产量预测

本文以广东省西部地区2000—2020年县/市/区水稻单产及气象数据为基础，按照3∶1∶1进行数据集划分：2000—2012年数据作为训练集，2013—2020年数据作为验证集(50%)和测试集(50%)，通过BP神经网络建模，分别使用粒子群优化算法 (Particle swarm optimization，PSO) 和WOA对BP神经网络进行优化，得到BP、PSO-BP、WOA-BP 3种产量预测模型，之后对模型的预测结果进行反归一化。图2是3种模型预测值与真实值的绝对误差对比，由图2可以清晰看出，WOA-BP模型的曲线整体上更加贴近横坐标，即测试集样本的整体绝对误差小于另外2种模型的。表1为3种模型的预测精度对比，可以明显看出，与传统BP模型相比，经WOA优化后的产量预测模型的平均绝对百分比误差(Mean absolute percentage error，MAPE)减少了1.286个百分点，平均绝对误差(Mean absolute error，MAE)减少了4.338 kg，RMSE减少了7.462 kg。虽然PSO-BP模型相较传统BP模型在精度上有一定提升，但效果明显不如WOA-BP。此外，试验过程中发现，相同种群规模下，WOA与PSO 2种算法的优化时间相差较大，其中WOA为26 637 s，PSO为48 518 s，WOA比PSO少了约45%的时间开销，显然WOA的时间性能更优。因此，WOA在算法优化的时间开销以及模型效果上均优于PSO，故本文采用WOA-BP对广东省西部地区县/市/区的水稻产量进行最终建模。

图  2  3种模型的绝对误差

Figure  2.  Absolute error of the three models

下载: 全尺寸图片 幻灯片

表  1  3种模型精度对比

Table  1.  Precision comparison of the three models

模型 Model	平均绝对 百分比误差/% MAPE	平均绝对 误差/kg MAE	均方根 误差/kg RMSE
BP	8.354	31.320	41.008
PSO-BP	7.890	29.999	38.786
WOA-BP	7.068	26.982	33.546

下载: 导出CSV 

| 显示表格

2.2   基于Spark的WOA-BP算法时间性能

由表1和图2的结果可知，经WOA-BP算法得到的预测模型效果最佳，但算法的优化时间仍旧较长，故在此基础之上，结合Spark并行计算框架，减少优化过程的时间开销。因此，使用3台台式主机按照1主节点2子节点的形式搭建Spark集群，同时改造WOA-BP算法实现并行化，并按照2倍物理核数的规则对RDD进行分区，提升集群整体的并行度，充分利用CPU性能。表2为不同节点性能对比及配置信息，图3为不同节点算法运行时间对比，由表2和图3可以清晰看出，随着节点数量的增加，算法的优化时间随之减少，其中3节点比2节点和1节点分别减少了21.4%和39.3%的时间开销，大幅度缩短算法的优化时间。同时与“2.1”中非Spark的WOA的优化时间相比，减少了44%的时间开销，充分体现算法与Spark框架结合后的优势，真正实现对水稻产量与气象数据的快速建模。

表  2  不同节点数量性能对比及配置信息

Table  2.  Performance comparison and configuration information under different node number

节点数量 Node number	总内存/G Total memory	总物理核数 Total physical nuclei number	分区数量 Partition number	t/s
1	16	12	24	24 534
2	32	24	48	18 955
3	48	36	72	14 895

下载: 导出CSV 

| 显示表格

图  3  不同节点数时间开销对比

Figure  3.  Time overhead comparison under different node number

下载: 全尺寸图片 幻灯片

3.   结论

本文以广东省西部地区所有县/市/区作为研究区域，针对气象因素对水稻单产的影响，提出一种基于Spark框架的WOA-BP水稻县/市/区级别的单产预测方法。首先通过WOA对BP神经网络进行优化，避免BP神经网络收敛慢、易局部收敛等缺陷，提升BP模型的整体预测精度；其次，结合Spark并行计算框架，实现WOA-BP算法并行化，加快WOA-BP算法的运算速度，减少算法的时间开销；最后通过WOA-BP算法得到的最优解对网络进行初始化并构建网络模型，之后进行水稻单产的预测。测试集的预测结果表明，该模型的预测精度较高，预测结果较精确，论证了该方法的可行性及有效性；同时，该模型可以很好地反映气象因素对广东省西部地区县/市/区水稻单产的影响情况，对研究广东西部县/市/区乃至整个广东的水稻单产具有一定的借鉴意义。