Moisture and temperature prediction in tillage layer based on deep reinforcement learning
-
摘要:目的
利用土壤近表面空气温湿度与土壤内部参数的关联关系对耕作层土壤水分、温度进行精准预测，为实现精细化农业种植管理提供服务。
方法针对土壤耕作层水分、温度预测在训练集获取与模型验证等方面的实际需求，设计了基于嵌入式系统及窄带物联网(Narrow band internet of things，NB-IoT)无线通信技术的物联网数据采集系统。在此基础上基于深度Q学习(Deep Q network，DQN)算法探索了一种模型组合策略，以长短期记忆(Long short-term memory，LSTM)、门限循环单元(Gated recurrent unit，GRU)与双向长短期记忆网络(Bi-directional long short-term memory，Bi-LSTM)为基础模型进行加权组合，获得了DQN-L-G-B组合预测模型。
结果数据采集系统实现了对等间隔时间序列环境数据的长时间稳定可靠采集，可以为基于深度学习的土壤水分、温度时间序列预测工作提供准确的训练集与验证集数据。相对于LSTM、Bi-LSTM、GRU、L-G-B等模型，DQN-L-G-B组合模型在2种土壤类型(壤土、砂土)耕作层上水分与温度预测中的均方根误差(Root mean square error，RMSE)、平均绝对误差(Mean absolute error，MAE)、平均百分比误差(Mean absolute percentage error，MAPE)都有一定程度的降低，R2提高了约0.1%。
结论通过该物联网数据采集系统与DNQ-L-G-B组合模型，可以有效地完成基于土壤近表面空气温、湿度对耕作层土壤中水分、温度的精准预测。
Abstract:ObjectiveTo accurately predict the water and temperature of the arable layer using the correlation between soil near surface air temperature and humidity and soil internal parameters, and serve for the realization of fine agricultural planting management.
MethodAiming at the actual needs of soil tillage layer moisture and temperature prediction in training set acquisition and model verification, an internet of things data acquisition system based on embedded system and narrow band internet of things (NB-IoT) wireless communication technology was designed. A model combination strategy was explored based on the deep Q network (DQN) deep reinforcement learning algorithm. Based on the weighted combination of long short-term memory (LSTM), gated recurrent unit (GRU) and Bi-directional long-short term memory (Bi-LSTM), the DQN-L-G-B combination prediction model was obtained.
ResultThe data acquisition system achieved long-term stable and reliable collection of time series environmental data with equal intervals, and provided accurate training set and verification set data for soil moisture, temperature time series prediction based on deep learning. Compared with models such as LSTM, Bi-LSTM, GRU and L-G-B, the DQN-L-G-B combined model not only lowered the root mean square error (RMSE), mean absolute error (MAE), and mean absolute percentage error (MAPE) in the prediction of moisture and temperature on the tillage layer of the two soil types (loam and sand), but also increased R2 by about 0.1%.
ConclusionThrough the internet of things data acquisition system and the DQN-L-G-B combined model, the accurate prediction of soil moisture and temperature in the cultivated layer based on soil near surface air temperature and humidity can be effectively completed.
-
中国是一个农业大国，农业人口超过7亿人，耕地面积达到121亿hm2，在全球耕地总面积中占8%左右。在农作物耕作培育过程中，土壤是不可忽视的环境因素之一[1]。土壤耕作层作为农作物根系生存的重要介质，包含着农作物生长所需要的养分与水分。农作物根系土壤环境是否适宜其生长，对农作物优质、高效栽培具有重要意义[2]。农业土壤由浅入深一般由耕作层、犁底层、心土层和底土层等层位组成[3]。耕作层指经长期耕种已经熟化的表土层，深度为15~20 cm，耕作层易受周围环境气候条件的影响，该层往往有机质含量高，养分丰富，土体疏松，农作物的根系主要分布在耕作层中[4]。在农业种植中，农作物的根系主要依赖耕作层的土壤环境而很少分布在其他层位，因此需要对土壤耕作层进行更多地关注与研究。在土壤的众多参数中，土壤温度与水分这2个参数具有重要作用[5]。土壤水分和温度是保证植物生长的关键，不适宜的土壤水分、温度不利于田间耕作和播种，保持适宜的土壤水分、温度对农作物优质栽培具有重要意义[6]。因此对耕作层土壤水分及温度进行的高质量时序预测对科学研究和农业生产实际都有重要意义。有研究表明，0~20 cm土层的地温与空气温度呈线性关系，同时，土壤深度越深，土壤温度与周围环境空气温度的相关性就越滞后[7-8]。Han等[9]研究发现，土壤浅层温度与周围环境温度的关系对应一种正弦曲线。近年来随着计算机运算能力的提升，国内外许多学者开始采用机器学习方法对土壤水分、温度预测进行研究。薛晓萍等[10]利用支持向量机方法建立土壤水分预测模型，构建的模型预测精度较高，但利用传统方法预测的数据具有滞后性且较难找到最优参数。Wu等[11]采用人工神经网络(Artificial neural network，ANN)较为精确地估算了在10 cm深度下的月平均土壤温度数据，但该方法仅能预测月维度的土壤温度，难以适用于日常的农业生产中。Jung等[12]基于3种深度学习的神经网络模型，预测了温室中温度、湿度和CO2的环境变化，3种深度学习的神经网络模型依次为ANN、具有外源输入的非线性自回归网络(Nonlinear autoregressive network with exogenous inputs，NARX)以及长短期记忆(Long short-term memory，LSTM)，试验发现LSTM的总体精度最高。
传统的机器学习模型通常对样本的质量和数量有更多的限制，需要在数据预处理和特征提取方面付出更多的努力。另外，由于不同地区的土壤差异很大，需要更具普适性的土壤预测方法[13]。近年来，物联网技术为智慧农业的发展提供了重要的推动力，如何利用物联网获得的数据进行数据分析是智慧农业领域需要解决的重要问题之一。土壤水分、温度具有明显的时空特征，土壤耕作层深度较浅，易受到地表气温影响导致水分蒸腾。当气温较高时，其水分蒸发速率较快导致土壤水分下降；当气温较低时，水分不易蒸腾就容易保留下来。土壤耕作层距离地表较近，空气温度也会对土壤耕作层温度产生影响。因此可以利用环境空气温、湿度与土壤水分、温度之间的关系构建预测模型，预测未来一段时间的土壤水分、温度。基于该预测方法决策者可以依靠低成本的数据更好地了解土壤耕作层水分与温度动态，以指导实践。
1. 材料与方法
对土壤耕作层水分、温度进行预测，需要先了解前段时间的土壤水分、温度数据，然后通过土壤近表面环境空气温、湿度和土壤水分、温度的历史相互关系来预测未来时间的土壤水分温度。使用基于长短期记忆结构的数据分析与预测策略来实现由土壤近表面环境空气温、湿度到土壤水分、温度的分析预测。
1.1 用于组合预测的深度学习基模型
LSTM从循环神经网络(Recurrent neural network，RNN)改进而来[14]。LSTM由输入门、输出门、遗忘门组成循环模块，提高网络保留长期信息的能力并有效解决梯度爆炸与消失问题[15]。LSTM中引入3个门限来提升长时信息记忆能力，并过滤掉不重要的信息[16]。
门限循环单元(Gated recurrent unit, GRU)由Cho等[17]提出，由LSTM改进而来。LSTM神经网络模型较为复杂，参数较多，存在训练时间较长的问题。为了简化结构，GRU将遗忘门和输入门合并为更新门，同时对细胞状态进行融合[18]。
双向长短期记忆网络(Bi-directional long short-term memory，Bi-LSTM)包含了前向与后向LSTM。输入层数据经过两个方向计算，最后结合隐藏状态作为下一层输入。Bi-LSTM同时拥有前向传播和反向传播，能够提取序列的双向特征，在一定程度上增加抓取时序信息的能力。但是模型的参数也相应增加，导致模型训练需要更多的时间[19-20]。
1.2 深度强化学习理论
强化学习是通过智能体与环境间的交互学习最优策略的过程[21]，系统框图如图1所示，智能体做出动作后，由环境反馈奖励，同时改变智能体与环境的状态。在强化学习中，智能体以获得最大回报为目标来执行动作[22]。
马尔可夫决策过程可用于强化学习建模，通常用四元组<S, A, P, R>表示。其中S为状态空间，A为动作空间，P为状态转移函数，R为奖励函数。策略用
$ \pi $ 表示。智能体在执行动作后的回报具有延迟性，只通过立即奖励来评价动作优劣并不准确。强化学习中用值函数进行评价，包括状态值函数$ {V}^{\pi }\left(s\right) $ 和动作−状态值函数$ Q(s,a) $ 。$ {V}^{\pi }\left(s\right) $ 定义如式(1)所示，$$ {V}^{\pi }\left(S\right)={E}_{\pi }\left[\displaystyle\sum _{t=0}^{\infty }{\gamma }^{t}{r}_{t}\left|{s}_{0}=s\right.\right] \text{，} $$ (1) 式中，
$ \mathrm{\gamma }\in \left[\mathrm{0,1}\right] $ 表示折扣因子，$ {E}_{\pi } $ 表示采取策略$ \pi $ 的期望值。状态−动作值函数又称Q值函数，定义如式(2)所示，
$$ {Q}^{\pi }\left(s,a\right)={E}_{\pi }\left[\displaystyle\sum _{t=0}^{\infty }{\gamma }^{t}{r}_{t}\left|{s}_{0}=s,{a}_{0}=a\right.\right] \text{。} $$ (2) 用贝尔曼方程表示状态值函数如式(3)所示，
$$ {V}^{\pi }\left(S\right)={E}_{\pi }[{r}_{t+1}+\gamma {V}^{\pi }({s}_{t+1}\left)\right] ， $$ (3) 状态值函数可由回报奖励和未来时刻的状态值函数计算得到。
在许多任务中强化学习算法的表现并不佳，主要因为强化学习算法存在2个缺点：
1)采用Q值表来记录不同状态下执行各动作的回报，状态动作空间维度较高时会产生维数灾难，导致构建Q值表所需的内存空间极大。
2)在首次执行某状态动作组合时得到的Q值可能并不准确，需要多次访问，以完善相应Q值。在状态空间或动作空间维度较高时，找到最优策略需要较大的时间复杂度。
深度Q学习(Deep Q network，DQN)针对强化学习存在的问题做出了改进，是深度强化学习中的经典算法[23]。DQN在加入神经网络基础上的改进主要包括以下2个方面：
1)采用经验回放机制，该机制构建了一个经验池。智能体每次执行动作后，就将样本数据存储到经验池中。每次训练时从经验池中进行随机抽样，清除观测序列的相关性。
2) DQN中使用了当前值网络与目标值网络。目标值网络用于辅助计算Q值，每隔一定步长更新当前值网络到目标值网络[24]。
利用时间差分偏差
$ \delta $ 与损失函数L($ \theta $ )更新网络参数$ \theta $ [25]。目标$ Q $ 值($ {Q}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}} $ )表示如式(4)所示，$$ {Q}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}=r+\gamma \underset{{a}'}{\mathrm{m}\mathrm{a}\mathrm{x}}Q({s}',{a}',{\theta }^-) \text{，} $$ (4) 式中，r为执行动作的即刻奖励，
$ \gamma $ 为折扣因子，$ {s}' $ 表示下一时刻的状态，$ {a}' $ 表示下一时刻采取的动作，$ {\theta }^{-} $ 表示目标值网络参数，$ \mathrm{\delta } $ 如式(5)所示，$$ \delta =r+\gamma \underset{{a}'}{\mathrm{m}\mathrm{a}\mathrm{x}}Q\left({s}',{a}',{\theta }^-\right)-Q\left({s}',{a}',{\theta }^-\right) \text{，} $$ (5) L(
$ \theta $ )如式(6)所示[26]，$$ L\left(\theta \right)={\delta }^{2} 。 $$ (6) 2. 基于深度强化学习的水分、温度组合预测模型
2.1 DQN-L-G-B组合模型
组合模型中的各个单一模型称为基模型，用于组合的基模型为LSTM、GRU以及Bi-LSTM。由“1.1”可知LSTM、GRU与Bi-LSTM这3个单一模型各有优缺点，为了更大程度地发挥单一模型的预测性能，提高土壤水分、温度预测精度，研究基于深度强化学习的DQN-L-G-B组合式预测模型。组合预测模型结构如图2所示，组合模型的输入为t-k时刻到t-1时刻的空气温、湿度与土壤水分、温度数据，该输入分别映射到不同的LSTM、GRU与Bi-LSTM模型中，各模型输出的预测值分别为
$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t}^{1},{\mathrm{S}\hat {\mathrm{M}}}_{t}^{1}\right] $ 、$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t}^{2},{\mathrm{S}\hat {\mathrm{M}}}_{t}^{2}\right] $ 与$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t}^{3},{\mathrm{S}\hat {\mathrm{M}}}_{t}^{3}\right] $ 。将各模型的预测值$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t}^{1},{\mathrm{S}\hat {\mathrm{M}}}_{t}^{1}\right] $ 、$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t}^{2},{\mathrm{S}\hat {\mathrm{M}}}_{t}^{2}\right] $ 与$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t}^{3},{\mathrm{S}\hat {\mathrm{M}}}_{t}^{3}\right] $ 进行组合，得到最终组合模型的预测值$ \left[{\mathrm{S}\hat {\mathrm{T}}}_{t},{\mathrm{S}\hat {\mathrm{M}}}_{t}\right] $ 。为了提高LSTM、GRU与Bi-LSTM模型的组合预测结果，引入DQN深度强化学习算法进行加权求和，得到优化后的预测值。基于马尔科夫决策过程，对状态空间S、动作空间A、奖励函数R建模如下：
1)状态空间S。状态空间矩阵S包含各基模型的预测结果权重，如式(7)所示，
$$ {{\boldsymbol{S}}}=[{w}_{1},{w}_{2},{w}_{3}]， $$ (7) 式中，w1,w2,w3分别表示LSTM、GRU与Bi-LSTM这3个模型的预测结果权重。初始的状态s0设为[1/3,1/3,1/3]；
2)动作空间A。动作空间矩阵A包含各基模型的预测结果权重增加与减少的动作，建立3行2列的动作矩阵，如式(8)所示，
$$ {{\boldsymbol{A}}}=\left[\begin{array}{c}+\Delta w,\mathrm{ }-\Delta w\\ +\Delta w,\mathrm{ }-\Delta w\\ +\Delta w,\mathrm{ }-\Delta w\end{array}\right] ，$$ (8) 式中，
$ \Delta w $ 表示每次执行动作增加或减少的权重大小；3)奖励函数R。奖励函数的设置是深度强化学习中的重要问题，每次执行完动作后获得的即刻奖励函数R设置如式(9)与式(10)所示。
$$ \mathrm{M}\mathrm{A}\mathrm{E}\left(T\right)=\displaystyle\sum _{t=1}^{N}\left|{w}_{1}^{T}{\hat {y}}_{t}^{1}+{w}_{2}^{T}{\hat {y}}_{t}^{2}+{w}_{3}^{T}{\hat {y}}_{t}^{3}-{y}_{t}\right|/N ，$$ (9) $$ R=\left\{\begin{array}{c}k+{\rm{MAE}}\left(T\right)-{\rm{MAE}}\left(T+1\right),\\ {\rm{if}}\;{\rm{MAE}}\left(T+1\right) < {\rm{MAE}}\left(T\right)\\ -k+{\rm{MAE}}\left(T\right)-{\rm{MAE}}\left(T+1\right),\\ {\rm{if}}\;{\rm{MAE}}\left(T+1\right)\geqslant {\rm{MAE}}\left(T\right)\end{array}\right. $$ (10) 式中，T表示第T次执行动作，
$ {w}_{1}^{{T}} $ 、$ {w}_{2}^{{T}} $ 、$ {w}_{3}^{{T}} $ 分别表示第T次执行动作后LSTM、GRU与Bi-LSTM模型的预测结果权重，$ {\hat {y}}_{t}^{1} $ 、$ {\hat {y}}_{t}^{2} $ 与$ {\hat {y}}_{t}^{3} $ 分别表示组合模型的预测值，yt为实际值，N表示训练集的样本数量。R如式(10)所示，当执行完动作后，若组合模型预测指标平均绝对误差 (Mean absolute error，MAE)小于上一次的结果，就会得到一定奖励，这里设置了当MAE(T+1)<MAE(T)时有定值为k的附加奖励，是为了避免遇到MAE提升较小时奖励稀疏的问题。DQN-L-G-B算法中采用探索策略为ε-greedy策略，算法步骤如下：
1)初始化模型参数，初始化当前值网络参数
$ \theta $ 、目标值网络参数$ {\theta }^{-}=\theta $ 、更新步长$ \alpha $ 、批更新一次训练所抓取的数据样本数量(Batch size, BS)、经验池B、折扣因子$ \gamma $ 、探索概率$ \varepsilon $ 、训练次数step=0、动作空间A ；2)对于每一次权重优化任务，初始化环境状态s=s0，对于每一次组合模型的预测结果权重改变动作；
3)随机生成概率p∈[0,1]，如果p小于
$ \mathrm{\varepsilon } $ ，则随机选取一个动作$ {a}_{t} $ ；否则，将当前状态st输入当前值网络，得到使得Q值最大的$ {a}_{t} $ ；4)执行
$ {a}_{t} $ 改变s，计算$ \hat {y} $ 后得到样本($ s,{a}_{t},r, {s}_{t+1} $ )存入经验池B中，如果经验池B的样本数大于BS，则从B中随机取出BS个样本，对于每一个样本($ s,{a}_{t},r,{s}_{t+1} $ )，预测下一状态最优动作$ {{a}}_{{{s}}_{{t}+1}}^{\mathrm{m}\mathrm{a}\mathrm{x}} $ ，计算时间差分误差(Temporal difference error，TD-error)即$ \mathrm{\delta }={{Q}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}-{Q}\left({{s}}_{{t}},{{a}}_{{t}},\mathrm{\theta }\right) $ ；5)根据损失
$ L\left(\theta \right)={\delta }^{2} $ ，批量训练更新当前值网络参数$ \theta $ ，网络更新次数step加1，如果mod(step,α)=0，更新目标值网络参数$ {\theta }^{-}=\theta $ ；6)满足任务训练次数要求后。输出最优策略与优化后的权重矩阵
$ \left[{w}_{1},{w}_{2},{w}_{3}\right] $ 。3. 试验结果与分析
3.1 数据集获取
为了获取用于构建深度学习模型的数据集，在土壤耕作层水分、温度预测的背景下，基于NB-IoT与云平台构建可以长周期等间隔采集数据的物联网数据采集系统。系统由现场终端节点与云端数据管理平台组成。现场终端节点获得各项监测参数的观测值，并通过NB-IoT数据通道送往构建在阿里云上的云端数据管理平台。云端数据管理平台结合服务器MySQL数据库实现NB-IoT数据接口、数据存储、数据交互等管理功能。现场终端节点主板和终端节点如图3所示。试验表明，在测试期间数据包传输成功率为99.95%，该数据采集系统具有高可用性与稳定性，可以实现长周期等间隔地采集时间序列。
![]()
图 3 现场终端节点主板(a)和试验中的现场终端节点(b)Figure 3. Field terminal node main board (a) and field terminal node in the experiment (b)数据采集系统搭建完毕后，将终端节点部署于试验基地中，进行长周期的数据采集试验。试验基地分别位于江苏省连云港市赣榆区和河南省开封市尉氏县。赣榆区属于暖温带海洋性季风气候，靠近东部沿海，较为湿润，年均降水量约为900 mL。开封市尉氏县属于温带季风气候，地处中原地区，相较于赣榆区较为干燥，年均降水量约为600 mL。分别选取赣榆地区的壤土和尉氏县的砂土作为两地区的试验土壤。
试验中壤土种植箱中混种韭菜与矮株番茄，砂土种植箱中单种花生，如图4所示，在试验期间作物根系深度未超过20 cm。空气温湿度传感器被布设于种植箱上方50 cm处(处于土壤水分蒸发的影响范围内)；土壤传感器探针插入土深15 cm处。种植箱被置于自然环境中(无大棚薄膜等遮蔽)，日照、降雨、环境空气运动、灌溉等自然及人为活动都将对试验环境中的土壤水分温度等造成影响。
集中管理数据的云端平台部署于阿里云ECS服务器中。设置终端节点的数据采集周期为5 min/次，整个测试周期为2020年11月1日至2021年9月18日。在这一段时间的长周期测试过程中，终端节点向云服务器采集发送的数据包数目为92448个，云端服务器共接收到有效数据包数目为92402个，可以满足日常采集需求。
3.2 模型训练
使用数据采集系统在2020年11月1日0:00时至2021年9月18日24:00时采集的数据作为数据集，主要包括空气温度、空气湿度、土壤温度与土壤水分等农作物栽培生态环境数据。其中90%作为训练集，10%作为测试集。利用训练集对LSTM、GRU、Bi-LSTM等基模型以及DQN-L-G-B组合模型进行训练，再利用测试集对各模型的预测结果进行比较与分析。
深度学习预测模型的输入时间步长为5，输入维度为4，维度分别是空气温度、空气湿度、土壤温度和土壤水分。每个时间步长的间隔为30 min。模型训练试验使用的操作系统为Windows 10 64位，处理器型号为Intel Core i5-9400F CPU 2.90 GHz，内存为16 GB，编程语言采用Python3.6，深度学习框架采用Tensorflow2.1。
试验中构建的LSTM、GRU和Bi-LSTM模型都包括2个网络层，分别有32和16个神经元，均使用Tanh作为激活函数，Huber loss作为损失函数，Adam作为优化算法，迭代次数均设置为100次。
DQN-L-G-B中的DQN神经网络模型采用2个全连接神经网络(Densely-connected neural network，DNN)，分别有128和64个神经元，训练超参数设置学习率为10−4，优化器为Adam,奖励折扣因子为0.9，激活函数为ReLU，权重变更步长为10−5，经验池容量为3200，最小更新批次为32，目标值网络更新步长为200，Huber loss超参数为1，训练任务总次数为10000，探索概率为0.1。
3.3 评价指标
用来表示预测精度的评价指标较多，为了从多个角度比较模型的预测效果。本文选取以下4个指标作为评价指标：
1)均方根误差(Root mean square error，RMSE)。RMSE可以测量误差的平均大小，对于预测值中的异常值较为敏感，RMSE越小表示预测结果越好。RMSE计算如式(11)所示，
$$ \mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt{\dfrac{1}{N}\displaystyle\sum _{i=1}^{N}{({y}_{{\rm{t}}}-{y}_{{\rm{p}}})}^{2}} ，$$ (11) 式中，
$ {{y}}_{\mathrm{t}} $ 表示真实值，$ {{y}}_{\mathrm{p}} $ 表示预测值，N表示样本点数量。2)平均绝对误差(Mean absolute error，MAE)。MAE是一般形式的误差平均值，MAE越小表示预测结果越精准，MAE计算如式(12)所示：
$$ \mathrm{M}\mathrm{A}\mathrm{E}=\dfrac{1}{N}\displaystyle\sum _{i=1}^{N}\left|{y}_{{\rm{t}}}-{y}_{{\rm{p}}}\right| 。 $$ (12) 3)平均百分比误差(Mean absolute percentage error，MAPE)。MAPE计算如式(13)所示，
$$ \mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}=\dfrac{1}{N}\displaystyle\sum _{i=1}^{N}\left|\dfrac{{y}_{{\rm{t}}}-{y}_{{\rm{p}}}}{{y}_{{\rm{t}}}}\right| ， $$ (13) 相比MAE，MAPE增加了误差值与真实值相比的步骤，MAPE越小表示误差相对于真实值越小，模型预测结果越好。
4)决定系数(R-Square，R2)。R2计算如式(14)所示，
$$ {R}^{2}=1-\dfrac{\displaystyle\sum _{i=1}^{N}{\left|{y}_{{\rm{t}}}-{y}_{{\rm{p}}}\right|}^{2}}{\displaystyle\sum _{i=1}^{N}{\left|\bar {{y}_{{\rm{p}}}}-{y}_{{\rm{p}}}\right|}^{2}} ， $$ (14) 式中，
${\bar{y}}_{\mathrm{p}}$ 表示预测值的均值，R2越接近于1表示模型预测的拟合效果越好。3.4 试验结果分析
3.4.1 耕作层土壤温度预测结果分析
对部署在不同土壤类型的2个终端节点处的耕作层土壤水分、温度进行比较分析，所使用的预测模型部署条件相同。DQN-L-G-B模型经过训练后得到优化后壤土耕作层温度预测权重w1、w2和w3分别为0.330773、0.331271和0.332472。砂土耕作层温度预测权重分别为0.332062、0.331443和0.327623。为了便于比较分析DQN-L-G-B模型优化的有效性，在模型结果分析中引入了加权平均的L-G-B模型，其基模型权重w1、w2、w3均为1/3。
LSTM、GRU、Bi-LSTM、L-G-B以及DQN-L-G-B模型在土壤耕作层温度测试集上的RMSE、MAE、MAPE以及R2等评价指标的表现对比如表1所示。在壤土与砂土的土壤耕作层中，DQN-L-G-B的各评价指标均优于LSTM、GRU、Bi-LSTM等基模型以及未引入DQN算法的L-G-B模型。
表 1 2种土壤类型的土壤耕作层温度各模型的试验结果Table 1. Experimental results of various models of soil tillage layer temperature in two soil types模型 Model RMSE MAE MAPE R2 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand LSTM 0.752 0.953 0.509 0.643 0.0191 0.0239 0.916 0.872 GRU 0.762 0.868 0.543 0.582 0.0202 0.0212 0.914 0.894 Bi-LSTM 0.739 0.829 0.501 0.568 0.0188 0.0210 0.919 0.903 L-G-B 0.721 0.838 0.484 0.560 0.0181 0.0207 0.923 0.901 DQN-L-G-B 0.692 0.780 0.450 0.503 0.0167 0.0183 0.930 0.914 在壤土耕作层温度预测中，相较于Bi-LSTM模型，DQN-L-G-B的RMSE降低了6.3%，MAE降低了10.1%，MAPE降低了11.1%，R2提高了1.1%。可以看到，与最优的基模型相比，DQN-L-G-B模型在RMSE、MAE以及MAPE等性能指标上均有较好的优化结果，对于R2也有一定程度的提升。DQN-L-G-B模型与L-G-B模型相比，DQN-L-G-B模型的RMSE降低了4%，MAE降低了7%，MAPE降低了7.7%，R2提升了0.7%。在砂土耕作层温度预测中，相较于Bi-LSTM模型，DQN-L-G-B的RMSE降低了5.9%，MAE降低了11.4%，MAPE降低了12.8%，R2提高了1.2%。DQN-L-G-B模型与L-G-B模型相比，在RMSE降低了6.9%，MAE降低了10.1%，MAPE降低了11.5%，R2提升了1.4%。可以看到，在2个不同位置耕作层土壤温度预测中，DQN-L-G-B模型都有着不错的表现。
在LSTM、GRU、Bi-LSTM这3种基模型中，Bi-LSTM表现最优，在以下的试验结果分析中，引入基模型中表现最好的Bi-LSTM与其他2种组合模型进行对比，选取测试集中的最后3 d (2021年9月16—18日)的样本点进行拟合曲线绘制，结果如图5所示。在图5中，可以看到DQN-L-G-B模型预测结果的拟合曲线更贴近于真实值曲线。
![]()
图 5 不同土壤类型上的3种预测模型耕作层土壤温度的预测值与真实值Figure 5. Predicted and true values of three prediction models for soil temperature of the cultivated layer in different soil types3.4.2 耕作层土壤水分预测结果分析
壤土耕作层水分预测权重w1、w2和w3分别为0.332086、0.333553和0.333367；砂土耕作层水分预测权重分别为0.333277、0.333279和0.330464。LSTM、GRU、Bi-LSTM、L-G-B以及DQN-L-G-B模型在土壤耕作层水分测试集上的RMSE、MAE、MAPE以及R2等评价指标的表现对比如表2所示。
表 2 土壤耕作层水分预测各模型试验结果Table 2. Experimental results of various models for soil moisture prediction in cultivated layer模型 Model RMSE MAE MAPE R2 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand LSTM 0.472 0.485 0.134 0.226 0.0399 0.0391 0.995 0.994 GRU 0.471 0.502 0.150 0.237 0.0469 0.0487 0.995 0.994 Bi-LSTM 0.468 0.477 0.114 0.186 0.0249 0.0360 0.995 0.995 L-G-B 0.459 0.469 0.106 0.169 0.0312 0.0353 0.996 0.995 DQN-L-G-B 0.431 0.452 0.090 0.142 0.0217 0.0336 0.996 0.996 在壤土耕作层土壤水分预测中，相较于Bi-LSTM模型，DQN-L-G-B模型的RMSE降低了7.9%，MAE降低了21.0%，MAPE降低了12.8%，R2提高了0.1%。可以看到，与最优的基模型相比，DQN-L-G-B模型在RMSE、MAE以及MAPE等性能指标上均有较好的优化结果， R2也略微提升。DQN-L-G-B模型与L-G-B模型相比，其RMSE降低了6.1%，MAE降低了15.1%，MAPE降低了30.4%，R2保持一致。
在砂土耕作层水分预测中，相较于Bi-LSTM模型，DQN-L-G-B模型的RMSE降低了5.2%，MAE降低了23.6%，MAPE降低了12.9%，R2提高了0.1%。DQN-L-G-B模型与L-G-B模型相比，其RMSE降低了3.7%，MAE降低了16.0%，MAPE降低了30.4%，R2提升了0.1%。可以看到，在2种类型的耕作层土壤水分预测中，DQN-L-G-B模型预测精度都有不错的表现。
选取测试集中的最后3 d (2021年9月16—18日)的样本点进行拟合曲线绘制，选取基模型中表现最好的Bi-LSTM与其他2种组合模型进行对比，结果如图6所示，可以看到，DQN-L-G-B模型预测结果的拟合曲线更贴近于真实值曲线。
![]()
图 6 不同土壤类型3种预测模型耕作层土壤水分的预测值与真实值Figure 6. Predicted and true values of three prediction models for soil moisture of the cultivated layer in different soil types4. 结论
本文基于NB-IoT与云平台构建了物联网数据采集系统，实现环境土壤数据的可靠收集以用于深度学习模型训练。测试结果表明，通过该数据系统可以稳定可靠地获得用于日常预测及深度学习训练的核心数据集。
本文针对土壤耕作层水分与温度预测问题，基于深度强化学习方法研究了DQN-L-G-B组合模型。最后试验结果表明，在土壤耕作层水分与温度预测问题中，DQN-L-G-B组合模型可以更为精准地预测未来时刻的土壤水分与温度。在未来的研究中，可以进一步考虑预测得到的未来时刻土壤水分温度数据后的应用场景。如预测得到30 min后的耕作层土壤水分过低时，可以控制农业物联网设备进行浇水等操作。
-
![]()
图 3 现场终端节点主板(a)和试验中的现场终端节点(b)
Figure 3. Field terminal node main board (a) and field terminal node in the experiment (b)
![]()
图 5 不同土壤类型上的3种预测模型耕作层土壤温度的预测值与真实值
Figure 5. Predicted and true values of three prediction models for soil temperature of the cultivated layer in different soil types
![]()
图 6 不同土壤类型3种预测模型耕作层土壤水分的预测值与真实值
Figure 6. Predicted and true values of three prediction models for soil moisture of the cultivated layer in different soil types
表 1 2种土壤类型的土壤耕作层温度各模型的试验结果
Table 1 Experimental results of various models of soil tillage layer temperature in two soil types
模型 Model RMSE MAE MAPE R2 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand LSTM 0.752 0.953 0.509 0.643 0.0191 0.0239 0.916 0.872 GRU 0.762 0.868 0.543 0.582 0.0202 0.0212 0.914 0.894 Bi-LSTM 0.739 0.829 0.501 0.568 0.0188 0.0210 0.919 0.903 L-G-B 0.721 0.838 0.484 0.560 0.0181 0.0207 0.923 0.901 DQN-L-G-B 0.692 0.780 0.450 0.503 0.0167 0.0183 0.930 0.914 
下载: 导出CSV
表 2 土壤耕作层水分预测各模型试验结果
Table 2 Experimental results of various models for soil moisture prediction in cultivated layer
模型 Model RMSE MAE MAPE R2 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand 壤土 Loam 砂土 Sand LSTM 0.472 0.485 0.134 0.226 0.0399 0.0391 0.995 0.994 GRU 0.471 0.502 0.150 0.237 0.0469 0.0487 0.995 0.994 Bi-LSTM 0.468 0.477 0.114 0.186 0.0249 0.0360 0.995 0.995 L-G-B 0.459 0.469 0.106 0.169 0.0312 0.0353 0.996 0.995 DQN-L-G-B 0.431 0.452 0.090 0.142 0.0217 0.0336 0.996 0.996
下载: 导出CSV
-
[1] XING L, LI L H, GONG J K, et al. Daily soil temperatures predictions for various climates in United States using data-driven model[J]. Energy, 2018, 160: 430-440. doi: 10.1016/j.energy.2018.07.004
[2] HAO H, YU F H, LI Q L. Soil temperature prediction using convolutional neural network based on ensemble empirical mode decomposition[J]. IEEE Access, 2020, 9: 4084-4096.
[3] 杜娟. 关中平原土壤耕作层形成过程研究[D]. 西安: 陕西师范大学, 2014. [4] 付威, 雍晨旭, 马东豪, 等. 黄土丘陵沟壑区治沟造地土壤快速培肥效应[J]. 农业工程学报, 2019, 35(21): 252-261. doi: 10.11975/j.issn.1002-6819.2019.21.031 [5] PRASAD R, DEO R C, LI Y, et al. Soil moisture forecasting by a hybrid machine learning technique: ELM integrated with ensemble empirical mode decomposition[J]. Geoderma, 2018, 330: 136-161. doi: 10.1016/j.geoderma.2018.05.035
[6] FU Q, MA Z A, WANG E L, et al. Impact factors and dynamic simulation of tillage-layer temperature in frozen-thawed soil under different cover conditions[J]. International Journal of Agricultural and Biological Engineering, 2018, 11(2): 101-107. doi: 10.25165/j.ijabe.20181102.3068
[7] 李宏鹏, 张婉婷, 李颖姣. 气温对浅层地温的影响研究综述[J]. 现代农业研究, 2020, 26(7): 57-58. doi: 10.3969/j.issn.1674-0653.2020.07.026 [8] 付强, 马梓奡, 李天霄, 等. 北方高寒区不同覆盖条件下土壤温度差异性分析[J]. 农业机械学报, 2014, 45(12): 152-159. doi: 10.6041/j.issn.1000-1298.2014.12.023 [9] HAN G L, WANG J L, PAN Y Y, et al. Temporal and spatial variation of soil moisture and its possible impact on regional air temperature in China[J]. Water, 2020, 12(6): 1807. doi: 10.3390/w12061807.
[10] 薛晓萍, 王新, 张丽娟, 等. 基于支持向量机方法建立土壤湿度预测模型的探讨[J]. 土壤通报, 2007, 38(3): 427-433. doi: 10.3321/j.issn:0564-3945.2007.03.003 [11] WU W, TANG X P, GUO N J, et al. Spatiotemporal modeling of monthly soil temperature using artificial neural networks[J]. Theoretical and Applied Climatology, 2013, 113(3/4): 481-494.
[12] JUNG D H, KIM H S, JHIN C, et al. Time-serial analysis of deep neural network models for prediction of climatic conditions inside a greenhouse[J]. Computers and Electronics in Agriculture, 2020, 173: 105402. doi: 10.1016/j.compag.2020.105402.
[13] 柴萌, 王振龙, 陈元芳, 等. 淮北南部区地温变化及其对气温变化的响应[J]. 土壤通报, 2020, 51(3): 568-573. doi: 10.19336/j.cnki.trtb.2020.03.09 [14] LIU Y Q, ZHANG Q, SONG L H, et al. Attention-based recurrent neural networks for accurate short-term and long-term dissolved oxygen prediction[J]. Computers and Electronics in Agriculture, 2019, 165: 104964. doi: 10.1016/j.compag.2019.104964.
[15] MA M, MAO Z. Deep-convolution-based LSTM network for remaining useful life prediction[J]. IEEE Transactions on Industrial Informatics, 2021, 17(3): 1658-1667. doi: 10.1109/TII.2020.2991796
[16] KIM H Y, WON C H. Forecasting the volatility of stock price index: A hybrid model integrating LSTM with multiple GARCH-type models[J]. Expert Systems with Applications, 2018, 103: 25-37. doi: 10.1016/j.eswa.2018.03.002
[17] CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]//ACL. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP). Doha, Qatar: Association for Computational Linguistics, 2014: 1724-1734.
[18] YU J X, ZHANG X, XU L L, et al. A hybrid CNN-GRU model for predicting soil moisture in maize root zone[J]. Agricultural Water Management, 2021, 245: 106649. doi: 10.1016/j.agwat.2020.106649.
[19] HE Y L, CHEN L, GAO Y, et al. Novel double-layer bidirectional LSTM network with improved attention mechanism for predicting energy consumption[J]. ISA Transactions, 2022, 127: 350-360. doi: 10.1016/j.isatra.2021.08.030
[20] YIN J, DENG Z, INES A V M, et al. Forecast of short-term daily reference evapotranspiration under limited meteorological variables using a hybrid bi-directional long short-term memory model (Bi-LSTM)[J]. Agricultural Water Management, 2020, 242: 106386. doi: 10.1016/j.agwat.2020.106386.
[21] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 371-372. [22] SUTTON R S, BARTO A G. Reinforcement learning: An introduction[J]. IEEE Transactions on Neural Networks, 1998, 9(5): 1054. doi: 10.1109/TNN.1998.712192.
[23] WU J D, HE H W, PENG J K, et al. Continuous reinforcement learning of energy management with deep Q network for a power split hybrid electric bus[J]. Applied Energy, 2018, 222: 799-811. doi: 10.1016/j.apenergy.2018.03.104
[24] ZHU J, SONG Y, JIANG D, et al. A new deep-Q-learning-based transmission scheduling mechanism for the cognitive internet of things[J]. IEEE Internet of Things Journal, 2018, 5(4): 2375-2385.
[25] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529-533. doi: 10.1038/nature14236
[26] CARTA S, FERREIRA A, PODDA A S, et al. Multi-DQN: An ensemble of deep Q-learning agents for stock market forecasting[J]. Expert Systems with Applications, 2021, 164: 113820. doi: 10.1016/j.eswa.2020.113820.
-
期刊类型引用(4)
1. 孟丽，任晔，李轩. 水分管理技术对林业种植的影响及其优化策略研究. 河北农机. 2024(02): 124-126 . 
百度学术
2. 杨佳晨，徐建. 基于Fluent仿真的室内温度智能监测系统. 武汉轻工大学学报. 2023(01): 101-107 . 百度学术
3. 赵春江. 农业知识智能服务技术综述. 智慧农业(中英文). 2023(02): 126-148 . 百度学术
4. 张超，张海峰，张宇，张效霏，来永才，毕洪文，郑妍妍. 深度学习在土壤监测中的应用及展望. 农业展望. 2023(12): 81-86 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 159
- HTML全文浏览量: 80
- PDF下载量: 431
- 被引次数: 10
