计算机论文：基于BP神经网络的气象云计算平台技术研究

　　计算机论文：基于BP神经网络的气象云计算平台技术研究

　　摘要：为了充分挖掘气象数据潜在价值，进一步提高气象数据处理与传输能力、提升气象数据的挖掘水平和挖掘效率，本文设计了一个基于BP神经网络气象云计算管理平台，该平台以设计的标准数据规范为基础，以BP算法为基础，通过整理、分析、预测来实现精准度高、鲁棒性强的气象分析预测服务。

　　关键词：气象云计算平台；BP神经网络；分布式云存储；关系型数据库

　　中图分类号：TP399 文献标识：A 青年科学基金项目批准号： 61602486

　　1 引言

　　随着信息技术的发展，基于云计算平台的海量数据处理已经成为各行各业的热点研究问题。该平台具有可靠性高、分布式计算性能好、设备可扩展性强。使用该平台进行气象数据管理，可以有效地对气象局进行分析和预测。

　　气象云数据主要是指在气象科学研究过程中，围绕智慧气象和智能预报等业务，从气象数据收集、质控、传输、加工存储、应用服务等关键环节所产生的数据及各类衍生产品的集合，这些集合包括以各种形式及格式存储的元数据和应用集合，其特点是数据类型繁多、数据量巨大、数据更新快、数据质量高。目前，现有气象数据量已经达到PB量级。其中气象观测数据、气象产品数据和互联网气象数据占整个气象数据的30%，雷达、卫星以及数值预报及其它数据占到了70%。这些海量数据蕴含着丰富的气象数据，具有深度挖掘的数据价值。气象云计算平台通过神经网络工具进行云数据分析预测，建立一个能够根据影响因子对各种灾害性天气预警的气象风险预测系统。通过神经网络所具有的自适应和学习功能，不断检查预测结果是否与实况数据是否一致，使用与实况数据不匹配的输入和输出数据对作为新的样本[4]，不断迭代，发挥大数据分析的优势，即通过对大数据进行相对简单的运算要比小数据进行复杂运算得出的结果更为准确，样本数量越大，所蕴藏的真实信息越多，就更能做好提高预测准确率。

　　BP(Back Propagation)网络是Rinehart和McClelland于1986年领导的一组科学家提出的。作为由误​​差反向传播算法训练的多层前馈网络，它是最广泛使用的神经网络模型之一[5]。本文提出一种基于BP神经网络的气象云数据分析方法，该方法以历史数据为基础，以动态变化的新数据为扰动，通过不断地修正网络参数实现对气象数据的检测和分析。在这种计算模式的帮助下，气象部门可以对潜在的危害气象信息和可能的气象变化进行及时的预测。

　　2 BP神经网络算法

　　基于BP网络可以学习并存储大量输入—输出模式的映射关系，该数学方程不需要提前确定其中所包含的各类映射关系，这种模型拓扑包括输入层，隐藏层和输出层(如图1所示)。随着误差反向传播校正的进行，输入样本网络的相应正确率将变得越来越高[6]。

　　图1 BP神经网络结构示意图

　　通用BP算法一般包括两个过程：即数据流的正向计算(前向传播)和误差信号的反向传播如图2所示。在数据流正向计算时，传输是从输入层到隐藏层，并且每一层的神经元状态只对后一层的神经元产生影响。如果在输出层获得的输出明显偏离实际值， BP网络转换误差信号的反向传播过程，在权向量空间中采用误差函数梯度下降模式，并且对可以获得最优解的一组权重值进行动态迭代搜索。最后，网络错误功能被最小化并且信息提取和存储过程完成 [7] [8]。

图2 三层神经网络的拓扑结构

　　正向计算

　　在正向计算中，设 BP网络的输入层有个节点，隐层有个节点，输出层有个节点，输入层与隐层之间的权重为，隐藏层和输出层之间的权重为。隐层的传递函数为，输出层的传递函数为，则隐层节点的输出为(将阈值写入求和项中)：

　　(1)

　　输出层节点的输出为：

　　(2)

　　到目前为止，BP网络已经完成了维空间矢量到维空间的近似映射[7] [9]。

　　反向传播

　　反向传播比前向传播复杂一点。为了获取更加准确的答案，首先定义一个平方型误差函数。假设输入个学习样本，用来表示。第个样本输入对应输出。得到第个样本的误差：

　　(3)

　　其中预期输出。对于个样本，全局误差：

　　(4)

　　其次，在得到全局误差后，通过BP累计误差算法调整缩小全局误差，即

　　(5)

　　其中表示学习率。定义误差信号为：

　　(6)

　　其中第一项为：

　　(7)

　　第二项为：

　　(8)

　　是输出层传递函数的偏微分。

　　于是：

　　(9)

　　由链定理得：

　　(10)

　　输出层中不同神经元的权重调整公式由上式得出：

　　(11)

　　最后，改变隐层的权值。计算隐层的变化值：

　　(12)

　　定义误差信号为：

　　(13)

　　其中第一项：

　　(14)

　　依据链定理有：

　　(15)

　　第二项：

　　(16)

　　是隐层传递函数的偏微分。

　　于是：

　　(17)

　　由链定理得：

　　(18)

　　根据上述公式，隐藏层中每个神经元的权重调整公式如下：

　　(19)

　　3基于BP神经网络的气象云计算平台设计

　　3.1数据处理

　　本平台处理的原始数据都是从气象部门相关数据平台获取的，这些数据包括遥感影像信息、数字文本信息。遥感影像则是从空间数据云平台下载的当地遥感影像，适用于获取风速定向、温度、雨量等气象数据。数字文本信息是个地方观测站的设备记录信息，是气象研究的重要基础数据。可以发现这些数据在形态上差异巨大，领域上也相距甚远。气象云平台想从这些差异巨大的数据提取信息、计算相关性是一件比较困难的工作。为了使得这两类数据可计算，我们采用了典型相关性分析方法对各个通道来源的数据进行计算，从而将不同维度的数据变化在同一个维度后进行计算。

　　典型相关分析是由Harold Hotelling于1936年首次提出的。该方法主要用来计算两组对应变量之间相关关系，目前该方法已经广泛应用于各个统计领域。典型相关分析所解决的问题是如何寻找两组对应的基向量，使得这些变量在对应基向量上的投影之间的相关性被同时最大化。假设两个相互对应的样本集，,典型相关性分析方法的目标就是计算两组基向量和。X和Y中的样本在基向量和上的投影可以表示为和。典型相关性分析的计算目标就是使得和之间具有最大的相关性，因此用于计算相关性的目标函数可以被表示为[9]：

　　(3-1)

　　其中表示变量的期望值。在进行计算之前，分别将这两个样本集中的样本减去各自的均值向量，那么关于它们的总体协方差矩阵就可以表示为：

　　(3-2)

　　其中，，，。根据经验期望和协方差之间的关系，公式(1-13)可以改写为：

　　(3-3)

　　和的求解可以通过最大化1-14式得出，也就是通过求解下面的特征值问题获得：

　　(3-4)

　　与和对应的特征值则可以根据下式进行求解：

　　(3-5)

　　有了各自对应的基向量后，就可以根据基向量矩阵计算不同维度的样本在各自基向量空间的投影系数，并根据样本的系数向量计算样本之间的相关性。

　　本文将不同维度的数据使用典型相关性分析方法进行变化，然后将这些数据投影在共的空间并进行计算。

　　3.2基于BP神经网络的气象预测模型的构建

　　在完成数据映射后，所有的规格化数据以队列的形式输入预测模型。具体运算过程如下：

　　将分类到网络输入层的样本数据分为BP模型标准数据，具体为，其中 表示的是从降雨信息中提取的降雨量；表示的是从气象数据平台获取的日均温度；表示的是风速风向；该模型中各参数具体为：表示的是BP网络中输入层到隐层的权值， 表示的是BP网络中隐层到输出层的权值；

　　通过第一步的样本数据取值，基本完成预测模型的初始建模，接下来就可以通过Map 函数将本文中选定的气象样本数据进行标准化处理，处理后就可开始基于 BP 神经网络的训练学习；

　　通过迭代算法，优化计算新的连接权值与。

　　依据迭代训练学习后得到符合预期效果的权值与，将预测样本数据输入预测模型进行计算得出预测值，并通过输出层输出对后续天气的预测结果。

　　当 BP神经网络用于处理大规模样本数据时，大量的计算会导致模型难以收敛，训练时间过长。为了解决这个问题，本文将气象数据处理过程划分为多个阶段，对每个阶段分别实施分段预测计算。这样一方面可以继续使用BP网络的特性，另一方面又可以保证网络的正常收敛。

　　3.3 气象云计算平台的架构

　　为了实施提出的预测计算，本文将云计算管理平台的硬件资源和软件资源实施了整体规划，整体框架如图1所示。云计算数据处理方面的数据处理层框架如图2所示。

图3 气象云计算平台的总体服务框架

图4 气象云计算平台的数据处理层示意图

　　数据任务执行由每个任务处理节点独立完成，可分为五个步骤：启动任务，准备数据，执行任务，输出产品，结束任务(图5) [11]。在启动任务中，任务执行管理服务器根据调度控制信息自动检测触发机制，并按照相关信使携带的信息执行下一阶段任务；数据准备阶段根据任务信使信息指向的气象云数据平台，从云平台读取元数据，标准化节点根据任务信息对元数据集进行数据同化；数据分析阶段根据任务信息要求调用云计算服务器上的算法模型，并通过高性能计算平台进行数据分析和运算；产品输出阶段将数据分析运算结果转换为任务信息要求的数据格式，并生成相应的气象应用产品。根据数据业务要求(气象业务产品库或服务产品库)将数据产品存储到气象产品云平台；结束任务自动生成该项计算任务的执行记录，存储相应的数据库，同时向数据任务调度平台回执任务结束的命令。

4 总结

　　为了充分挖掘气象大数据包含的丰富信息，提升气象预测准确度，本文提出了基于BP神经网络的气象预测模型，并将该模型与云计算平台想融合，有效地提升了气象预测的准度和效率。

　　气象云计算平台通过神经网络工具进行云数据分析预测，建立一个能够根据影响因子对各种灾害性天气预警的气象风险预测系统。通过神经网络所具有的自适应和学习功能，不断检查预测结果是否与实况数据是否一致，使用与实况数据不匹配的输入和输出数据对作为新的样本[4]，不断迭代，发挥大数据分析的优势，即通过对大数据进行相对简单的运算要比小数据进行复杂运算得出的结果更为准确，样本数量越大，所蕴藏的真实信息越多，就更能做好提高预测准确率。

　　参考文献

　　樊宇虹,冯永祥,马志强等.基于气象应用的私有云存储方案[J].计算机工程与设计, 2015, 36(2):426-430.

　　王建民.领域大数据应用开发与运行平台技术研究.软件学报, 2017,28(6):1516-1528.

　　刘森. 云计算技术的价值创造及作用机理研究[D]. 浙江大学,2014.

　　王万良.人工智能导论[M].高等教育出版社,2017.

　　刘猛.云计算平台下神经网络方法研究[D]. 电子科技大学, 2011.

　　张雯.云计算平台支持下的BP神经网络在洪灾损失评估中的应用研究[D]. 江西理工大学,2017.

　　闫妍.基于卷积神经网络的体液细胞显微图像识别方法研究[D].湘潭大学, 2018

　　蔡虹,叶水生,张永.一种基于模糊聚类的组合BP网络挖掘方法[J]. 计算机工程与应用, 2005(36):83-85.