《2022年数学建模之神经网络》由会员分享，可在线阅读，更多相关《2022年数学建模之神经网络（9页珍藏版）》请在金锄头文库上搜索。
1、神经网络神经网络不需要做许多假设和和复杂的数学表达式，只用通过学习样本进行训练。一、BP神经网络1.1 简介BP 神经网络由输入层、隐层和输出层三层构成。对于BP 神经网络，网络的性能受局部不准确试验数据的影响很小。所以BP 神经网络有很强的容错性。缺点：训练时间较长，求得的解可能是局部极小解。若 R 是输入量的个数，ilW是隐层第 i 个神经元与输出层第K 个神经元的连接权值，ib是阈值。则通用神经元模型如下：.f将多个神经元模型串起来会得到n 个神经元输出，第i 个神经元输出为1Riikkiknxb第 i 个神经元经过任意传递函数后得到输出为()log() |tan()|()iiiiiyf
2、 nsig nsig npurelin nBP 神经网络的应用沼泽草炭土结构特性及模型研究（下载文档）2.1 步骤构造建模方案根据输入与输出关系写出表达式，如三输入，一输出的非线性函数表达式为( , , )f d q相对应的 BP 神经网络结构为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 9 页 - - - - - - - - - .设jx，iy，lo分别表示 BP 网络三层节点的输入节点， 隐节点，输出节点。ij表示输入节点和隐节点之间的网络权值，liT表示隐节点和
3、输出节点之间的网络权值，我们用梯度法对BP 网络的权值进行修正，采用sigmoid 函数。若输出节点期望输出lt，则有输入节点至隐节点的公式为：阈值修正：(1)( )iiijkk误差：(1)iiillilyyT权值修正 : (1)( )ijijijkk隐节点至输出节点的公式为：若有 p 个样本数， n 个输出节点数，则一个样本的误差为()(k)1|,nkkllleto控制误差范围是1,pkkEe阈值修正：(1)( )lllkk权值修正：(1)( ),(lililiTkTkyk为迭代次数）误差：()(1)llllltooo输出节点的计算公式为：名师资料总结 - - -精品资料欢迎下载 - - -
4、 - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 9 页 - - - - - - - - - 隐节点的输出：()iijjijyfx，其中jx为输入节点的输入，ij为连接权值，i为节点阈值。输出节点的输出：()lijiliofT y，其中ijT为连接权值，l为节点阈值。BP算法参数优化一般选取初始权值的范围为：（-1，+1），用 in,out 分别表示输入层，输出层的节点数，s表示样本训总数，则隐含节点数的大约取值：/hideinouts out程序框图如下：初始化输入学习样本和目标输出计算隐层、输出层神经元输出计算隐层、输出
5、层神经元误差修改连接权值与神经元阈值更新学习样本学习样本结束？更新学习次数学习次数小于上限值？结束误差小于允许值？是是否名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 9 页 - - - - - - - - - 改进 BP 神经网络针对 BP可能出现局部最小解的问题，我问用带动量因子算法对BP 算法学习过程进行改进。方法是在BP 算法的基础上往每个权值的变化上再加一项正比于前次权值变化的值，同时由方向传播来产生新的传播变化。用 K，c 分别表示训练次数和动量因子，c 一般
6、取 0.95左右，则权值调节为：(1)(1)( )ijijijwkcpc wk(1)(1)( )iiib kcc b k二、RBF神经网络RBF神经网络是一种三层前向网络， 首先用径向基函数作为隐含层节点的 “基”构成隐含层空间， 对输入矢量进行一次性变化， 将低维的模式输入映射到高维空间内，然后通过对隐含层接点输出的加权求和得到输出。RBF 网络结构如下2.1 RBF 网络的应用广州铁路枢纽运货量预测（下载文档）沼泽草炭土结构特性及模型研究（下载文档）2.2 步骤（1）用 K 均值聚算类算法计算基函数中心聚类中心(1,2,)id im的初始化，一般用最初的m 个训练样本作为id的值。按照最近
7、邻规则将样本集合分组，即将(1,2, )tx tn分到中心是id的输入样本聚类集合(1,2,)iim中，所以有tix且min |itidxd。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 9 页 - - - - - - - - - 将聚类中心重新调整， 用im表示i的输入样本数， 计算i中样本的平均值，即聚类中心1tiitxidxm。若聚类中心有变化则重复以上步骤，否则进入下一步。得到RBF 网络最终基函数中心。（2）方差的计算选取高斯函数为径向基函数，用maxd表示选
8、取中心间的最大距离，则方差为max,1,2,2idimm（3）最小二乘法计算权值用kd表示相对于输入kx的期望，ky表示网络的计算输出，一般误差准则是平方误差最小，即2111min()2nJkjkjkjEdy由于基函数的参数ic和已经确定，误差 E 只是权重的函数，要使E 达到最小，则有2211111exp02nJIMijkjkjkmimkjimijEydxcw将上式写成矩阵形式AW=C,求解此线性方程组即得到w。例题： 广州铁路枢纽运货量预测根据表 1 预测广州铁路枢纽的货运量表 1 1995-2006年广州铁路枢纽货运量解：（ 1）预测目标及时间序列的转换名师资料总结 - - -精品资料欢
9、迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 9 页 - - - - - - - - - 假设广州铁路枢纽货运量的时间序列值为：=(1), (2), ( )Xxxx n，预测模型中 n=12，其中 2005年，200年的数据在建立预测模型时不做学习训练样本,只在后面做测试样本 ,检验模型预测效果。多数情况下 ,预测货运量的年增量即预测()(1)x nix ni的差值比直接据测()x ni的绝对值最为输出效果更好。因此,时间序列可转换为Y=(1), (2), (1)yyy n。其中，( )(1)( ),1
10、,2,1y ix ix iin。从而将预测目标转换为通过Y 预测(),0,1,2,y nii，转换结果如表 2。表 2 19962006年广州铁路枢纽货运量增长值及其归一化后结果（2） 数据的预处理由于学习方法要求输入层的输入值在0,1之间,其输出范围也要求在 0,1之间。但是由表 1 可知,收集到的铁路货运量增长值并没有落在这一范围内,使收集到的数据与网络模型算法要求的数据不一致,致使学习样本无法输入到网络模型中去,达不到学习与预测的目的。因此,必须对收集到的数据进行归一化处理。min10iinyYy式中，iy为第 i 个增长值的实际值 ;minY 为序列中的最小值 ;n 为序列中绝对值最大
11、的值的位数 ,这里 n=4,归一化后的结果如表2。(3)时间序列向标准表格形式的转换名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 9 页 - - - - - - - - - 在实际的预测中 ,对某一年货运量增长值的预测结果影响最大的是本年度前几年的货运量增长值 ,越接近该年的货运量增长值,对该年的影响越大。为使模型能多次重复使用 ,并充分利用已有信息 ,我们将新数据不断加入到模型中,去掉一些较为陈旧的数据 ,则可获得既能体现未来发展趋势的数据,又能维持模型的计算量不变。
12、所以,如果把时间序列的窗口设定为4,即以连续 4年归一化后的货运量增长值来预测第 5 年归一化后的货运量增长值。如2006 对年归一化后的货运量增长值进行预测 ,使用的是 2002年2005 年的归一化后的货运量增长值。（4）RBF 网络的建立根据题，我们建立的网络是输出层为5 个结点 ,输出层为 1 个节点的神经网络模型。采用实验的方法 ,通过选取不同的模型均方性能指标,分析获得相应的结果。隐含层基函数选取的是高斯基函数,中心训练方法采用的是K 均值聚类算法。选取模型的性能指标为0.01。学习与训练数据如表3 所示。表 3 时间序列向标准表格形式的转换（窗口名师资料总结 - - -精品资料欢
13、迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 9 页 - - - - - - - - - 利用 RBF 神经网络进行枢纽货运量的预测,并与 BP 神经网络比较。其中BP神经网络预测模型与RBF 神经网络预测模型一样是基于时间增长值序列,学习率自适应调整策略利用数值优化法来实现反传算法,隐含层的节点数为5。通过建立好的模型去预测2007 一 2008 年的货运量 ,结果如下表 4 所示。表 4 2000一 2006年广州铁路枢纽实际货运量与预测值分析从表 4 上可以看出 ,基于径向基 (RBF)的神经网络
14、的平均误差为3.48%,BP神经网络的平均误差 5.38%,这就说明基于径向基的神经网络输出的结果更精确、误差更小,可以更好更有效地对铁路货运量进行预测。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 9 页 - - - - - - - - - 故将 1995 一 2006 年广州铁路枢纽铁路货运量时间序列转换为1995 一 2006年货运量增长序列 ,采用基于径向基的神经网络进行分析、训练、测试,然后对2007一 2010年枢纽的货运量进行预测 ,结果如表 5 所示。表 5 2007一 2010年预测的广州铁路枢纽铁路货运量名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 9 页 - - - - - - - - -
