《神经网络在数学建模中的应用.doc》由会员分享，可在线阅读，更多相关《神经网络在数学建模中的应用.doc（42页珍藏版）》请在金锄头文库上搜索。
1、毕 业 论 文神经网络在数学建模中的应用刘军200530760320指导教师 曾庆茂讲师学院名称理学院 专业名称信息与计算科学论文提交日期2009年5 月23 日 论文答辩日期年 月 日答辩委员会主席 _评 阅 人 _摘 要神经网络（Neural NetworkNN）是当今最具魅力的一个新兴学科生长点,已发展成为现代科学技术的新热点,其迅猛发展将对整个信息科学产生巨大的影响。神经网络在数学建模中的应用也非常的广泛。本文首先概述了人工神经网络的基础理论，接着阐述了神经网络的模型、结构、分类、特性。然后针对应用的目的，介绍了数学建模中常用两种的神经网络。常用的神经网络主要有两种：一种是基于误差反传
2、算法的前馈神经网络，即BP神经网络，主要用来实现非线性映射；另一种是自组织神经网络，即SOM网，主要用来聚类和模式识别。神经网络在数学建模中比较擅长的是联想记忆，作分类器，作预测，作参数选择，作控制器等等，这些问题都可以通过神经网络进行解决。应用实例为2005年数学建模竞赛原题，使用“BP神经网络逼近法”预测算法模型，计算了观测站各时间段的预测值。“BP神经网络逼近法”为通用算法，优点是计算灵活，尤其对稳态随机过程的逼近效果较好，对精度要求比较高的问题，可以很好的解决，而且可以作整体预测，因此是目前最流行的算法。它解决了两个实际问题，其一为函数逼近问题，其二为预测问题，重点论述了如何结合实际应
3、用问题来进行数据预处理、网络建立、网络训练及结果分析，展示BP神经网络在应用上的能力。最后，本文简要展望神经网络网络的发展前景，我们有理由相信，只要我们坚持不懈地努力，来自神经网络理论研究的一些新理论和新方法必将给2l世纪科学研究带来源源不断的动力。关键词： 神经网络 数学建模 BP神经网络 自组织神经网络目 录1 前言12 神经网络基本理论12.1 什么是神经网络12.2 人工神经网络基础12.2.1 生物神经元模型12.2.2 人工神经元模型22.2.3 处理单元的激活转移函数32.2.4 M-P模型52.3 神经网络模型52.4 人工神经网络的训练52.4.1 无导师学习62.4.2 有
4、导师学习72.5 神经网络特性83 BP神经网络93.1 BP神经网络结构93.2 BP网络的Matlab编程实现及讨论113.3 学习算法讨论124 自组织特征映射神经网络（Self-Organizing feature Map）134.1 SOM网简介134.2 SOM网的生物学基础134.3 SOM网的拓扑结构144.4 SOM网的权值调整域144.5 SOM网的学习算法155 神经网络在数学建模中的应用举例165.1 神经网络在数学建模中解决哪类问题165.1.1 联想记忆165.1.2 分类和聚类175.1.3 优化计算175.1.4 预测175.2 应用举例：雨量预报方法的评价（2
5、005数学建模竞赛题目C题，见附录B）185.2.1 问题重述：185.2.2问题的条件和假设：185.2.4 模型分析与求解195.2.5 问题一的分析205.2.6 预测算法设计：205.2.7 两种算法对六小时降雨量预报方法准确性分析245.2.8 问题二的求解算法255.2.9问题的结论265.2.10 模型的评价286 神经网络的发展展望29致 谢31参 考 文 献32Abstract33附 录34本科生毕业论文成绩评定表371 前言人工神经网络的研究始于20世纪40年代。人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特点
6、主要是具有非线性特性、学习能力和自适应性，是模拟人的智能的一条重要途径。它是由简单信息处理单元(人工神经元，简称神经元)互联组成的网络，能接受并处理信息。网络的信息处理由单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的连接权来处理的。20世纪80年代以来。神经网络的理论和应用研究都取得了很大的成绩在模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等领域得到了广泛的应用2 神经网络基本理论2.1 什么是神经网络人工神经网络简称神经网络，是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互联构成，是一个大规模的非线性自适应系统。1988年，Hecht-Ni
7、elsen曾给人工神经网络下了如下定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互联而成。这些处理单元（PE-Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。人工神经网络除了可以叫做并性分布处理系统（PDP）外，还可以叫做人工神经系统（ANS）、神经网络（NN）、自适应系统（Adap
8、tive Systems）、自适应网（Adaptive Networks）、联接模型（Connectionism）、神经计算机（Neurocomputer）等。2.2 人工神经网络基础2.2.1 生物神经元模型神经元（即神经细胞）是脑的基本组成单位，从人脑的结构来看，它由大量的神经细胞组合而成。这些细胞相互连接，每个细胞完成某种基本功能，如兴奋和抑制，它们并行工作，整体上完成复杂思维活动和信息处理。大多数神经元具有某些结构上的共同特征，通常可以将其分为细胞体、树突和轴突三个区，如图1所示。图1 生物神经元结构细胞体由细胞核、细胞质和细胞膜等组成；树突是精致的管状延伸物，是细胞体向外伸出的许多较
9、短的分支，围绕细胞体形成灌木丛状，它们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端”。人脑功能是依靠信息流经由神经元组成的复杂网络来完成的，信息是通过神经元系统中的接合部（即突触）由一个细胞传递至另一个细胞。突触有两种类型：即兴奋型和抑制型。当输入脉冲使细胞膜电位升高，超过动作电位的阈值时，产生正的电位的称为兴奋型突触；当输入脉冲使细胞膜电位下降至动作电位的阈值时，产生负的电位的称为抑制型突
10、触。由于轴突的末端分出许多末梢，它们与其他神经元的树突（和细胞体、轴突）构成一种称为突触的结合部，树突在突触接收信号后，将它传递给细胞体，信号在那里积累，激起神经元兴奋或抑制，从而决定神经元的状态。2.2.2 人工神经元模型神经元是神经网络的基本处理单元，一般表现为一个多输入、单输出的非线性器件通用的结构模型如图2所示。图2 神经元结构模型其中，为神经元的内部状态，为阈值，为输入信号，表示与神经元连接的权值，表示某一外部输入的控制信号。 （1.1）神经元模型常用一阶微分方程来描述，它可以模拟生物神经网络突触膜电位随时间变化的规律。2.2.3 处理单元的激活转移函数激活转移函数是一个神经元的重要
11、组成部分，转移函数也称为激励函数，它描述了生物神经元的转移特性，激活函数的基本作用是： 控制输入对输出的激活作用。 对输入、输出进行函数转换。 将可能无限域的输入变换成指定的有限范围内的输出。常用的激活函数有以下几种： 阈值型函数这种激活函数将任意输入转化为或两种状态输出，有时称为硬限幅函数，如图3（a）所示，其表达式为（1.2）或 （1.3）其主要特征是不可微、阶跃型，常应用于M-P模型、感知器模型及Hopfield模型。 线性型函数线性型函数可将输入转化为任意值输出，即将输入原封不动地输出，而不像阈值型函数的输出只是两种状态，其输入输出关系如图3（b）所示，线性函数表达式为（1.4） 分段
12、线性型（饱和型）函数实质上，饱和型函数是阈值型函数和线性型函数的综合，如图3（c）所示，其表达式为（1.5）其主要特征是不可微、阶跃型，常用于细胞神经网络，如模式识别、文字识别或噪声控制等。 S（Sigmoid）型函数S型激活函数将任意输入值压缩到或的范围内，常用的S型函数有对数函数，即（1.6）或双曲正切函数，即（1.7）如图3（d）、（e）所示，其主要特征是可微、阶跃型，常用于BP（Back Proragation）模型或Fukushina（认识机/神经认识机）模型。图3 激活转移函数2.2.4 M-P模型将人工神经元的基本模型和激活函数合在一起构成人工神经元，这就是著名的McCulloc
13、h-Pitts模型，简称M-P模型，也可以称之为处理单元（PE-Processing Element）2.3 神经网络模型神经网络是由大量的神经元广泛互联而成的网络。根据连接的方式不同，神经网络可以分成两大类：没有反馈的前向网络和相互结合性网络。前向网络由输入层、中间层（或叫隐层）和输出层组成，中间层可有若干层，每一层的神经元只接受前一层神经元的输出。而相互连接型网络中任意两个神经元间都有可能连接，因此输入信号要在神经元之间反复往返传递，从某一初态开始，经过若干次的变化，渐渐趋于某一稳定状态或进入周期振荡状态。目前虽然已有数十种的神经网络模型，但已有的神经网络可分成三大类，即前向网络（Feed
14、forward NNs）、反馈网络(Feedback NNs)和自组织网络（Self-organizing NNs）。2.4 人工神经网络的训练人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblat给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。但是，人工神经网络的表达能力有限，这就大大限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将来由样本向量构成的样本集合（被简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的联接权，使得网络能将样本集的内涵以联接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。从学习的高级形式来看，一种是有导师学习，另一种是无导师学习，而前者看起来更为普遍些。无论是学生到学校接受老师的教育，还是自己读书学习，都属于有导师学习。还有不少时候，人们是经过一些实际经验不断总结学习的。也许这些应该算做无导师学习。从学习的低级形式来看，恐怕只有无导师学习的学习形式。目前为止，我们还没能发现在生物神经系统中有导师学习是如何发生的。在那里还找不到“导师”的存在并发挥作用的迹象，所有的只是自组织、自适应的运行过程。2.4.1 无导师学习无导师学习（Unsupervised Learning）与无
