神经网络2008

《神经网络2008》由会员分享，可在线阅读，更多相关《神经网络2008（61页珍藏版）》请在金锄头文库上搜索。

1、人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,一 、人工神经网络概述,人工神经网络（Artificial Neural Networks，简记作ANN）的主要哲学基础就是它们具有通过范例进行学习的能力，或者更技术地来说，它们可以系统地改进输入数据且能反映到输出数据上。,什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界

2、物体所作出的交互反应。”,脑神经信息活动的特征,(1)巨量并行性。 (2)信息处理和存储单元结合在一起。 (3)自组织自学习功能。,神经网络研究的发展,(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初): (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所

3、不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。,神经网络基本模型,1.1 人工神经元,神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的六个基本特性。 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。,另一种描述,神经元是神经网络中基本的信息处理单元，他由下列

4、部分组成: 一组突触和联结，联结具有权值 W1, W2, , Wm 通过加法器功能，将计算输入的权值之和 激励函数限制神经元输出的幅度,1.2 激活函数,激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f(net),a、线性函数（Liner Function）,b、非线性斜面函数（Ramp Function）,0为一常数，称为饱和值，为该神经元的最大输出。,b、非线性斜面函数（Ramp Function）,c、阈值函数（Threshold Function） 阶跃函数,c、阈值函数（Threshold Function） 阶跃函数,d、S形函数,压缩函数（Squ

5、ashing Function）和逻辑斯特 函数（Logistic Function）。 f(net)=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f(net)= 1/(1+exp(-d*net) 函数的饱和值为0和1。 S形函数有较好的增益控制,d、S形函数,1.3 人工神经网络的拓扑特性,a、联接模式,用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式：,a、联接模式,1、

6、层（级）内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 用来加强和完成层内神经元之间的竞争 2、循环联接 反馈信号。,a、联接模式,3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递 前馈信号 反馈信号,b、网络的分层结构,单级网 简单单级网,W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+xnwnj 其中, 1j m。取 NET=（net1，net2，netm） NET=XW O=F（NET）,b、网络的分层结构,单级网 单级横向反馈网,V=

7、（vij） NET=XW+OV O=F（NET） 时间参数神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O(0)=0 考虑仅在t=0时加X的情况。 稳定性判定,b、网络的分层结构,多级网,层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息 第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除

8、输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,约定: 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。,多级网 非线性激活函数 F(X)=kX+C F3(F2(F1(XW(1)W(2)W(3),b、网络的分层结构,循环网,循环网 如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输

9、出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,1.4 存储与映射,在学习/训练期间，人工神经网络以CAM方式工作；权矩阵又被称为网络的长期存储(Long Term Memory，简记为LTM)。 CAM方式(Content Addressable Memory)：内容寻址方式是将数据映射到地址。 网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期存储(Short Term Memory，简记为STM). AM方式（Associative Memory）：相联存储方式是将数据映射到数据。

10、,自相联（Auto-associative）映射：训练网络的样本集为向量集合为A1，A2，An。在理想情况下，该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合。 异相联（Hetero-associative）映射：（A1，B1），（A2，B2），（An，Bn）该网络在完成训练后，其权矩阵存所给的向量集合所蕴含的对应关系。,1.5 人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的

11、训练过程,无导师学习 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 有导师学习 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。,从样本集合中取一个样本(Ai，Bi)； 计算出网络的实际输出O； 求D=Bi-O； 根据D调整权矩阵W； 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。,训练算法的主要步骤,神经网络的应用

12、,人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。,二、BP(Backpropagation)网络,2.1 概述 2.1.1 BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2.1.2 弱点：训

13、练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 2.1.3 优点：广泛的适应性和有效性,2.2 基本BP算法 2.2.1 网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+xnwni 神经元的输出：,网络的拓扑结构 1).BP网的结构 2).输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 3).实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 4).BP网一般都选用二级网络。,2.2.2 训练过程概述,样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1

14、）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(F2(F1(XpW(1)W(2)W(L),2、向后传播阶段误差传播阶段： (1)计算实际输出Op与相应的理想输出Yp的差； (2)按极小化误差的方式调整权矩阵。 (3)网络关于第p个样本的误差测度： (4)网络关于整个样本集的误差测度：,2.2.3 误差传播分析,输出层权的调整 隐藏层权的调整,2.2.4 基本的BP算法,样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想： 逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，W(L)各

15、做一次调整，重复这个循环，直到Ep。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程,2.3.样本数据 2.3.1 收集和整理分组 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。此外，数据分组时还

16、应尽可能考虑样本模式间的平衡。,2.3.2 输入/输出变量的确定及其数据的预处理 一般地，BP网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。,由于BP神经网络的隐层一般采用Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，一般要求输入数据的值在01之间。因此，要对输入数据进行预处理。一般要求对不同变量分别进行预处理，也可以对类似性质的变量进行统一的预处理。如果输出层节点也采用Sigmoid转换函数，输出变量也