《第二章：人工神经网络原理与模型概要》由会员分享，可在线阅读，更多相关《第二章：人工神经网络原理与模型概要（23页珍藏版）》请在金锄头文库上搜索。
1、第二章ANN基本原理与模型 2.1神经元原理与模型 2.2感知器ANN 2.3 B-P ANN神经元原理与模型1.生物神经元的结构神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成：（1）细胞体;（2）轴突；（3）树突；（如图2.2.1）突触是神经元之间相互连接的接口部分，即个神经元的神经 末梢与另个神经元的树突相接触的交界面，位于神经元的神经末梢 尾端。突触是轴突的终端。2.神经元的功能特性（I）时空整合功能。（2）神经元的动态极化性。（3）兴奋与抑制状态。（4）结构的可塑性。（5）脉冲与电位信号的转换。（6）突触延期和不应期。（7）学习、遗忘和疲劳。1
2、.人工神经网络的组成人匚神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人匚 网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作 人工神经元。人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连 接起来的有向图。在此有向图中，人匚神经元就是对生物神经元的模拟， 而有向弧则是轴突一突触一树突对的模拟。有向弧的权值表示相互连接的 两个人工神经元间相互作用的强弱。222人J2神经网络的组成与结构图222人工神经网络的组成图223 M P神经元模型222人工神经网络的组成与结构2 .人工神经元的工作过程对于某个处理单元（神经元）来说，假女来自其他处理单元（神经 元）i
3、的信息为X/它们与木处理单元的互相作用强度即连接权值为Wj, i=0,1,n-1,处理单元的内部阈值为9。那么本处理单元（神经元）的输 入为1工 Hi*（2.2.1）/=0而处理单元的输出为y = f(22 WiXi - 0)i=0(2.2.2)式中，Xj为第i个元素的输入，Wj为第i个处理单元与本处理单元的互联 权用f称为 夕函数或作用函数，它决定节点（神经元）的输出。222人JL神经网络的组成与结构激发函数,般具有非线性特性，常用的非线性激发函数如图所示 这里，b=/wx一。称为激活值1-0（a）（b）（c）（d）（a）阈值型（b）分段线性型（c） Sigmoid函数型（d）双曲正切型常用
4、的激发函数2.2.2人工神经网络的组成与结构阈值型函数又称阶跃函数，它衣示激活值o和其谕出f（。）之间的关 系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就 是我们前面提到的M-P模型。线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函 数的值域限制在定的范围内，其输入、输出之间在定范围内满足线 性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就 不再增大。 S型函数是一个有最大输出值的非线件函数，其输出值是在某个范围 内连续取值的。以它为激发函数的神经元也具有饱和特性。双曲正切型函数实际只是种特殊的S型函数，其饱和值是一1和1。2.2.2人工神经网络的组成
5、与结构3.人工神经网络的结构人工神经网络中，各神经元的不同连接方式就构成了网 络的不同连接模型。常见的连接模型有： 前向网络。 从输出层到输入层有反馈的网络。 层内有互联的网络。 互联网络。前向型神经网络的结构是父阶型的，信息值可以从输入U单元传播到 它的上-层的单元。第 层又与其上层单元相连，同层中的各单 元之间没有连接。特点：从输出层对输入层有信息反馈，可用产储存某种模式的序列有反馈的前向网络层内有结合的前向网络前向型神经网络的结构是后阶型的，信息值可以从输入二单元传播到 它的上i层的单元.第二层又与其上一层单元相连，同一层中的各单 元之问次有连接。 I层内仃结公而向网络结构I2.2.2人
6、工神经网络的组成与结构 分类“按性能分：连续型和离散型网络，或确定型和随机型网络。，按拓扑结构分：有反馈网络和无反馈网络。/按学习方法分：有教师的学习网络和无教师的学习网络。/按连接突触性质分：阶线性关联网络和高阶非线性关联网络。2.2感知器ANN2. 3. 1感知器模型感知器模型是美国学者罗森勃拉特(Rosenblatt)为研究大脑的存储、学 习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络 的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知楷模型是个只有单层计算单元的前向神经网络, 称为单层感知器。fl)单层感知器模型单层感知器工作原理单层感知器可将
7、外部输入分为两类。当感知器的输 出为+1时，输入属于/偻，当感知器的输出为1时，输 入属于/粪，从而实现两类目标的识别。在多维空间， 单层感知器进行模式识别的判决超平面由下式决定：mZ vv.x + b = 0i=单层感知器工作原理wix+w2x2+b = 0对卜只有两个临入的判别边界是直 线（如卜式所示），选择合适的学 习弊法可训练出满意的卬和 “丁明,两类模式的分类时，相 当于孟高维样本空间中,用一个 超平面将两类样本分开。2.3.2单层感知器学习算法思想-基于迭代的思想，通常是采用员系校正学习规则的学习和法。-可玲将偏差作为神经元突触权值向量的第一个分量加到权值向-输入向量和权值向量可分
8、别写成如下的形式：x 5) = +1,玉()，()，乐()了() = “()，(),叫 5)，叱”()T-令上式等于零，可得到在多维空间的单整感知器的判别超平面。-第一步，设置变量和参量。 f()为激活函数,以)为网络实际输出，(为期望输出,为学习速率，九为 迭代次数，e为实际输出与期望输出的炭差。-第二步,初始化给权值向hW(O的各个分层赋一个较小的随机能与值，置 =0-第，吮瑜入组样本*()二,并给出 它的期望输出d(N)-笫四步，计算实际输出：y() = fQ,(X()-第五步，求出期望输出和实际输出求出差e = d(n)-y(n)根据误差判断11前输出是有涧足条件，一般为对所有样本误差
9、为零或者均小于预设的值, 则洋法结束,否则将n值增加1.并用卜.式调整权值：iv(/ + 1)=卬()+()一然后转到笫四步，进入下一轮计算为程2. 3. 3单层感知器模型的缺点单层感知曙不能表达的问题被称为线性不可分问题。1969年，明斯基证明了 “异或”问题是线性不可分问题:if X| = x2其他“异或” (XOR)运算的定义如下：0, y（x，x2）= J1. 2.4 感知器模型的应用由于单层感知器的输出为y (xx, x2) =f(U) x X xx+U) 2 X x2-0 )所以，用感I器实现简单逻辑基经的情况如卜.:(1)“与”运算(X八X2) 令3 = 3 2=1，6 =2,贝
10、IJy=f (1XX1+1Xx2-2)显然，当A和X2均为1时，y的值1：而当4和Xzff 个为0时，y的值就为0。(2) “或运算(x】Vx2)令3 = 3 2=1, 6 =0. 5y=f(lXX1+lXx2-0. 5)显然，只要X1和X2中仃一个为1,贝叼的位就为1：只仃当X1和X2都为。时，y的值才 为0。2. 2. 4感知器模型的应用(3) “非”运算(XP令3 =-1, 00 2=0 0 =-0.5,贝ijy=f(-l)Xxl+0Xx2+0. 5)显然，无论X2为何值，X1为1时，y的值都为0：叼为0时，y的值为1。即y总等于X。(4) “异或运算lx】XOR x2)如果“异或 (X
11、0R)问题能用单层感知器解决,则由X0R的真值表可知，u)2和e 必须满足如下方程组：u)1+a)2-e03#0-。之oo+o-evoo+u)2-o显然，该方程组是无解，这就说明单层感知器是无法解决异或问题的。2. 2. 5多层感知器模型在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就 构成了一层或多层感知器。在多层感知器模型中，只允许某一层的连接权值可调，这是因为无 法知道网络隐层的神经元的理想输出，闪而难以给出一个仃效的多层 感知器学习算法。多层感知器克服了单笈感知器的许多缺点，原来 坐单层感知器无法 解决的问题，在多层感知器中就可以解决C例如，应用：层感知器就 可以解决异或逻
12、辑运算问题。2.3 B-P ANN2.3 B-PANN反向传播模型及其网络结构 反向传播模型也称B-P模型，是一种用前向多层的反向传播学习算法。 之所以称它是种学习方法，是因为用它可以对组成前向多层网络的各 人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能 够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学 习算法，是因为在修改各人匚神经元的连接权值时，所依据的是该网络 的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播, 来决定连接权值的修改。BP算法的网络结构是一个前向多层网络，如图所示。X1Y2图9.10 B.P网络9.3反向传播模型及其学习算法B-
13、P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对 任-输入都能得到所期望的输出。 学习过程由正向传播和反向传播组成。 正向传播用丁对前向网络进行计算，即对某一输入信息，经过网络计算 后求出它的输出结果。 反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输 入信息经过计算后所得到的输出能达到期望的误差要求。9.3反向传播模型及其学习算法B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部 分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误
14、差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向 发展的原则，调整网络中各神经元的连接权值，（6）对训练样例集中的每一个样例重复（3） （5）的步骤，自到对整 个训练样例集的误差达到要求时为止.在以上的学习过程中，第（5）步是最重要的，如何确定一种调 整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必 须解决的问题9.3反向传播模型及其学习算法B-P算法的优缺点：/ 优点：理论基础牢固，推导过程严谨，物理概念消晰，通用性好等。所 以，它是目前用来训练前向多层网络较好的算法。,缺点：（1）该学习穿法的收敛速度慢：,（2）网络中隐节点个数的选取尚无理论上的指导；,（3）从数学角度看，B-P算法是一种梯度最速卜降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要 求，但这时所得到的解并不定是问题的真正解。所以B-P算法是不完 备的。9.3反向传播模型及其学习算法9. 3. 3反向传播计算的举例设图9.12是一个简单的前向传播网络，用B-P算:法确定其中的各连接权值时,S的计算方法如下:图9.12 一个简单前向传播网络9.3反向传播模型及其学习算法如图9.12,可知:L = Wiqx, + W9qx9 J11ND /L = w34o3L =
