人工神经网络 (2)课件

《人工神经网络 (2)课件》由会员分享，可在线阅读，更多相关《人工神经网络 (2)课件（69页珍藏版）》请在金锄头文库上搜索。

1、第七章：人工神经网络,7.1 人工神经元及人工神经网络模型 7.2 前向神经网络 7.3 反馈神经网络 7.4 自组织竞争神经网络模型 7.5 基于人工神经网络的数据挖掘 本章小结,2003-11-1,1,高等教育出版社,人工神经网络简介,人工神经网络（Artificial Neural Network，简称ANN）是指由简单计算单元组成的广泛并行互联的网络，能够模拟生物神经系统的结构和功能。 组成神经网络的单个神经元的结构简单，功能有限，但是，由大量神经元构成的网络系统可以实现强大的功能。 人工神经网络在模式识别、计算机视觉、智能控制、信号处理、语音识别、知识处理、机器学习、数据挖掘等领域有

2、着广泛的应用前景。,2003-11-1,2,高等教育出版社,历史事件,最早的形式化神经元数学模型是M-P模型，由美国心理学家McCulloch和数理逻辑学家Pitts合作，于1943年提出。 1949年，心理学家Hebb提出Hebb学习规则。 1958年，计算机科学家Rosenblatt提出感知器（Perceptron）的概念，掀起人工神经网络研究的第一次高潮。 1982年，美国加州工学院的生物物理学家Hopfield提出Hopfield网络模型，这标志着神经网络研究高潮的再次兴起。,2003-11-1,3,高等教育出版社,第七章：人工神经网络,7.1 人工神经元及人工神经网络模型 7.2 前

3、向神经网络 7.3 反馈神经网络 7.4 自组织竞争神经网络模型 7.5 基于人工神经网络的数据挖掘 本章小结,2003-11-1,4,高等教育出版社,M-P模型,M-P模型如图所示，,2003-11-1,5,高等教育出版社,M-P模型（续）,其中，Ii-1, 1表示输入，Y-1, 1表示输出，权值Wi-1, 1表示输入的连接强度，正数权值表示兴奋性输入，负数权值表示抑制性输入。表示神经元兴奋时的阈值，当神经元输入的加权和大于时，神经元处于兴奋状态。神经元输出通过下式计算，其中，sgn为符号函数,2003-11-1,6,高等教育出版社,人工神经元的形式化描述,人工神经元的数学模型如图所示,20

4、03-11-1,7,高等教育出版社,人工神经元的形式化描述（续）,其中ui为第i个神经元的内部状态，i为神经元阈值，xj为输入信号，wji表示从第j个神经元到第i个神经元连接的权值。si表示第i个神经元的外部输入信号，上述假设可描述为：,2003-11-1,8,高等教育出版社,常用的神经元状态转移函数,阶跃函数 准线形函数 Sigmoid函数 双曲正切函数 f (x)=th (x),2003-11-1,9,高等教育出版社,状态转移函数图像,2003-11-1,10,高等教育出版社,人工神经网络的学习方式,死记式学习：网络连接权值根据特殊记忆模式设计而成，其值不变。在网络输入相关模式时，唤起对记

5、忆模式的回忆，对输入模式进行相应处理。 有监督学习：网络将实际输出和教师指定的输出加以比较，得到在一定范数意义下的误差，由误差函数决定连接权值的调整，目的是使误差函数达到最小值。 无监督学习：网络的学习是自我调整的过程，不存在教师示教来指示网络输出是否正确。 有监督与无监督的混合学习：混合学习过程首先采用无监督学习抽取输入模式的特征，然后利用有监督学习方式对其进行处理，形成输入输出的某种映射。,2003-11-1,11,高等教育出版社,第七章：人工神经网络,7.1 人工神经元及人工神经网络模型 7.2 前向神经网络 7.3 反馈神经网络 7.4 自组织竞争神经网络模型 7.5 基于人工神经网络

6、的数据挖掘 本章小结,2003-11-1,12,高等教育出版社,感知器,感知器（Perceptron）是由美国学者Rosenblatt于1957年提出的一个具有单层计算单元的神经网络。单层感知器神经网络如图所示，其中，输入向量为X=(X1, X2, Xn )，输出向量为Y=(Y1, Y2, Ym )。最简单的感知器仅有一个神经元。,2003-11-1,13,高等教育出版社,感知器（续）,感知器的输入向量为XRn。权值向量为WRn，可以通过学习训练调整W。单元的输出为Y-1, 1。其中， 若令Wn+1=，Xn+1=-1, 则有：,2003-11-1,14,高等教育出版社,单层感知器的学习算法,初

7、始化权值和阈值：用较小的随机非零值初始化Wi(0)。其中，Wi(t) (1in) 为t时刻第i个输入的权值，Wn+1(t)为t时刻的阈值。 输入样本：X=(X1, X2, Xn, T )，T称为教师信号（即期望输出）。 计算网络的实际输出： 修正权值：Wi(t+1)=Wi(t)+ (TY(t)Xi ，i=(1, 2, n, n+1)其中，(0, 1)为学习率，用于控制修正速度。 转到步骤(2)重复执行，直到W对一切样本均稳定不变为止。,2003-11-1,15,高等教育出版社,多层前向神经网络,多层前向神经网络有一个输入层、一个输出层和若干个隐层。输入样本送入输入层后，传递给第一隐层。第一隐层

8、节点对输入信号求加权和后，利用转移函数进行处理。第一隐层的输出传递给下一隐层，各个隐层依次类推，最后一个隐层的输出作为输出层的输入，输出层给出输入样本的网络预测。有两个隐层的前向神经网络如图所示：,2003-11-1,16,高等教育出版社,BP算法的提出,1985年，Rumelhart、Hinton和Williams给出了前向神经网络学习训练的误差后向传播算法（Back Propagation，简称BP算法），成功地解决了多层网络中隐含层神经元连接权值的学习问题。 基本的BP算法采用有监督学习方式，基于梯度下降算法，极小化误差函数。其主要思想是将学习过程分为信号正向传播过程和误差后向传播过程两

9、个阶段。,2003-11-1,17,高等教育出版社,相关概念,设(Xp, Tp) 表示输入样本，p1, 2, N，N为输入样本的个数。W表示网络权向量。 误差函数：E (W)=g ( f (W, Xp, Tp) )，E称为误差（测度）函数。用误差函数来判别网络的实际输出向量Yp与教师信号向量Tp的误差。常采用二乘误差函数加以判别（m为输出向量的维数）：,2003-11-1,18,高等教育出版社,相关概念,映射：对于给定的一组数据(Xp, Tp)，神经网络通过一组特定的权值W，实现一定精度的映射。训练目的是希望得到的权值能产生最小的误差和最好的精度。从XpRn到YpRm的映射记为： f : Xp

10、RnYpRm 误差曲面：若隐层与输出层间的权值数目记为mn2，对于给定的训练样本(Xp, Tp)，网络权向量W(W1, W2, Wmn2)，通过误差函数E(W)计算出来的映射误差可描述为mn2+1空间的一个曲面，称为误差曲面。不同的E (W)对应不同的误差曲面形状。,2003-11-1,19,高等教育出版社,相关概念,网络学习：是指按照某种学习规则选取新的W，使E(W)E(W)，即使E(W)对应的误差曲面上的点总是向山下移动，最终移到最深的谷底（全局最小）。若曲面有多个谷底，移动的过程可能陷入局部极小。 移动步长：也称学习率，步长较小时移动轨迹较慢且平滑，易陷入局部极小；步长较大时移动速度快，

11、可能跳过局部极小，也可能跳过全局最小点，易产生振荡。一般情况下，开始时取较大步长，后期取较小步长。,2003-11-1,20,高等教育出版社,相关概念,梯度下降算法：如果移动是在误差曲面最陡的方向，或梯度下降的方向上进行，这样下山的速度快，称作最速梯度下降法。,2003-11-1,21,高等教育出版社,BP算法权值的修正量,BP算法基于梯度下降算法。在梯度下降算法中，权值的修正量正比于误差函数E(W)对W的负梯度，即： W (t+1)= W (t) +W (t),2003-11-1,22,高等教育出版社,BP算法权值修正公式的推导,设有N个学习样本(Xp, Tp)，p1, 2, N，对于某个X

12、p，网络输出为Yp，节点i的输出为Oip，神经元节点i和j的连接权值为Wij，节点j的输入加权和为： 误差函数使用二乘误差函数： 其中，,2003-11-1,23,高等教育出版社,BP算法权值修正公式的推导（续）,根据netjp定义及求偏导数的链式规则有： 令 ，上式改写为：,2003-11-1,24,高等教育出版社,BP算法权值修正公式的推导（续）,为计算 ，由于 使用链式规则有：,2003-11-1,25,高等教育出版社,BP算法权值修正公式的推导（续）,若j是输出节点，则Ojp=Yjp，从而有： 若j不是输出节点，则有： 其中,2003-11-1,26,高等教育出版社,BP算法权值修正公

13、式的推导（续）,从而有：,2003-11-1,27,高等教育出版社,BP算法权值修正公式的推导（续）,通过以上讨论，梯度下降算法对权值的修正为：,2003-11-1,28,高等教育出版社,三层前向神经网络,考虑一个三层的前向神经网络，设输入层节点数为n1，中间层节点数为n2，输出层节点数为m。设 为输入层节点i的输出； 为中间层节点j的输出； 为输出层节点k的输出；Tk为输出层节点k对应的教师信号；Wij为节点i和节点j间的连接权值；Wjk为节点j和节点k间的连接权值；j为中间层节点j的阈值；k为输出层节点k的阈值。,2003-11-1,29,高等教育出版社,三层前向神经网络（续）,节点转移函

14、数取为Sigmoid函数： Sigmoid函数是单调递增函数，且处处可导，其导数为： 误差函数取为二乘误差函数：,2003-11-1,30,高等教育出版社,三层前向神经网络BP算法,(1)设定学习次数初值t=0；用小的随机数初始化网络权值和阈值，Wij(t)-1, 1，Wjk(t)-1, 1，j (t)-1, 1，k (t)-1, 1。 (2)输入一个学习样本(Xp, Tp)，其中p1, 2, N、N为样本数，XpRn，TpRm 。 (3)计算隐层各节点的输出值：,2003-11-1,31,高等教育出版社,三层前向神经网络BP算法（续）,(4) 计算输出层各节点的输出： (5) 计算输出层节点

15、和隐层节点之间连接权值的修正量：,2003-11-1,32,高等教育出版社,三层前向神经网络BP算法（续）,(6) 计算隐层节点和输入层节点间连接权值修正量： j1, 2, n2 (7) 利用下式修正输出层节点k和隐层节点j的连接权值Wkj，修正输出层节点k的阈值。其中k为（5）中求出的误差修正量。,2003-11-1,33,高等教育出版社,三层前向神经网络BP算法（续）,(8) 利用下式修正隐层节点j和输入层节点i的连接权值Wji，修正隐层节点j的阈值。其中j为（6）中求出的误差修正量。 (9) 如果未取完全部学习样本，则返回步骤(2)。 (10) 计算误差函数E，并判断E是否小于规定的误差

16、上限，如果E小于误差上限，或学习达到学习次数限制，则算法结束；否则更新学习次数t = t+1，返回步骤(2)。,2003-11-1,34,高等教育出版社,三层前向神经网络BP算法（续）,步骤(2)至(4)为信号前向传播计算，步骤(5)至(8)为误差后向传播计算。 上述BP算法采用逐次修正法，即针对每个输入样本进行一次权值和阈值的修正，而一括修正法对每个输入样本计算修正量，对权值修正量逐次累加，但不马上进行权值和阈值修正，当全部学习样本学习结束后，才修正权值和阈值。 另一种修正方法是Memond法，该方法在修正权值向量和阈值向量时，考虑前一次的修正量。,2003-11-1,35,高等教育出版社,径向基函数神经网络,径向基函数（Radial Basis Function，简称RBF）神经网络是一种三层前向神经网络。