《《典型神经网络》PPT课件》由会员分享，可在线阅读，更多相关《《典型神经网络》PPT课件（61页珍藏版）》请在金锄头文库上搜索。
1、7.1 单单神经元网络神经元网络第第7 7章章 典型典型神经网络神经网络2神经元模型神经元模型图图7-1中中为为神神经经元元的的内内部部状状态态，为为阈阈值值，为为输输入入信信号号，为为表示从单元表示从单元到单元到单元的连接权系数，的连接权系数，为外部输入信号。为外部输入信号。单神经元模型可描述为：单神经元模型可描述为：通常情况下，取通常情况下，取即即图图7-1单神经元模型单神经元模型常用的神经元非线性特性有以下四种：常用的神经元非线性特性有以下四种：（1）阈值型）阈值型图图7-2阈值型函数阈值型函数（2）分段线性型）分段线性型图图7-3分段线性函数分段线性函数（3）Sigmoid函数型函数型
2、图图7-4Sigmoid函数函数7.2 BP神经网络神经网络1986年，年，Rumelhart等提出了误差反向传播等提出了误差反向传播神经网络，简称神经网络，简称BP网络（网络（BackPropagation），），该网络是一种单向传播的多层前向网络。该网络是一种单向传播的多层前向网络。 误差反向传播的误差反向传播的BP算法简称算法简称BP算法，其基算法，其基本思想是梯度下降法。它采用梯度搜索技术，本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差以期使网络的实际输出值与期望输出值的误差均方值为最小。均方值为最小。 7.2.1BP网络特点网络特点（1 1）是是一一
3、种种多多层层网网络络，包包括括输输入入层层、隐隐含含层层和和输出层；输出层；（2）层层与与层层之之间间采采用用全全互互连连方方式式，同同一一层层神神经经元之间不连接；元之间不连接；（3）权值通过）权值通过学习算法进行调节；学习算法进行调节；（4）神经元激发函数为）神经元激发函数为S函数；函数；（5）学习算法由正向传播和反向传播组成；学习算法由正向传播和反向传播组成；（6）层层与与层层的的连连接接是是单单向向的的，信信息息的的传传播播是是双双向的。向的。7.2.2 BP网络结构 含一个隐含层的含一个隐含层的BP网络结构如图网络结构如图7-5所示，所示，图中图中 为输入层神经元，为输入层神经元，
4、为隐层神经元，为隐层神经元， 为输出层神经元。为输出层神经元。图图7-5 BP7-5 BP神经网络结构神经网络结构7.2.3 BP网络的逼近BP网网络络逼逼近近的的结结构构如如图图7-6所所示示，图图中中k为为网网络络的的迭迭代代步步骤骤，u(k)和和y(k)为为逼逼近近器器的的输输入入。BP为为网网络络逼逼近近器器，y(k)为为被被控控对对象象实实际际输输出出，yn(k)为为BP的的输输出出。将将系系统统输输出出y(k)及及输输入入u(k)的的值值作作为为逼逼近近器器BP的的输输入入，将将系系统统输输出出与网络输出的误差作为逼近器的调整信号。与网络输出的误差作为逼近器的调整信号。图7-6 B
5、P神经网络逼近 用于逼近的BP网络如图7-7所示。图7-7 用于逼近的BP网络。BP算算法法的的学学习习过过程程由由正正向向传传播播和和反反向向传传播播组组成成。在在正正向向传传播播过过程程中中，输输入入信信息息从从输输入入层层经经隐隐层层逐逐层层处处理理，并并传传向向输输出出层层，每每层层神神经经元元（节节点点）的的状状态态只只影影响响下下一一层层神神经经元元的的状状态态。如如果果在在输输出出层层不不能能得得到到期期望望的的输输出出，则则转转至至反反向向传传播播，将将误误差差信信号号（理理想想输输出出与与实实际际输输出出之之差差）按按联联接接通通路路反反向向计计算算，由由梯梯度度下下降降法法
6、调调整整各各层层神神经经元元的的权权值值，使使误误差差信信号减小。号减小。（1）前向传播：计算网络的输出。）前向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用隐层神经元的输出采用S函数激发：函数激发：则则（1）前向传播：计算网络的输出。）前向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用隐层神经元的输出采用S函数激发：函数激发：则则输出层神经元的输出：输出层神经元的输出：网络输出与理想输出误差为：网络输出与理想输出误差为：误差性能指标函数为：误差性能指
7、标函数为：（2）反反向向传传播播：采采用用学学习习算算法法，调调整整各各层层间间的权值。的权值。根据梯度下降法，权值的学习算法如下：根据梯度下降法，权值的学习算法如下：输出层及隐层的连接权值学习算法为：输出层及隐层的连接权值学习算法为：k+1时刻网络的权值为：时刻网络的权值为：隐层及输入层连接权值学习算法为：隐层及输入层连接权值学习算法为：其中其中k+1时刻网络的权值为：时刻网络的权值为：如如果果考考虑虑上上次次权权值值对对本本次次权权值值变变化化的的影影响响，需要加入动量因子需要加入动量因子，此时的权值为：，此时的权值为：其中其中,为学习速率，为学习速率，为动量因子。为动量因子。 阵阵( (
8、即即为为对对象象的的输输出出对对控控制制输输入入的的灵灵敏敏度信息度信息) )算法为：算法为：其中取其中取7.2.4BP网络的优缺点网络的优缺点BP网络的优点为：网络的优点为：（1）只只要要有有足足够够多多的的隐隐层层和和隐隐层层节节点点，BP网网络络可可以以逼近任意的非线性映射关系；逼近任意的非线性映射关系；（2）BP网网络络的的学学习习算算法法属属于于全全局局逼逼近近算算法法，具具有有较较强的泛化能力。强的泛化能力。（3）BP网网络络输输入入输输出出之之间间的的关关联联信信息息分分布布地地存存储储在在网网络络的的连连接接权权中中，个个别别神神经经元元的的损损坏坏只只对对输输入入输输出出关关
9、系系有有较较小小的的影影响响，因因而而BP网网络络具具有有较较好好的的容容错错性。性。BP网络的主要缺点为：网络的主要缺点为：（1）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；（2）目目标标函函数数存存在在多多个个极极值值点点，按按梯梯度度下下降降法进行学习，很容易陷入局部极小值；法进行学习，很容易陷入局部极小值；（3）难难以以确确定定隐隐层层及及隐隐层层节节点点的的数数目目。目目前前，如如何何根根据据特特定定的的问问题题来来确确定定具具体体的的网网络络结结构构尚无很好的方法，仍需根据经验来试凑。尚无很好的方法，仍需根据经验来试凑。由由于于BP网网络络具具有有很很好好的的逼逼近近
10、非非线线性性映映射射的的能能力力，该该网网络络在在模模式式识识别别、图图像像处处理理、系系统统辨辨识识、函函数数拟拟合合、优优化化计计算算、最最优优预预测测和和自自适适应应控控制制等等领领域域有着较为广泛的应用。有着较为广泛的应用。由由于于BP网网络络具具有有很很好好的的逼逼近近特特性性和和泛泛化化能能力力，可可用用于于神神经经网网络络控控制制器器的的设设计计。但但由由于于BP网网络络收收敛速度慢，难以适应实时控制的要求。敛速度慢，难以适应实时控制的要求。7.2.5BP网络逼近仿真实例网络逼近仿真实例 使用BP网络逼近对象： BP网络逼近程序见chap7_1.m 7.2.6BP网络模式识别网络
11、模式识别 由于神经网络具有自学习、自组织和并由于神经网络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联行处理等特征，并具有很强的容错能力和联想能力，因此，神经网络具有模式识别的能想能力，因此，神经网络具有模式识别的能力。力。在在神神经经网网络络模模式式识识别别中中，根根据据标标准准的的输输入入输输出出模模式式对对，采采用用神神经经网网络络学学习习算算法法，以以标标准准的的模模式式作作为为学学习习样样本本进进行行训训练练，通通过过学学习习调调整整神神经经网网络络的的连连接接权权值值。当当训训练练满满足足要要求求后后，得得到到的的神神经经网网络络权权值值构构成成了了模模式式识识别别的
12、的知知识识库库，利利用用神神经经网网络络并并行行推推理理算算法法对对所所需要的输入模式进行识别。需要的输入模式进行识别。当当待待识识别别的的输输入入模模式式与与训训练练样样本本中中的的某某个个输输入入模模式式相相同同时时，神神经经网网络络识识别别的的结结果果就就是是与与训训练练样样本本中中相相对对应应的的输输出出模模式式。当当待待识识别别的的输输入入模模式式与与训训练练样样本本中中所所有有输输入入模模式式都都不不完完全全相相同同时时，则则可可得得到到与与其其相相近近样样本本相相对对应应的的输输出出模模式式。当当待待识识别别的的输输入入模模式式与与训训练练样样本本中中所所有有输输入入模模式式相相
13、差差较较远远时时，就就不不能能得得到到正正确确的的识识别别结结果果，此此时时可可将将这这一一模模式式作作为为新新的的样样本本进进行行训训练练，使使神神经经网网络络获获取取新新的的知知识识，并并存存储储到到网网络络的的权权值矩阵中，从而增强网络的识别能力。值矩阵中，从而增强网络的识别能力。BP网网络络的的训训练练过过程程如如下下：正正向向传传播播是是输输入入信信号号从从输输入入层层经经隐隐层层传传向向输输出出层层，若若输输出出层层得得到到了了期期望望的的输输出出，则则学学习习算算法法结结束束；否否则则，转转至至反向传播反向传播以以第第p个个样样本本为为例例，用用于于训训练练的的BP网网络络结结构
14、如图构如图7-11所示。所示。图图7-11 BP7-11 BP神经网络结构神经网络结构网络的学习算法如下：网络的学习算法如下：（1）前向传播：计算网络的输出。）前向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输入为所有输入的加权之和：隐层神经元的输出隐层神经元的输出采用采用S函数激发函数激发：则输出层神经元的输出： 网络第 个输出与相应理想输出 的误差为： 第p个样本的误差性能指标函数为：其中N为网络输出层的个数。（2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下： 输出层及隐层的连接权值 学习算法为：其中隐层及输入层连接权值 学习算法为： 如果考
15、虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为： 其中 为学习速率， 为动量因子。 7.2.7仿真实例：仿真实例： 取标准样本为3输入2输出样本，如表7-1所示。 输 入输 出1001001000.500101表7-1 训练样本 BP网络模式识别程序包括网络训练程序chap7_2a.m和网络测试程序chap7_2b.m。7.3 RBF7.3 RBF神经网络神经网络径径向向基基函函数数(RBF-RadialBasisFunction)神神经经网网络络是是由由J.Moody和和C.Darken在在80年年代代末末提提出出的的一一种种神神经经网网络络,它它是是具具有有单单隐隐层层的
16、的三三层层前前馈馈网网络络。由由于于它它模模拟拟了了人人脑脑中中局局部部调调整整、相相互互覆覆盖盖接接收收域域（或或称称感感受受野野-ReceptiveField）的的神神经经网网络络结结构构，因因此此，RBF网网络络是是一一种种局局部部逼逼近近网网络络，已已证证明明它它能任意精度逼近任意连续函数。能任意精度逼近任意连续函数。RBF网络特点网络特点(1)RBF网络的作用函数为高斯函数，是局部网络的作用函数为高斯函数，是局部的，的，BP网络的作用函数为网络的作用函数为S函数，是全局的；函数，是全局的；(2)如何确定如何确定RBF网络隐层节点的中心及基宽网络隐层节点的中心及基宽度参数是一个困难的问
17、题；度参数是一个困难的问题；(3)已证明已证明RBF网络具有唯一最佳逼近的特性，网络具有唯一最佳逼近的特性，且无局部极小。且无局部极小。7.3.1RBF网络结构网络结构 RBFRBF网络是一种三层前向网络，由于输入网络是一种三层前向网络，由于输入到输出的映射是非线性的，而隐含层空间到到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。快学习速度并避免局部极小问题。图图7-13RBF网络结构网络结构7.3.2RBF网络的逼近网络的逼近 采用RBF网络逼近一对象的结构如图7-14所示。 图7-14 RBF神
18、经网络逼近 在在RBF网网络络结结构构中中，为为网网络络的的输输入入向量。设向量。设RBF网络的径向基向量网络的径向基向量，其中，其中hj为高斯基函数：为高斯基函数：网络的第网络的第j个结点的中心矢量为：个结点的中心矢量为：其中，其中，i=1,2,n设网络的基宽向量为：设网络的基宽向量为：为为节节点点的的基基宽宽度度参参数数，且且为为大大于于零零的的数数。网络的权向量为：网络的权向量为：k时刻时刻网络的输出为：网络的输出为：设理想输出为设理想输出为y(k)，则性能指标函数为：，则性能指标函数为：根根据据梯梯度度下下降降法法，输输出出权权、节节点点中中心心及及节节点点基基宽参数的迭代算法如下：宽
19、参数的迭代算法如下： 阵阵( (即即为为对对象象的的输输出出对对控控制制输输入入的的灵灵敏敏度信息度信息) )算法为：算法为：其中取其中取 。其中其中,为学习速率，为学习速率，为动量因子。为动量因子。使用RBF网络逼近下列对象：RBF网络逼近程序见chap7_3.m。 7.3.3RBF网络逼近仿真实例网络逼近仿真实例7.4 7.4 回归神经网络回归神经网络对对角角回回归归型型神神经经网网络络（DRNN：DiagonalRecurrentNeuralNetwork）是是具具有有反反馈馈的的动动态态神神经经网网络络，该该网网络络能能够够更更直直接接更更生生动动地地反反映映系系统统的的动动态态特特性
20、性，它它在在BP网网络络基基本本结结构构的的基基础础上上，通通过过存存储储内内部部状状态态使使其其具具备备映映射射动动态态特特征征的的功功能能，从从而而使使系系统统具具有有适适应应时时变变特特性性的的能能力力，DRNN网络代表了神经网络建模和控制的方向。网络代表了神经网络建模和控制的方向。7.4.1DRNN网络结构网络结构 DRNNDRNN网网络络是是一一种种三三层层前前向向网网络络，其其隐隐含含层层为为回回归归层层。正正向向传传播播是是输输入入信信号号从从输输入入层层经经隐隐层层传传向向输输出出层层，若若输输出出层层得得到到了了期期望望的的输输出出，则则学学习习算算法法结结束束；否否则则，转
21、转至至反反向向传传播播。反反向向传传播播就就是是将将误误差差信信号号（理理想想输输出出与与实实际际输输出出之之差差）按按联联接接通通路路反反向向计计算算，由由梯梯度度下下降降法法调调整整各各层层神经元的权值和阈值，使误差信号减小。神经元的权值和阈值，使误差信号减小。DRNN网络结构如图网络结构如图7-18所示。所示。图图7-18 DRNN7-18 DRNN神经网络结构神经网络结构在该网络中在该网络中,设设为网络输入向量为网络输入向量,为为输输入入层层第第i个个神神经经元元的的输输入入，网网络络回回归归层层第第j个个神神经经元元的的输输出出为为,为为第第个个回回归归神神经经元元输输入入总总和和,
22、为为S函函数数，为为DRNN网络的输出。网络的输出。和和为网络回归层和输出层的权值向量为网络回归层和输出层的权值向量,为网络输入层的权值向量。为网络输入层的权值向量。7.4.2DRNN网络的逼近网络的逼近DRNN网络逼近的结构如图网络逼近的结构如图7-19所示，所示，图中图中k k为网络的迭代步骤，为网络的迭代步骤，u(k)u(k)和和y(k)y(k)为辨识为辨识器的输入。器的输入。DRNN为网络辨识器。为网络辨识器。y(k)y(k)为被为被控对象实际输出，控对象实际输出，y ym m(k)(k)为为DRNN的输出。将的输出。将系统输出系统输出y(k)y(k)及输入及输入u(k)u(k)的值作
23、为辨识器的值作为辨识器DRNN的输入，将系统输出与网络输出的误的输入，将系统输出与网络输出的误差作为辨识器的调整信号。差作为辨识器的调整信号。图7-19 DRNN神经网络逼近 网络输出层的输出为网络输出层的输出为网络回归层的输出为网络回归层的输出为网络回归层的输入为网络回归层的输入为逼近误差为：逼近误差为：性能指标函数为：性能指标函数为：学习算法采用梯度下降法学习算法采用梯度下降法其中回归层神经元取双函数为其中回归层神经元取双函数为其其中中，分分别别为为输输入入层层、回回归归层层和和输输出出层层的学习速率，的学习速率，为惯性系数。为惯性系数。7.4.3DRNN网络逼近仿真实例网络逼近仿真实例使用DRNN网络逼近下列对象：DRNN网络逼近程序见chap7_4.m。
