第五部分B网络

《第五部分B网络》由会员分享，可在线阅读，更多相关《第五部分B网络（190页珍藏版）》请在金锄头文库上搜索。

1、 第五章第五章 BP网络网络北京科技大学北京科技大学北京科技大学北京科技大学 信息工程学院信息工程学院信息工程学院信息工程学院付冬梅付冬梅付冬梅付冬梅 623349672006-12-61北京科技大学 自动化系 付冬梅本章的基本内容本章的基本内容 BPBP网络结构与模型网络结构与模型网络结构与模型网络结构与模型 BPBP网络的学习算法网络的学习算法网络的学习算法网络的学习算法 BP BP神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要函数和基本功能 一个简单的例子一个简单的例子一个简单的例子一个简单的例子 BP BP网络的几个问题网络的几个问题

2、网络的几个问题网络的几个问题 改进的改进的改进的改进的BPBP网络的学习算法网络的学习算法网络的学习算法网络的学习算法 BP BP网络的应用示例网络的应用示例网络的应用示例网络的应用示例2006-12-62北京科技大学 自动化系 付冬梅nRumelhart，McClelland于于1985年提出了年提出了BP网络的误差网络的误差反向后传反向后传BP(Back Propagation)学习算法学习算法nBP算法基本原理算法基本原理q利用输出后的误差来估计输出层的直接前导层的误差，利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的再用这个误差估计更前一层

3、的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 概述概述2006-12-63北京科技大学 自动化系 付冬梅BP网络是一种前向映射网络。网络的结构见下一页的图形。其中：u是网络的输入向量，y是网络的输出向量。神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层(图中是单隐层)。前层节点至后层节点通过权联接。 由于这种网络常常用BP学习算法后的网络权值，所以常称BP人工神经网络。5-1 网络结构和模型网络结构和模型2006-12-64北京科技大学 自动化系

4、付冬梅5-1 网络结构和模型网络结构和模型2006-12-65北京科技大学 自动化系 付冬梅5-1 网络结构与模型网络结构与模型2006-12-66北京科技大学 自动化系 付冬梅5-1 网络结构和模型网络结构和模型 BP网络的神经元模型是改进了感知器神经元模型得到的。输入层： 隐层：输出层：fxex( )=+-11fxeexx( )=-+-11fxeexx( )=-+-11fxex( )=+-112006-12-67北京科技大学 自动化系 付冬梅5-2 BP网络的学习算法网络的学习算法 多层前馈网络的反向传播多层前馈网络的反向传播 （BPBP）学习算法，学习算法，简称简称BPBP学习算法，这是

5、一种有导师的学习算法学习算法，这是一种有导师的学习算法，是是梯度下降法梯度下降法在多层前馈网中的应用。在多层前馈网中的应用。 BPBP学习算法学习算法可以看成是线性自适应神经元学可以看成是线性自适应神经元学习算法的进一步推广。习算法的进一步推广。BPBP学习算法学习算法= =前向计算过程前向计算过程+ +误差反向传播过程误差反向传播过程前向计算过程：也是网络应用时的实现过程。前向计算过程：也是网络应用时的实现过程。误差反向传播过程：是误差反向传播过程：是BP网络权值的学习和网络权值的学习和 训练过程。训练过程。5-2-1 BP5-2-1 BP学习算法概述学习算法概述2006-12-68北京科技

6、大学 自动化系 付冬梅n学习的类型：学习的类型：有导师学习有导师学习n核心思想：核心思想：q将将输出误差输出误差以某种形式以某种形式通过通过隐层隐层向向输入层输入层逐层反传逐层反传n学习的过程：学习的过程：q信号的正向传播信号的正向传播 误差的反向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值5-2 BP网络的学习算法网络的学习算法5-2-1 BP5-2-1 BP学习算法概述学习算法概述2006-12-69北京科技大学 自动化系 付冬梅n正向传播：正向传播：q输入样本输入层各隐层输出层输入样本输入层各隐层输

7、出层n判断是否转入反向传播阶段：判断是否转入反向传播阶段：q若输出层的实际输出与期望的输出（教师信号）不符若输出层的实际输出与期望的输出（教师信号）不符n误差反传误差反传q误差以某种形式在各层表示修正各层单元的权值误差以某种形式在各层表示修正各层单元的权值n网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度 或者进行到预先设定的学习次数为止或者进行到预先设定的学习次数为止5-2 BP网络的学习算法网络的学习算法5-2-1 BP5-2-1 BP学习算法概述学习算法概述2006-12-610北京科技大学 自动化系 付冬梅n网络结构网络结构 输入层有输入层有n n个神经元，隐含层有个神

8、经元，隐含层有p p个神经元，输出个神经元，输出层有层有q q个神经元。个神经元。n变量定义变量定义q输入向量输入向量; ;q隐含层输入向量；隐含层输入向量；q隐含层输出向量隐含层输出向量; ;q输出层输入向量输出层输入向量; ;q输出层输出向量输出层输出向量; ;q期望输出向量期望输出向量; ; 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-611北京科技大学 自动化系 付冬梅q输入层与中间层的连接权值:q隐含层与输出层的连接权值:q隐含层各神经元的阈值:q输出层各神经元的阈值:q样本数据个数:q激活函数: q误差函数：5

9、-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-612北京科技大学 自动化系 付冬梅n第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（给各连接权值分别赋一个区间（-1，1）内的随机）内的随机数，设定误差函数数，设定误差函数e，给定计算精度值，给定计算精度值 和最大学和最大学习次数习次数M。n第二步第二步,随机选取第随机选取第 个输入样本及对应期望个输入样本及对应期望输出输出 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-613北京科技大学 自

10、动化系 付冬梅n第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-614北京科技大学 自动化系 付冬梅n第四步，利用网络期望输出和实际输出，计算第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数误差函数对输出层的各神经元的偏导数 。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-615北京科技大学 自动化系 付冬梅n第五步，利用隐含层到输出层的连接权值、输第五步

11、，利用隐含层到输出层的连接权值、输出层的出层的 和隐含层的输出计算误差函数对隐和隐含层的输出计算误差函数对隐含层各神经元的偏导数含层各神经元的偏导数 。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-616北京科技大学 自动化系 付冬梅5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-617北京科技大学 自动化系 付冬梅n第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和隐含层各和隐含层各神经元的输出来修正连接权值神经元的输出来修正连接权值 。 n第

12、七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和输入层各和输入层各神经元的输入修正连接权。神经元的输入修正连接权。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-618北京科技大学 自动化系 付冬梅n第八步，计算全局误差第八步，计算全局误差n第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下

13、一轮学应的期望输出，返回到第三步，进入下一轮学习。习。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描述学习算法的描述2006-12-619北京科技大学 自动化系 付冬梅 情况一的直观表达情况一的直观表达 当误差对权值的当误差对权值的偏导数大于零时，权偏导数大于零时，权值调整量为负，实际值调整量为负，实际输出大于期望输出，输出大于期望输出，权值向减少方向调整，权值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少。whoe0，此时此时who05-2 BP网络的学习算法网络的学习算法5-2-3 BP5-2-3 BP学习算法的直观解

14、释学习算法的直观解释2006-12-620北京科技大学 自动化系 付冬梅 情况二的直观表达情况二的直观表达当误差对权值的偏导数当误差对权值的偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方望输出，权值向增大方向调整，使得实际输出向调整，使得实际输出与期望输出的差减少。与期望输出的差减少。e0who5-2 BP网络的学习算法网络的学习算法5-2-3 BP5-2-3 BP学习算法的直观解释学习算法的直观解释2006-12-621北京科技大学 自动化系 付冬梅nBPBP算法算法手控手控演示演示2006-12-622北京科技大学 自动化系 付冬

15、梅函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数5-3-1 BP5-3-1 BP神经网络的重要函数神经网络的重要函数5-3 BP神经网络的重要函数和基本功能神经网络的重要函数和基本功能2006-12-623北京科技大学 自动化系 付冬梅qnewff()n功能功能 建立一个前向建立一个前向BP网络网络n格式格式 net = newff(PR，S1 S2.SN1，T

16、F1 TF2.TFN1，BTF，BLF，PF)n说明说明 net为创建的新为创建的新BP神经网络；神经网络；PR为网络输入取为网络输入取向量取值范围的矩阵；向量取值范围的矩阵；S1 S2SNl表示网络隐含层和表示网络隐含层和输出层神经元的个数；输出层神经元的个数；TFl TF2TFN1表示网络隐含表示网络隐含层和输出层的传输函数，默认为层和输出层的传输函数，默认为tansig；BTF表示表示网络的训练函数，默认为网络的训练函数，默认为trainlm；BLF表示网络表示网络的权值学习函数，默认为的权值学习函数，默认为learngdm；PF表示性能数，表示性能数，默认为默认为mse。 5-3 BP

17、神经网络的重要函数和基本功能神经网络的重要函数和基本功能5-3-2 BP5-3-2 BP神经网络中函数的基本功能神经网络中函数的基本功能 2006-12-624北京科技大学 自动化系 付冬梅qtansig()n功能功能 正切正切sigmoid激活函数激活函数n格式格式 a = tansig(n)n说明说明 双曲正切双曲正切Sigmoid函数把神函数把神经元的输入范围从经元的输入范围从(-，+)映射映射到到(-1，1)。它是可导函数，适用。它是可导函数，适用于于BP训练的神经元。训练的神经元。qlogsig()n功能功能 对数对数Sigmoid激活函数激活函数n格式格式 a = logsig(N

18、)n说明对数说明对数Sigmoid函数把神经元函数把神经元的输入范围从的输入范围从(-，+)映射到映射到(0，1)。它是可导函数，适用于。它是可导函数，适用于BP训练的神经元。训练的神经元。5-3 BP神经网络的重要函数和基本功能神经网络的重要函数和基本功能5-3-2 BP5-3-2 BP神经网络中函数的基本功能神经网络中函数的基本功能 2006-12-625北京科技大学 自动化系 付冬梅 下表为某药品的销售情况，现构建一个如下的三层下表为某药品的销售情况，现构建一个如下的三层BP神经网神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为络对药品的销售进行预测：输入层有三个结点，隐含

19、层结点数为5，隐含层的激活函数为，隐含层的激活函数为tansig；输出层结点数为；输出层结点数为1个，输出层的激个，输出层的激活函数为活函数为logsig，并利用此网络对药品的销售量进行预测，预测方，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用销售量，如用1、2、3月的销售量为输入预测第月的销售量为输入预测第4个月的销售量，个月的销售量，用用2、3、4月的销售量为输入预测第月的销售量为输入预测第5个月的销售量个月的销售量.如此反复直至如此反复直至满足预测精度要求为止。满足预

20、测精度要求为止。 月份123456销量205623952600229816341600月份789101112销量1873147819001500204615565-4 一个简单的例子一个简单的例子2006-12-626北京科技大学 自动化系 付冬梅%以每三个月的销售量经归一化处理后作为输入以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第四个月的销售量归一化处

21、理后作为目标向量以第四个月的销售量归一化处理后作为目标向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%创建一个创建一个BP神经网络，每个输入向量的取值范围为神经网络，每个输入向量的取值范围为0 ,1， 5个隐层神经元，一个输出层神经元，隐层的激活函数个隐层神经元，一个输出层神经元，隐层的激活函数tansig，输出层激活函数，输出层激活函数logsig，训练函数为梯度下降函数。，训练函数为梯度下降函数。net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=1500

22、0;net.trainParam.goal=0.01;LP.lr=0.1; %设置学习速率为设置学习速率为0.1net=train(net,P,T); 5-4 一个简单的例子一个简单的例子2006-12-627北京科技大学 自动化系 付冬梅 由对比图可以看出由对比图可以看出预测效果与实际存在预测效果与实际存在一定误差，此误差可一定误差，此误差可以通过增加运行步数以通过增加运行步数和提高预设误差精度和提高预设误差精度业进一步缩小。业进一步缩小。nBP网络应用于药品预测对比图网络应用于药品预测对比图5-4 一个简单的例子一个简单的例子2006-12-628北京科技大学 自动化系 付冬梅n非线性映射

23、能力非线性映射能力 能学习和存贮大量输入能学习和存贮大量输入- -输出模式映射关系，无需输出模式映射关系，无需事先了解描述这种映射关系的数学方程。只要能提供足事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式供网络进行学习训练，它便能完成由够多的样本模式供网络进行学习训练，它便能完成由n n维输入空间到维输入空间到m m维输出空间的非线性映射。维输出空间的非线性映射。n泛化能力泛化能力 当向网络输入训练时未曾见过的非样本数据时，网当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力

24、。力称为泛化能力。n容错能力容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。输入输出规律影响很小。5-5 BP网络有关的几个问题网络有关的几个问题2006-12-629北京科技大学 自动化系 付冬梅5-5 BP网络有关的几个问题网络有关的几个问题2006-12-630北京科技大学 自动化系 付冬梅5-5 BP网络有关的几个问题网络有关的几个问题2006-12-631北京科技大学 自动化系 付冬梅 （5） 改进的改进的BP算法算法 梯度下降法的不足，是梯度下降法的不足，是BP算法收敛速度慢的原因，算法收敛速度慢的原因，有改进

25、的有改进的BP算法克服其不足，算法克服其不足，如：如：5-5 BP网络有关的几个问题网络有关的几个问题2006-12-632北京科技大学 自动化系 付冬梅5-5 BP网络有关的几个问题网络有关的几个问题2006-12-633北京科技大学 自动化系 付冬梅2006-12-634北京科技大学 自动化系 付冬梅2006-12-635北京科技大学 自动化系 付冬梅5-6 改进的改进的BP网络的学习算法网络的学习算法单权值单权值双权值双权值 标准标准BPBP算法的误差算法的误差空间空间是是N N维空间中一个形状极为维空间中一个形状极为复杂的曲面，该曲面上的每个点的复杂的曲面，该曲面上的每个点的“高度高度

26、”对应于一个误差对应于一个误差值，每个点的坐标向量对应着值，每个点的坐标向量对应着N N个权值个权值5-6-1 5-6-1 问题的描述问题的描述2006-12-636北京科技大学 自动化系 付冬梅5-6 改进的改进的BP网络的学习算法网络的学习算法nBP网络学习算法存在的问题q存在平坦区域影响-误差下降缓慢，影响收敛速度。原因-误差对权值的梯度变化小接近于零 由各节点的净输入过大而引起。n分析：激活函数为Sigmod函数5-6-1 5-6-1 问题的描述问题的描述2006-12-637北京科技大学 自动化系 付冬梅5-6 改进的改进的BP网络的学习算法网络的学习算法n存在平坦区域的原因分析权值

27、权值权值权值修正量修正量修正量修正量：输出的导数：输出的导数：输出的导数：输出的导数：5-6-1 5-6-1 问题的描述问题的描述2006-12-638北京科技大学 自动化系 付冬梅对应着误差的某个谷点对应着误差的某个谷点 对应着误差的平坦区对应着误差的平坦区 存在平坦区域的原因分析：q第一种可能是 充分接近q第二种可能是 充分接近0q么三种可能是 充分接近1 造成平坦区的原因： 各节点的净输入过大。5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-1 5-6-1 问题的描述问题的描述2006-12-639北京科技大学 自动化系 付冬梅5-6 改进的改进的BP网络的学习算法网络的学习

28、算法n存在多个极小点q影响-易陷入局部最小点。原因：n以误差梯度下降为权值调整原则；n误差曲面上可能存在多个梯度为0的点，多数极小点都是局部极小，即使是全局极小往往也不是唯一的，使之无法辨别极小点的性质q导致的结果： 使得训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。5-6-1 5-6-1 问题的描述问题的描述2006-12-640北京科技大学 自动化系 付冬梅n BP算法缺陷小结 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面将

29、介绍其中几种较常用的方法。5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-1 5-6-1 问题的描述问题的描述2006-12-641北京科技大学 自动化系 付冬梅n在线学习方式时，网络受后面输入样本的影响较大，严重时，会影响用户要求的训练精度。为了消除这种样本顺序对结果的影响，可以采用批处理学习方式，即使用一批学习样本产生的总误差来调整权值，用公式表示如下：n解决了因样本输入顺序引起的精度问题和训练的抖动问题。但是，该算法的收敛速度相对来说还是比较慢的。 5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-2 5-6-2 消除样本输入顺序影响的改进算法消除样本输入顺序影响的

30、改进算法2006-12-642北京科技大学 自动化系 付冬梅算算法法流程流程图图网络初始网络初始网络初始网络初始化化化化计计计计算算算算输出输出输出输出层层层层权权权权值值值值调调调调值值值值计计计计算隐含层算隐含层算隐含层算隐含层权权权权值值值值调调调调值值值值计计计计算算算算全局误差全局误差全局误差全局误差是是结束结束判判判判断是否断是否断是否断是否结束结束结束结束？否否更更更更新新新新权权权权值值值值5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-2 5-6-2 消除样本输入顺序影响的改进算法消除样本输入顺序影响的改进算法2006-12-643北京科技大学 自动化系 付冬梅n

31、在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于上一次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化 n带有附加动量因子的权值调节公式为 :n可以防止的出现即最后一次权值的变化量为0，有助于使网络从误差曲面的局部极小值中跳出。但对于大多数实际应用问题，该法训练速度仍然很慢。 nMATLAB中的工具函数traingdm()即对应于附加动量法。5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-3 5-6-3 附加动量的改进算法附加动量的改进算法2006-12-644北京科技大学 自动化系 付冬梅n采用自适应调整参数的改进算法的基本设想是学习率应根据

32、误差变化而自适应调整，以使权系数调整向误差减小的方向变化，其迭代过程可表示为 ：n在很小的情况下，采用自适应调整参数的改进算法仍然存在权值的修正量很小的问题，致使学习率降低。nMATLAB中的工具函数traingda()即对应于自适应调整参数法。 5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-3 5-6-3 采用自适应调整参数的改进算法采用自适应调整参数的改进算法2006-12-645北京科技大学 自动化系 付冬梅nBP网络通常采用Sigmoid隐含层。当输入的函数很大时，斜率接近于零，这将导致算法中的梯度幅值很小，可能使网络权值的修正过程几乎停顿下来。弹性方法只取偏导数的符号，

33、而不考虑偏导数的幅值。其权值修正的迭代过程可表示为 ：n在弹性BP算法中，当训练发生振荡时，权值的变化量将减小；当在几次迭代过程中权值均朝一个方向变化时，权值的变化量将增大。因此，使用弹性方法的改进算法，其收敛速度要比前几种方法快得多 5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-3 5-6-3 使用弹性方法的改进算法使用弹性方法的改进算法2006-12-646北京科技大学 自动化系 付冬梅n梯度法的缺点是搜索过程收敛速度较慢，牛顿法在搜索方向上比梯度法有改进，它不仅利用了准则函数在搜索点的梯度，而且还利用了它的二次导数，就是说利用了搜索点所能提供的更多信息，使搜索方向能更好地指

34、向最优点。它的迭代方程为 ：n收敛速度比一阶梯度快，但计算又较复杂，比较典型的有BFGS拟牛顿法和一步正切拟牛顿法。nMATLAB中的工具函数trainbfg()、trainoss()即对应拟牛顿法中的BFGS拟牛顿法和一步正切拟牛顿法。 5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-3 5-6-3 使用拟牛顿法的改进算法使用拟牛顿法的改进算法2006-12-647北京科技大学 自动化系 付冬梅n梯度下降法收敛速度较慢，而拟牛顿法计算又较复杂，共轭梯度法则力图避免两者的缺点。共轭梯度法也是一种改进搜索方向的方法，它是把前一点的梯度乘以适当的系数，加到该点的梯度上，得到新的搜索方向

35、。其迭代方程为 ：5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-7 5-6-7 基于共轭梯度法的改进算法基于共轭梯度法的改进算法2006-12-648北京科技大学 自动化系 付冬梅n共轭梯度法比大多数常规的梯度下降法收敛快，并且只需增加很少的存储量和计算量。n对于权值很多的网络，采用共轭梯度法不失为一种较好的选择。nMATLAB中的工具函数traincgb()、traincgf()、traincgp()即对应于共轭梯度法。 5-6 改进的改进的BP网络的学习算法网络的学习算法5-6-7 5-6-7 基于共轭梯度法的改进算法基于共轭梯度法的改进算法2006-12-649北京科技大学

36、 自动化系 付冬梅演示演示q梯度下降法与改进算法的几何意义梯度下降法与改进算法的几何意义qBPBP算法在多层前馈网络中的应用算法在多层前馈网络中的应用5-6 改进的改进的BP网络的学习算法网络的学习算法2006-12-650北京科技大学 自动化系 付冬梅2006-12-651北京科技大学 自动化系 付冬梅2006-12-652北京科技大学 自动化系 付冬梅图图2-4-4 BP网络训练例网络训练例2006-12-653北京科技大学 自动化系 付冬梅n例例2-4-1 2-4-1 用用BPBP网络逼近非线性函数网络逼近非线性函数 手控手控 自控自控演示演示2006-12-654北京科技大学 自动化系

37、 付冬梅BP网络网络2006-12-655北京科技大学 自动化系 付冬梅网络结构网络结构2006-12-656北京科技大学 自动化系 付冬梅网络结构网络结构2006-12-657北京科技大学 自动化系 付冬梅网络结构网络结构2006-12-658北京科技大学 自动化系 付冬梅反向传播反向传播(BP)学习算法学习算法2006-12-659北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n三层前馈三层前馈网络：网络：输入输入/输出样本对：输出样本对：up/dp p=1Lup dp2006-12-660北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算

38、法学习算法反向传播(BP)学习算法: 正向传播 输入输出2006-12-661北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法反向传播(BP)学习算法: 正向传播 输入输出2006-12-662北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法反向传播(BP)学习算法: 正向传播 反向传播 调整权系值2006-12-663北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法反向传播(BP)学习算法: 正向传播 反向传播调整权系值2006-12-664北京科技大学 自动化系 付冬梅n正向传播:由输入uP 输出yP

39、=Ng(up)反向传播反向传播(BP)(BP)学习算法学习算法up dp2006-12-665北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n正向传播:由输入uP 输出yP=Ng(up)up dp2006-12-666北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n正向传播:由输入uP 输出yP=Ng(up)up dp2006-12-667北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n正向传播:由输入uP 输出yP=Ng(up)up dp2006-12-668北京科技大学 自动化系 付冬梅反向传播

40、反向传播(BP)(BP)学习算法学习算法n正向传播:由输入uP 输出yP=Ng(up)up dp2006-12-669北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n正向传播:由输入uP 输出yP=Ng(up)up dp2006-12-670北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n正向传播:由输入uP 输出yP=Ng(up)up dp2006-12-671北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法n反向传播: 调整权系值 2006-12-672北京科技大学 自动化系 付冬梅反向传播反向传

41、播(BP)(BP)学习算法学习算法n反向传播: 调整权系值 2006-12-673北京科技大学 自动化系 付冬梅反向传播反向传播(BP)(BP)学习算法学习算法2006-12-674北京科技大学 自动化系 付冬梅正向正向2006-12-675北京科技大学 自动化系 付冬梅正向正向2006-12-676北京科技大学 自动化系 付冬梅正向正向2006-12-677北京科技大学 自动化系 付冬梅正向正向2006-12-678北京科技大学 自动化系 付冬梅正向正向2006-12-679北京科技大学 自动化系 付冬梅正向正向2006-12-680北京科技大学 自动化系 付冬梅正向正向2006-12-68

42、1北京科技大学 自动化系 付冬梅正向正向2006-12-682北京科技大学 自动化系 付冬梅反向反向2006-12-683北京科技大学 自动化系 付冬梅反向反向返回返回2006-12-684北京科技大学 自动化系 付冬梅BP网络例例6-16-12006-12-685北京科技大学 自动化系 付冬梅非线性函数2006-12-686北京科技大学 自动化系 付冬梅输入输出样本集2006-12-687北京科技大学 自动化系 付冬梅输入输出测试集2006-12-688北京科技大学 自动化系 付冬梅样本集测试集2006-12-689北京科技大学 自动化系 付冬梅网络结构2006-12-690北京科技大学 自

43、动化系 付冬梅网络学习网络学习02006-12-691北京科技大学 自动化系 付冬梅网络学习网络学习12006-12-692北京科技大学 自动化系 付冬梅网络学习网络学习22006-12-693北京科技大学 自动化系 付冬梅网络学习网络学习32006-12-694北京科技大学 自动化系 付冬梅网络学习网络学习42006-12-695北京科技大学 自动化系 付冬梅网络学习网络学习52006-12-696北京科技大学 自动化系 付冬梅网络学习网络学习62006-12-697北京科技大学 自动化系 付冬梅网络学习网络学习72006-12-698北京科技大学 自动化系 付冬梅网络学习网络学习82006

44、-12-699北京科技大学 自动化系 付冬梅网络学习网络学习92006-12-6100北京科技大学 自动化系 付冬梅学习结束学习结束2006-12-6101北京科技大学 自动化系 付冬梅 2006-12-6102北京科技大学 自动化系 付冬梅 J12006-12-6103北京科技大学 自动化系 付冬梅梯度下降法梯度下降法与改进算法搜索寻优2006-12-6104北京科技大学 自动化系 付冬梅J(W)2006-12-6105北京科技大学 自动化系 付冬梅J(W)局部极小点全局极小点2006-12-6106北京科技大学 自动化系 付冬梅J(W)初始状态2006-12-6107北京科技大学 自动化系

45、 付冬梅梯度下降搜索2006-12-6108北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6109北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6110北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6111北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6112北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6113北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6114北京科技大学 自动化系 付冬梅J(W)局部极小点2006-12-6115北京科技大学 自动化系 付冬梅J(W)局部极小点2006-12-6116北京科技大学 自

46、动化系 付冬梅J(W)局部极小点2006-12-6117北京科技大学 自动化系 付冬梅J(W)局部极小点2006-12-6118北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6119北京科技大学 自动化系 付冬梅J(W)2006-12-6120北京科技大学 自动化系 付冬梅J(W)初始状态2006-12-6121北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6122北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6123北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6124北京科技大学 自动化系 付冬梅梯度下降搜索2006-12-6125北京科技大

47、学 自动化系 付冬梅梯度下降搜索2006-12-6126北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6127北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6128北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6129北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6130北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6131北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6132北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6133北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6134北京科技大学 自

48、动化系 付冬梅改进算法搜索2006-12-6135北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6136北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6137北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6138北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6139北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6140北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6141北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6142北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6143北京科技大学 自动化系

49、 付冬梅改进算法搜索2006-12-6144北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6145北京科技大学 自动化系 付冬梅改进算法搜索2006-12-6146北京科技大学 自动化系 付冬梅全局极小点2006-12-6147北京科技大学 自动化系 付冬梅全局极小点2006-12-6148北京科技大学 自动化系 付冬梅全局极小点返回返回2006-12-6149北京科技大学 自动化系 付冬梅梯度下降法梯度下降法搜索寻优原理2006-12-6150北京科技大学 自动化系 付冬梅由初始状态搜索寻优搜索寻优2006-12-6151北京科技大学 自动化系 付冬梅目标函数曲面J(W) -连续

50、、可微2006-12-6152北京科技大学 自动化系 付冬梅全局极小点2006-12-6153北京科技大学 自动化系 付冬梅局部极小点12006-12-6154北京科技大学 自动化系 付冬梅局部极小点12006-12-6155北京科技大学 自动化系 付冬梅局部极小点22006-12-6156北京科技大学 自动化系 付冬梅局部极小点22006-12-6157北京科技大学 自动化系 付冬梅目标函数曲面J(W) -连续2006-12-6158北京科技大学 自动化系 付冬梅目标函数曲面J(W) -连续、可微2006-12-6159北京科技大学 自动化系 付冬梅由初始状态1起搜索2006-12-6160

51、北京科技大学 自动化系 付冬梅初始状态12006-12-6161北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6162北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6163北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6164北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6165北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6166北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6167北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6168北京科技大学 自动化系 付冬梅搜索寻优梯度下降

52、2006-12-6169北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6170北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6171北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6172北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6173北京科技大学 自动化系 付冬梅目标函数全局极小点2006-12-6174北京科技大学 自动化系 付冬梅目标函数全局极小点2006-12-6175北京科技大学 自动化系 付冬梅目标函数全局极小点2006-12-6176北京科技大学 自动化系 付冬梅目标函数全局极小点2006-12-6177北京科技

53、大学 自动化系 付冬梅由初始状态2起寻优2006-12-6178北京科技大学 自动化系 付冬梅初始状态22006-12-6179北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6180北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6181北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6182北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6183北京科技大学 自动化系 付冬梅搜索寻优梯度下降2006-12-6184北京科技大学 自动化系 付冬梅目标函数局部极小点22006-12-6185北京科技大学 自动化系 付冬梅目标函数局部极小点22006-12-6186北京科技大学 自动化系 付冬梅目标函数局部极小点22006-12-6187北京科技大学 自动化系 付冬梅目标函数局部极小点22006-12-6188北京科技大学 自动化系 付冬梅目标函数局部极小点22006-12-6189北京科技大学 自动化系 付冬梅本章结束，谢谢大家！本章结束，谢谢大家！2006-12-6190北京科技大学 自动化系 付冬梅