《第五部分BP网络ppt课件》由会员分享，可在线阅读，更多相关《第五部分BP网络ppt课件（190页珍藏版）》请在金锄头文库上搜索。
1、 第五章第五章 BP网网络北京科技大学北京科技大学北京科技大学北京科技大学 信息工程学院信息工程学院信息工程学院信息工程学院付冬梅付冬梅付冬梅付冬梅fdm2019163 62334967fdm2019163 62334967本章的根本内容本章的根本内容 BP BP网网网网络络构造与模型构造与模型构造与模型构造与模型 BP BP网网网网络络的学的学的学的学习习算法算法算法算法 BP BP神神神神经经网网网网络络的重要函数和根本功能的重要函数和根本功能的重要函数和根本功能的重要函数和根本功能 一个一个一个一个简单简单的例子的例子的例子的例子 BP BP网网网网络络的几个的几个的几个的几个问题问题
2、改良的改良的改良的改良的BPBP网网网网络络的学的学的学的学习习算法算法算法算法 BP BP网网网网络络的运用例如的运用例如的运用例如的运用例如nRumelhart，McClelland于于1985年提出了年提出了BP网网络的的误差差反向后反向后传BP(Back Propagation)学学习算法算法nBP算法根本原理算法根本原理n利用利用输出后的出后的误差来估差来估计输出出层的直接前的直接前导层的的误差，差，再用再用这个个误差估差估计更前一更前一层的的误差，如此一差，如此一层一一层的反的反传下去，就下去，就获得了一切其他各得了一切其他各层的的误差估差估计。 J. McClelland Dav
3、id Rumelhart 概述概述BPBP网络是一种前向映射网络。网络的构造见下一页网络是一种前向映射网络。网络的构造见下一页的图形。其中：的图形。其中：u u是网络的输入向量，是网络的输入向量，y y是网络的输出向是网络的输出向量。神经元用节点表示，网络由输入层、隐层和输出层量。神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层节点组成，隐层可一层，也可多层( (图中是单隐层图中是单隐层) )。前。前层节点至后层节点经过权联接。层节点至后层节点经过权联接。 由于这种网络经常用由于这种网络经常用BPBP学习算法后的网络权值，所学习算法后的网络权值，所以常称以常称BPBP
4、人工神经网络。人工神经网络。5-1 网网络构造和模型构造和模型5-1 网网络构造和模型构造和模型5-1 网网络构造与模型构造与模型5-1 网网络构造和模型构造和模型 BP网络的神经元模型是改良了感知器神经元模型得到的。输入层： 隐层：输出层：fxex( )=+-11fxeexx( )=-+-11fxeexx( )=-+-11fxex( )=+-115-2 BP网络的学习算法网络的学习算法 多层前馈网络的反向传播 BP学习算法，简称BP学习算法，这是一种有导师的学习算法，是梯度下降法在多层前馈网中的运用。 BP学习算法可以看成是线性自顺应神经元学习算法的进一步推行。BPBP学习算法学习算法= =
5、前向计算过程前向计算过程+ +误差反向传播过程误差反向传播过程前向计算过程：也是网络运用时的实现过程。前向计算过程：也是网络运用时的实现过程。误差反向传播过程：是误差反向传播过程：是BP网络权值的学习和网络权值的学习和 训练过程。训练过程。5-2-1 BP5-2-1 BP学习算法概述学习算法概述n学学习的的类型：有型：有导师学学习n中心思想：中心思想：n将将输出出误差以某种方式差以某种方式经过隐层向向输入入层逐逐层反反传n学学习的的过程：程：n信号的正向信号的正向传播播 误差的反向差的反向传播播将将误差分差分摊给各各层的一切的一切单元各元各层单元的元的误差信号差信号修正各修正各单元元权值5-2
6、 BP网络的学习算法网络的学习算法5-2-1 BP5-2-1 BP学习算法概述学习算法概述n正向正向传播：播：n输入入样本本输入入层各各隐层输出出层n判判别能否能否转入反向入反向传播播阶段：段：n假假设输出出层的的实践践输出与期望的出与期望的输出教出教师信号不信号不符符n误差反差反传n误差以某种方式在各差以某种方式在各层表示修正各表示修正各层单元的元的权值n网网络输出的出的误差减少到可接受的程度差减少到可接受的程度n 或者或者进展到展到预先先设定的学定的学习次数次数为止止5-2 BP网络的学习算法网络的学习算法5-2-1 BP5-2-1 BP学习算法概述学习算法概述n网络构造网络构造n 输入层
7、有输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经元，个神经元，输出层有输出层有q q个神经元。个神经元。n变量定义变量定义n输入向量输入向量; ;n隐含层输入向量；隐含层输入向量；n隐含层输出向量隐含层输出向量; ;n输出层输入向量输出层输入向量; ;n输出层输出向量输出层输出向量; ;n期望输出向量期望输出向量; ; 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画q输入层与中间层的衔接权值:q隐含层与输出层的衔接权值:q隐含层各神经元的阈值:q输出层各神经元的阈值:q样本数据个数:q激活函数: q误差函数：5-2 BP网络
8、的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画n第一步，网第一步，网络初始化初始化 n 给各各衔接接权值分分别赋一个区一个区间-1，1内内的随机数，的随机数，设定定误差函数差函数e，给定定计算精度算精度值 和最大学和最大学习次数次数M。n第二步第二步,随机随机选取第取第 个个输入入样本及本及对应期望期望输出出 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画n第三步，第三步，计算算隐含含层各神各神经元的元的输入和入和输出出5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描
9、画学习算法的描画n第四步，利用网第四步，利用网络期望期望输出和出和实践践输出，出，计算算误差函数差函数对输出出层的各神的各神经元的偏元的偏导数数 。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画n第五步，利用第五步，利用隐含含层到到输出出层的的衔接接权值、输出出层的的 和和隐含含层的的输出出计算算误差函数差函数对隐含含层各神各神经元的偏元的偏导数数 。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学
10、习算法的描画n第六步，利用第六步，利用输出出层各神各神经元的元的 和和隐含含层各神各神经元的元的输出来修正出来修正衔接接权值 。 n第七步，利用第七步，利用隐含含层各神各神经元的元的 和和输入入层各神各神经元的元的输入修正入修正衔接接权。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画n第八步，第八步，计算全局算全局误差差n第九步，判第九步，判别网网络误差能否差能否满足要求。当足要求。当误差差到达到达预设精度或学精度或学习次数大于次数大于设定的最大次数，定的最大次数，那么那么终了算法。否那么，了算法。否那么，选取下一个学取下一个学习样本本及
11、及对应的期望的期望输出，前往到第三步，出，前往到第三步，进入下一入下一轮学学习。 5-2 BP网络的学习算法网络的学习算法5-2-2 BP5-2-2 BP学习算法的描画学习算法的描画 情况一的直情况一的直观表达表达 当当误差差对权值的的偏偏导数大于零数大于零时，权值调整量整量为负，实践践输出大于期望出大于期望输出，出，权值向减少方向向减少方向调整，整，使得使得实践践输出与期望出与期望输出的差减少。出的差减少。whoe0，此，此时who05-2 BP网络的学习算法网络的学习算法5-2-3 BP5-2-3 BP学习算法的直观解释学习算法的直观解释 情况二的直情况二的直观表达表达当当误差差对权值的偏
12、的偏导数数小于零小于零时，权值调整量整量为正，正，实践践输出少于期出少于期望望输出，出，权值向增大方向增大方向向调整，使得整，使得实践践输出出与期望与期望输出的差减少。出的差减少。e0who5-2 BP网络的学习算法网络的学习算法5-2-3 BP5-2-3 BP学习算法的直观解释学习算法的直观解释nBPBP算法算法n手控手控演示演示函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP
13、训练函数训练函数5-3-1 BP5-3-1 BP神经网络的重要函数神经网络的重要函数5-3 BP神经网络的重要函数和根本功能神经网络的重要函数和根本功能qnewff()q功能功能 建立一个前向建立一个前向BP网网络q格式格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)q阐明明 net为创建的新建的新BP神神经网网络；PR为网网络输入取向量取入取向量取值范范围的矩的矩阵；S1 S2SNl表示网表示网络隐含含层和和输出出层神神经元的个数；元的个数；TFl TF2TFN1表示网表示网络隐含含层和和输出出层的的传输函函数，默以数，默以为tansi
14、g；BTF表示网表示网络的的训练函数，函数，默以默以为trainlm；BLF表示网表示网络的的权值学学习函数，函数，默以默以为learngdm；PF表示性能数，默以表示性能数，默以为mse。 5-3 BP神经网络的重要函数和根本功能神经网络的重要函数和根本功能5-3-2 BP5-3-2 BP神经网络中函数的根本功能神经网络中函数的根本功能 qtansig()q功能功能 正切正切sigmoid激活函数激活函数q格式格式 a = tansig(n)q阐明明 双曲正切双曲正切Sigmoid函数把神函数把神经元的元的输入范入范围从从(-，+)映射映射到到(-1，1)。它是可。它是可导函数，适用函数，适
15、用于于BP训练的神的神经元。元。qlogsig()q功能功能 对数数Sigmoid激活函数激活函数q格式格式 a = logsig(N)q阐明明对数数Sigmoid函数把神函数把神经元元的的输入范入范围从从(-，+)映射到映射到(0，1)。它是可。它是可导函数，适用于函数，适用于BP训练的神的神经元。元。5-3 BP神经网络的重要函数和根本功能神经网络的重要函数和根本功能5-3-2 BP5-3-2 BP神经网络中函数的根本功能神经网络中函数的根本功能 下表为某药品的销售情况，现构建一个如下的三层下表为某药品的销售情况，现构建一个如下的三层BP神经网神经网络对药品的销售进展预测：输入层有三个结点
16、，隐含层结点数为络对药品的销售进展预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为，隐含层的激活函数为tansig；输出层结点数为；输出层结点数为1个，输出层的激个，输出层的激活函数为活函数为logsig，并利用此网络对药品的销售量进展预测，预测方，并利用此网络对药品的销售量进展预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用销售量，如用1、2、3月的销售量为输入预测第月的销售量为输入预测第4个月的销售量，个月的销售量，用用2、3、4月的销售量为输入预测第月的销售量为输入预测第5个月的销售量个月
17、的销售量.如此反复直至如此反复直至满足预测精度要求为止。满足预测精度要求为止。 月份123456销量205623952600229816341600月份789101112销量1873147819001500204615565-4 一个简单的例子一个简单的例子%以每三个月的以每三个月的销售量售量经归一化一化处置后作置后作为输入入P=0.51520.81731.0000; 0.81731.00000.7308; 1.00000.73080.0; 0.73080.00.1087; 0.00.10870.3520; 0.10870.35200.0000;%以第四个月的以第四个月的销售量售量归一化一化处
18、置后作置后作为目的向量目的向量T=0.7308 0.0 0.1087 0.3520 0.0000 0.3761;%创建一个建一个BP神神经网网络，每个，每个输入向量的取入向量的取值范范围为0 ,1， 5个个隐层神神经元，一个元，一个输出出层神神经元，元，隐层的激活函数的激活函数tansig，输出出层激活函数激活函数logsig，训练函数函数为梯度下降函数。梯度下降函数。net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;LP.lr=0.1; %
19、设置学置学习速率速率为0.1net=train(net,P,T); 5-4 一个简单的例子一个简单的例子 由由对比比图可以看出可以看出预测效果与效果与实践存在践存在一定一定误差，此差，此误差可差可以以经过添加运添加运转步数步数和提高和提高预设误差精度差精度业进一步减少。一步减少。nBP网络运用于药品预测对比图网络运用于药品预测对比图5-4 一个简单的例子一个简单的例子n非非线性映射才干性映射才干n 能学能学习和存和存贮大量大量输入入- -输出方式映射出方式映射关系，无需事先了解描画关系，无需事先了解描画这种映射关系的数种映射关系的数学方程。只需能提供足学方程。只需能提供足够多的多的样本方式供网
20、本方式供网络进展学展学习训练，它便能完成由，它便能完成由n n维输入空入空间到到m m维输出空出空间的非的非线性映射。性映射。n泛化才干泛化才干n 当向网当向网络输入入训练时未曾未曾见过的非的非样本数据本数据时，网，网络也能完成由也能完成由输入空入空间向向输出出空空间的正确映射。的正确映射。这种才干称种才干称为泛化才干。泛化才干。n容容错才干才干n 输入入样本中本中带有有较大的大的误差甚至个差甚至个别错误对网网络的的输入入输出出规律影响很小。律影响很小。5-5 BP网络有关的几个问题网络有关的几个问题5-5 BP网络有关的几个问题网络有关的几个问题5-5 BP网络有关的几个问题网络有关的几个问
21、题 5 改良的BP算法 梯度下降法的缺乏，是BP算法收敛速度慢的缘由，有改良的BP算法抑制其缺乏，如：5-5 BP网络有关的几个问题网络有关的几个问题5-5 BP网络有关的几个问题网络有关的几个问题5-6 改良的改良的BP网络的学习算法网络的学习算法单权值双双权值 规范范BPBP算法的算法的误差空差空间是是NN维空空间中一个外形极中一个外形极为复复杂的曲面，的曲面，该曲面上的每个点的曲面上的每个点的“高度高度对应于一个于一个误差差值，每个点的坐每个点的坐标向量向量对应着着NN个个权值5-6-1 5-6-1 问题的描画问题的描画5-6 改良的改良的BP网络的学习算法网络的学习算法nBP网络学习算
22、法存在的问题n存在平坦区域n影响-误差下降缓慢，影响收敛速度。n缘由-误差对权值的梯度变化小接近于零n 由各节点的净输入过大而引起。n分析：激活函数为Sigmod函数5-6-1 5-6-1 问题的描画问题的描画5-6 改良的改良的BP网络的学习算法网络的学习算法n存在平坦区域的缘由分析权值权值修正量：修正量：修正量：修正量：输输出的出的出的出的导导数：数：数：数：5-6-1 5-6-1 问题的描画问题的描画对应着着误差的某个谷点差的某个谷点 对应着着误差的平坦区差的平坦区 存在平坦区域的缘由分析：第一种能够是 充分接近第二种能够是 充分接近0么三种能够是 充分接近1 呵斥平坦区的缘由： 各节点
23、的净输入过大。5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-1 5-6-1 问题的描画问题的描画5-6 改良的改良的BP网络的学习算法网络的学习算法n存在多个极小点n影响-易堕入部分最小点。n缘由：n以误差梯度下降为权值调整原那么；n误差曲面上能够存在多个梯度为0的点，多数极小点都是部分极小，即使是全局极小往往也不是独一的，使之无法区分极小点的性质n导致的结果：n 使得训练经常堕入某个部分极小点而不能自拔，从而使训练无法收敛于给定误差。5-6-1 5-6-1 问题的描画问题的描画n BP算法缺陷小结n 易构成部分极小而得不到全局最优；n 训练次数多使得学习效率低，收敛速度慢；n
24、隐节点的选取缺乏实际指点；n 训练时学习新样本有遗忘旧样本的趋势。n 针对上述问题，国内外已提出不少有效的改良算法，下面将引见其中几种较常用的方法。5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-1 5-6-1 问题的描画问题的描画n在线学习方式时，网络受后面输入样本的影响较大，严重时，会影响用户要求的训练精度。为了消除这种样本顺序对结果的影响，可以采用批处置学习方式，即使用一批学习样本产生的总误差来调整权值，用公式表示如下：n处理了因样本输入顺序引起的精度问题和训练的抖动问题。但是，该算法的收敛速度相对来说还是比较慢的。 5-6 改良的改良的BP网络的学习算法网络的学习算法5-6
25、-2 5-6-2 消除样本输入顺序影响的改良算法消除样本输入顺序影响的改良算法算法流程图算法流程图网络初始化网络初始化网络初始化网络初始化计算输出层权值调值计算输出层权值调值计算输出层权值调值计算输出层权值调值计算隐含层权值调值计算隐含层权值调值计算隐含层权值调值计算隐含层权值调值计算全局误差计算全局误差计算全局误差计算全局误差是是终了终了判别能否终了？判别能否终了？判别能否终了？判别能否终了？否否更新权值更新权值更新权值更新权值5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-2 5-6-2 消除样本输入顺序影响的改良算法消除样本输入顺序影响的改良算法n在反向传播法的根底上在每一个
26、权值或阈值的变化上加上一项正比于上一次权值或阈值变化量的值，并根据反向传播法来产生新的权值或阈值变化 n带有附加动量因子的权值调理公式为 :n可以防止的出现即最后一次权值的变化量为0，有助于使网络从误差曲面的部分极小值中跳出。但对于大多数实践运用问题，该法训练速度依然很慢。 nMATLAB中的工具函数traingdm()即对应于附加动量法。5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-3 5-6-3 附加动量的改良算法附加动量的改良算法n采用自顺应调整参数的改良算法的根本想象是学习率应根据误差变化而自顺应调整，以使权系数调整向误差减小的方向变化，其迭代过程可表示为 ：n在很小的情
27、况下，采用自顺应调整参数的改良算法依然存在权值的修正量很小的问题，致使学习率降低。nMATLAB中的工具函数traingda()即对应于自顺应调整参数法。 5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-3 5-6-3 采用自顺应调整参数的改良算法采用自顺应调整参数的改良算法nBP网络通常采用Sigmoid隐含层。当输入的函数很大时，斜率接近于零，这将导致算法中的梯度幅值很小，能够使网络权值的修正过程几乎停顿下来。弹性方法只取偏导数的符号，而不思索偏导数的幅值。其权值修正的迭代过程可表示为 ：n在弹性BP算法中，当训练发生振荡时，权值的变化量将减小；当在几次迭代过程中权值均朝一个方
28、向变化时，权值的变化量将增大。因此，运用弹性方法的改良算法，其收敛速度要比前几种方法快得多 5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-3 5-6-3 运用弹性方法的改良算法运用弹性方法的改良算法n梯度法的缺陷是搜索过程收敛速度较慢，牛顿法在搜索方向上比梯度法有改良，它不仅利用了准那么函数在搜索点的梯度，而且还利用了它的二次导数，就是说利用了搜索点所能提供的更多信息，使搜索方向能更好地指向最优点。它的迭代方程为 ：n收敛速度比一阶梯度快，但计算又较复杂，比较典型的有BFGS拟牛顿法和一步正切拟牛顿法。nMATLAB中的工具函数trainbfg()、trainoss()即对应拟牛
29、顿法中的BFGS拟牛顿法和一步正切拟牛顿法。 5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-3 5-6-3 运用拟牛顿法的改良算法运用拟牛顿法的改良算法n梯度下降法收敛速度较慢，而拟牛顿法计算又较复杂，共轭梯度法那么力图防止两者的缺陷。共轭梯度法也是一种改良搜索方向的方法，它是把前一点的梯度乘以适当的系数，加到该点的梯度上，得到新的搜索方向。其迭代方程为 ：5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-7 5-6-7 基于共轭梯度法的改良算法基于共轭梯度法的改良算法n共轭梯度法比大多数常规的梯度下降法收敛快，并且只需添加很少的存储量和计算量。n对于权值很多的网络，采
30、用共轭梯度法不失为一种较好的选择。nMATLAB中的工具函数traincgb()、traincgf()、traincgp()即对应于共轭梯度法。 5-6 改良的改良的BP网络的学习算法网络的学习算法5-6-7 5-6-7 基于共轭梯度法的改良算法基于共轭梯度法的改良算法演示演示q梯度下降法与改良算法的几何意义梯度下降法与改良算法的几何意义qBPBP算法在多层前馈网络中的运用算法在多层前馈网络中的运用5-6 改良的改良的BP网络的学习算法网络的学习算法图图2-4-4 BP2-4-4 BP网络训练例网络训练例n例例2-4-1 2-4-1 用用BPBP网络逼近非线性函数网络逼近非线性函数n 手控手控
31、 自控自控演示演示BP网网络网网络构造构造网网络构造构造网网络构造构造反向反向传播播(BP)(BP)学学习算法算法反向反向传播播(BP)(BP)学学习算法算法n三层前馈网络：三层前馈网络：n输入输入/输出样本对：输出样本对：nup/dp p=1Lnup dp反向反向传播播(BP)(BP)学学习算法算法反向传播反向传播(BP)学习算法学习算法: 正向传播正向传播 输入输出输入输出反向反向传播播(BP)(BP)学学习算法算法反向传播(BP)学习算法: 正向传播 输入输出反向反向传播播(BP)(BP)学学习算法算法反向传播反向传播(BP)学习算法学习算法: 正向传播正向传播 反向传播反向传播 调整权
32、系值调整权系值反向反向传播播(BP)(BP)学学习算法算法反向传播反向传播(BP)学习算法学习算法: 正向传播正向传播 反向传播反向传播调整权系值调整权系值n正向传播:n由输入uP n 输出yP=Ng(up)反向反向传播播(BP)(BP)学学习算法算法up dp反向反向传播播(BP)(BP)学学习算法算法n正向传播:n由输入uP n 输出yP=Ng(up)up dp反向反向传播播(BP)(BP)学学习算法算法n正向传播:n由输入uP n 输出yP=Ng(up)up dp反向反向传播播(BP)(BP)学学习算法算法n正向传播:n由输入uP n 输出yP=Ng(up)up dp反向反向传播播(BP
33、)(BP)学学习算法算法n正向传播:n由输入uP n 输出yP=Ng(up)up dp反向反向传播播(BP)(BP)学学习算法算法n正向传播:n由输入uP n 输出yP=Ng(up)up dp反向反向传播播(BP)(BP)学学习算法算法n正向传播:n由输入uP n 输出yP=Ng(up)up dp反向反向传播播(BP)(BP)学学习算法算法n反向传播:n 调整权系值n 反向反向传播播(BP)(BP)学学习算法算法n反向传播:n 调整权系值n 反向反向传播播(BP)学学习算法算法正向正向正向正向正向正向正向正向正向正向正向正向正向正向正向正向反向反向反向反向前往前往BP网络例例6-16-1非线性
34、函数输入输出样本集输入输出测试集样本集测试集网络构造网网络学学习0网网络学学习1网网络学学习2网网络学学习3网网络学学习4网网络学学习5网网络学学习6网网络学学习7网网络学学习8网网络学学习9学学习终了了 J1梯度下降法梯度下降法与改良算法搜索寻优J(W)J(W)部分极小点全局极小点J(W)初始形状初始形状梯度下降搜索梯度下降搜索梯度下降搜索梯度下降搜索梯度下降搜索梯度下降搜索梯度下降搜索J(W)部分极小点部分极小点J(W)部分极小点部分极小点J(W)部分极小点部分极小点J(W)部分极小点部分极小点改良算法搜索J(W)J(W)初始形状初始形状梯度下降搜索梯度下降搜索梯度下降搜索梯度下降搜索梯度
35、下降搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索改良算法搜索全局极小点全局极小点全局极小点前往前往梯度下降法梯度下降法搜索寻优原理由初始形状搜索搜索寻优目的函数曲面J(W) -延续、可微全局极小点部分极小点1部分极小点1部分极小点2部分极小点2目的函数曲面J(W) -延续目的函数曲面J(W) -延续、可微由初始形状1起搜索初始形状1搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降目的函数全局极小点目的函数全局极小点目的函数全局极小点目的函数全局极小点由初始形状2起寻优初始形状2搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降搜索寻优梯度下降目的函数部分极小点2目的函数部分极小点2目的函数部分极小点2目的函数部分极小点2目的函数部分极小点2本章本章终了，了，谢谢大家！大家！
