名师归纳总结 精品word资料 - - - - - - - - - - - - - - -学习必备 欢迎下载第 9 章神经网络优化及故障诊断’9.1 Bp 网络学习算法的改进标准 BP 算法采纳的是最速梯度下降法修正权值，训练过程从某一起点沿误差函数的斜面逐步达到最小点使之误差为零； 而对于复杂的网络， 误差曲面在多维空间， 这就像一个碗一样， 碗底就是最小点； 但这个碗的表面是凹凸不平的， 因而在训练过程中可能会陷入某个局部最小点， 由该点向多方向变化均会使误差增加， 以致无法逃出这个局部最小点，由于标准 BP 网络学习算法存在与输入样本的次序有关、收敛速度缓慢、易 陷入局部微小等缺陷， 为了克服算法中的不足， 下面几节将给出一些改进算法， 这些改进算法或者削减了输入样本次序的影响，或者收敛速度比标准梯度法快数十乃至数百倍；9.1.1 排除样本输入次序影响的改进算法前面描述的 BP 网络标准学习算法，在每输入一个学习样本后，依据其产生的误差立刻对权值进行调整，属于学习方式；试验说明，学习方式，网络受后面输入 样本的影响较大， 严峻时， 会影响用户要求的训练精度； 为了排除这种样本次序对结果的影响， 可以采纳批处理学习方式， 即使用一批学习样本产生的总误差来调整权值， 用公式表示如下：Δwij =∑ Δ pwij式中，∑ Δp wij 代表连接权 wij 关于一批学习样本的调整量，表示由全部学习样本产生 的误差，每一个样本产生的权值调整量可由相应的运算公式求得， 从而有效地排除样本次序对学习算法的影响；1 ．网络初始化给 wih 、wh0 分别赋一个（ -1 ，1）内的随机数， 设定误差函数 e给定运算精度值 ε和最高校习次数 M；2 ．运算输出层的权值的调整值输出层对于一批学习样本的仅值调整按下式运算：1 q2 o 1〔do 〔k〕2yo 〔k〕〕wN 1 wNw （ 9-2）ho ho p ho3 ．运算隐含层的权值调整隐含层对于一批学习样本的权值调整值按下式运算：4 ．运算全局误差 EEN 1wih1 m qNwih〔 d 〔k 〕p wihy 〔k 〕〕 2（9-3 ）（9-3 ）2 m k0 o1 o 15 ．判定网络误差是否满意要求当 E<ε 或学习次数大于设定的最大次数 M时，就终止算法 ; 否就，返回到 2 步，进入下－轮学习过程； 第 1 页，共 27 页 - - - - - - - - -名师归纳总结 精品word资料 - - - - - - - - - - - - - - -学习必备 欢迎下载上述改进算法较好地解决了因样本输入次序引起的精度问题和训练的抖动问题； 但是，该算法的收敛速度相对来说仍是比较慢的；9.1.2 附加动量的改进算法该方法是在反向传播法的基础上在每一个权值 （或阀值） 的变化上加上一项正比于一次权值（或阀值）变化量的值，并依据反射传播法来产生新的权值（或阀值）变化；带有附加动量因子的权值调剂公式为Δw（k+1）=〔1-mc〕 η▽.〔w〔k〕〕+m c〔w〔k〕-w〔k-1〕〕式中 w ——权值向量；K ——训练次数；mc （0≤ mc≥ 1） ——动量因子，一般取 0.95 左右； η ——学习速率；▽.〔w〔k〕〕 ——误差函数的梯度；附加动量法的实质是将最终一次权值（或阀值）变化的影响，通过一个动量因子来传递；当动量因子取值为零时，权值（或阀值）的变化仅依据梯度下降法产生 ;当动量因子取值为 1 时，新的权值（或阀值）变化就设置为最终一次权值（或阀值）的变化，而依梯度法产生的变化部分就被忽略掉了；由此可以看出，增加动量项后，促使权值的调剂向着误差曲面底 部的平均方向变化， 当值的变化量为 0 ，有助于使网络从误差曲面的局部微小值中跳出；但对于大多数实际应用问题，该法训练速度仍旧很慢；MAT1AB中的工具函数 traingdm 〔 ）即对应于附加动量法；9.1.3 采纳自适应调整参数的改进算法采纳自适应调整参数的改进算法的基本设想是学习率 η 应依据误差变化而自适应调整，以使权系数调整向误差减小的方向变化，其迭代过程可表示为w〔k+1〕 ＝w〔k）— η▽.〔w〔k〕〕 〔 9-6 〕通过争论发觉，在肯定范畴内增高校习率 η，可大大加快学习效率，得到比标准BP 算法更快的收敛速度； 然而，在▽.〔w〔k〕〕 很小的情形下， 采纳自适应调整参数的改进算法仍旧存在权值的修正量很小的问题 , 致使学习率降低；MAT1AB中的工具函数 traingda〔 ）即对应于自适应调整参数法；9.1.4 使用弹胜方法的改进算法BP 网络通常采纳 sigm0id 隐含层；当输入的函数很大时，斜率接近于零，这将导 致算法中的梯度幅值很小， 可能使网络权值的修正过程几乎停顿下来； 弹性方法只取偏导数的符号，而不考虑偏导数的幅值；其权值修正的迭代过程可表示为W〔k+1〕=〔w〔k〕-w〔k〕〕-w〔k-1〕sign〔 ▽.〔w〔k〕〕〕 〔9-7〕式中 sign〔 ·〕 ─符号函数；在弹性 BP 算法中，当训练发生振荡时，权值的变化量将减小 ; 当在几次迭代过程中权朝一个方向变化时，权值的变化量将增大；因此，使用弹性方法的改进算法，其收 敛速的度要比前几种方法快得多，而且算法并不复杂，也不需要消耗更多的内存；9.1.5 基于共扼梯度法改进法梯度下降法收敛速度较慢， 而拟牛顿法运算又较复杂， 共轭梯度法就力图防止两者的缺点；共轭梯度法也是一种改进搜寻方向的方法， 它是把前一点的梯度乘以适当的系数，加到该点的梯度上，得到新的搜寻方向；其迭代方程为Δw〔k+1〕 ＝ w〔k ） + ρ〔k〕S〔k〕 〔 9-8〕式中 ρ〔k〕 ——正确步长；S〔k〕= —▽.〔w〔k〕〕+v〔k-1〕 S〔k-1〕 第 2 页，共 27 页 - - - - - - - - -名师归纳总结 精品word资料 - - - - - - - - - - - - - - -学习必备 欢迎下载2f 〔w〔k〕〕v〔k-1〕= 2f 〔w〔k -1〕〕共轭梯度法比大多数常规的梯度下降法收敛快， 并且只需增加很少的储备量和运算量；对于权值很多的网络，采纳共轭梯度法不失为一种较好的挑选；MAT1AB中的工具函数 traincgb〔 ）、traincgf （）、traincgp〔 ）即对应于共轭梯度法；9.1 ．6 基于 1evenberg-Marq11ardt 法的改进算法众所周知，梯度下降法在最初几步下降较快，但随着接近最优值，由于梯度趋于零，致使误差函数下降缓慢，而牛顿法就可在最优值邻近产生一个抱负的搜寻方向；1evenberg-marquardt 法实际上是梯度下降法和牛顿法的结合， 它的优点在于网络权值数目较小时收敛特别快速；应用 1evenberg -Marquardt 优化算法比传统的 BP 及其他改进算法（如共轭梯度法，附加动量法、自适应调整法等）迭代次数少，收敛速度快，精确度高；因此， 1evenberg-marquardt 优化算法在 BP 网络学习中具有肯定优越性；在 MAT1AB神经网络仿真工具函数中， 1evenberg 一 Marq11ardt 法被作为 BP 神经网络默认的训练函数，下面将给出其算法；算法基本思想是使其每次迭代不再沿着单一的负梯度方向，而是答应误差沿着恶化的方向进行搜寻， 同时通过在最速梯度下降法和高斯牛顿法之间自适应调整来优化网络权值，使网络能够有效收敛，大大提高了网络的收敛速度和泛化才能；1-M 优化算法，又称为阻尼最小二乘法，其权值调整公式为w式中 e ——误差向量〔 JT JuI 〕1 JT e（9-9 ）J ——误差对权值微分的雅可比矩阵；u ——一个标量，当 u 增加时，它接近于具有较小的学习速率的最速下降法，当u 下降到 0 时，该算法就变成高斯 -牛顿法了；因此， 1-M 算法是在最速梯度下降法和高斯 -牛顿法之间的平滑调和； 1-M 算法具体的迭代步骤为：1）将全部输入送到网络并运算出网络的输入， 另用误差函数运算出训练集中全部目标的误差平方和；2）运算出误差对权值微分的雅可比矩阵 J ；第一，定义 Marquardt 敏锐度：sm E（9-10）mini从式（ 9-10）可以看出，敏锐度为误差函数 E 对 m 层输入的第 i 个元素变化的敏锐性，其中 n 为每层网络的加权和；敏锐度的递推关系式为sm E〔nm 〕〔 wm1〕T sm 1（ 9-11）q可见敏锐度可由最终一层通过网络被反向传播到第一层：sm sm 1s2 s1（ 9-12） 第 3 页，共 27 页 - - - - - - - - -名师归纳总结 精品word资料 - - - - - - - - - - - - - - -学习必备 欢迎下载然后，用式（ 9-12）运算雅可比矩阵的元素：ek ,qnJek ,qm i ,qmnwsm i , qsm am 1（9-13）wh,1m i , jmni ,qmwi , ji ,hm i, ji, hj ,q3）用式（ 9-9）求出 Δw；4）用 w+Δw 重复运算误差的平方和；假如新的和小于 1）中运算的和，就用 u 除以 θ（θ>1），并有 w=w+ Δw，转 1）;否就，用 u 乘以 θ，转 3）；当误差平方和减小到某一目标误差时，算法即被认为收敛；MAT1AB 中的工具函数 train1m（）即对应 1evenberg-Marquardt法的改进算法；9 . 2 基于遗传算法的神经网络优化方法9.2.1 概述生物遗传学概念 遗传算法中的概念 B P 神经网络是人工神经网络中应用最广泛的算法，但是也存在着一些缺陷：一是学习收敛速度太慢 ; 二是不能保证收敛到全局最小点：三是网络结构不易确定； 9 . 1 节中叙述的各种改进算法虽然能够改善BP 网络算法的一些不足，但是在实际应用中仍旧不够完善，不能完全克服 BP 算法固有的缺陷；另外，网络结构、初始连接权值和阈值的挑选对网络训练的影响很大，但是 又无法精确获得， 针对这些特点可以采纳遗传算法对神经网络进行优化； 遗传算法应用于神经网络的一个方面是用优化人工神经网络 （ ANN）的结构， 另一个方面是用遗传算法学习神经网络的权值，也就是用遗传算法取代一些传统的学习算法；遗传算法（ Genetic A1g0rithm, GA ）是模拟达尔文的遗传挑选和自然剔除的生物 进化过程的运算模型， 它是由美国密执根（Michigan ）高校的 J.H011and 教授于 1975 年第一提出的， 遗。