《bp算法介绍》ppt课件

《《bp算法介绍》ppt课件》由会员分享，可在线阅读，更多相关《《bp算法介绍》ppt课件（73页珍藏版）》请在金锄头文库上搜索。

1、BP神经网络基本原理 Back-propagation Artificial Neural Networks,2019/2/13,1,人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，xn） 联接权：W=（w1，w2，wn）T 网络输入： net=xiwi 向量形式： net=XW,2019/2/13,2,人工神经元的基本构成,激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c,2019/2/13,3,激活函数(Activation Function), if n

2、et f（net）= k*net if |net|0为一常数，被称为饱和值，为该神经元的最大输出。,2019/2/13,4,2、非线性斜面函数(Ramp Function),2019/2/13,5,2、非线性斜面函数（Ramp Function）, if net f（net）= - if net 、均为非负实数，为阈值 二值形式： 1 if net f（net）= 0 if net 双极形式： 1 if net f（net）= -1 if net ,2019/2/13,6,3、阈值函数（Threshold Function）阶跃函数,2019/2/13,7,3、阈值函数（Threshold F

3、unction）阶跃函数,-,o,net,0,压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f（net）= 1/(1+exp(-d*net) 函数的饱和值为0和1。 S形函数有较好的增益控制,2019/2/13,8,4、S形函数,2019/2/13,9,4、S形函数,生物神经网六个基本特征 神经元及其联接、信号传递、训练、刺激与抑制、累积效果、 阈值。 人工神经元的基本构成,2019/2/13,10,课内容回顾,激活函数与M-

4、P模型 线性函数、非线性斜面函数、阈值函数 S形函数 M-P模型,2019/2/13,11,上次课内容回顾,2019/2/13,12,简单单级网,W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+xnwnj 其中, 1 j m。取 NET=（net1，net2，netm） NET=XW O=F（NET）,2019/2/13,13,简单单级网,2019/2/13,14,单级横向反馈网,V=（vij） NET=XW+OV O=F（NET） 时间参数神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O

5、(t+1)=F(NET(t+1) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定,2019/2/13,15,单级横向反馈网,2019/2/13,16,多级网,层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息,2019/2/13,17,第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,

6、2019/2/13,18,约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。,2019/2/13,19,2019/2/13,20,多级网 层网络,非线性激活函数 F(X)=kX+C F3(F2(F1(XW(1)W(2)W(3),2019/2/13,21,多级网,2019/2/13,22,循环网,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地加强、被修复。 大脑的短期记忆特征:看到的东西不是一下子就从脑海里消失的。 稳

7、定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,2019/2/13,23,循环网,人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程,2019/2/13,24,人工神经网络的训练,无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Train

8、ing)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。,2019/2/13,25,无导师学习,有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一训练。 有导师学习的训练算法的主要步骤包括： 1） 从样本集合中取一个样本（Ai，Bi）； 2） 计算出网络的实际输出O； 3） 求D=Bi-O； 4） 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。,2019/2/13,26,有导师学习,Widrow和Hoff的写法： Wij

9、(t+1)=Wij(t)+(yj- aj(t)oi(t) 也可以写成： Wij(t+1)=Wij(t)+Wij(t) Wij(t)=joi(t) j=yj- aj(t) Grossberg的写法为： Wij(t)=ai(t)(oj(t)-Wij(t) 更一般的Delta规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t),2019/2/13,27,Delta规则,1 概述 2 基本BP算法 3 算法的改进 4 算法的实现 5 算法的理论基础 6 几个问题的讨论,2019/2/13,28,BP网络,1、BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelh

10、art、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 3、优点：广泛的适应性和有效性。,2019/2/13,29,一 概述,4、BP网络主要用于 1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。 2）模式识别：用一个特定的输出向量将它与输入向量联系起来。 3）分类：把输入向量 以所定义的合适方式进行分类。 4）数据压缩：减少输出向量维数以便于传输或存储。,2019/2/13,30,概述,1 网络的构

11、成 神经元的网络输入： neti=x1w1i+x2w2i+xnwni 神经元的输出：,2019/2/13,31,二 基本BP算法,应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的,2019/2/13,32,输出函数分析,2019/2/13,33,网络的拓扑结构,BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。,2019/2/13,34,网络的拓扑结构,2019/2/13,35,网络的拓扑结构,样本：(输

12、入向量，理想输出向量) 权初始化：小随机数与饱和状态；不同保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(F2(F1(XpW(1)W(2)W(L),2019/2/13,36,2 训练过程概述,2、向后传播阶段 误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 （3）网络关于第p个样本的误差测度：,2019/2/13,37,2 训练过程概述,（4） 网络关于整个样本集的误差测度：,2019/2/13,38,3 误差传播分析,1、输出层权的调整,wpq

13、= wpq+wpq wpq=qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op,2019/2/13,39,2、隐藏层权的调整,2019/2/13,40,2、隐藏层权的调整,pk-1的值和1k，2k， ，mk 有关 不妨认为pk-1 通过权wp1对1k做出贡献， 通过权wp2对2k做出贡献， 通过权wpm对mk做出贡献。 pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k),vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ + wpmmk)ohk-2 =opk-1(1-opk-

14、1)( wp11k+ wp22k+ + wpmmk)ohk-2,2019/2/13,41,2、隐藏层权的调整,基本BP算法 neti=x1w1i+x2w2i+ +xnwni,2019/2/13,42,内容回顾,2019/2/13,43,内容回顾,样本 权初始化 向前传播阶段 Op=Fn(F2(F1(XpW(1)W(2)W(n) 误差测度,2019/2/13,44,内容回顾,向后传播阶段 误差传播阶段 输出层权的调整 wpq= qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op 隐藏层权的调整,2019/2/13,45,内容回顾,vhp =opk-1(1-op

15、k-1)( wp11k+ wp22k+ + wpmmk)ohk-2,样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想 ： 逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，W(L)各做一次调整，重复这个循环，直到Ep。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程,2019/2/13,46,4 基本的BP算法,1 for k=1

16、 to L do 1.1 初始化W(k)； 2 初始化精度控制参数； 3 E=+1; 4 while E do 4.1 E=0;,2019/2/13,47,基本BP算法,4.2 对S中的每一个样本（Xp,Yp）： 4.2.1 计算出Xp对应的实际输出Op； 4.2.2 计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 4.2.6.1 根据相应式子调整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0,2019/2/13,48,基本BP算法,1、BP网络接受样本的顺序对训练结果有较大影响。它更偏爱较后出现的样本 2、给集中的样本安排一个适当的顺序，是非常困难的。 3、样本顺序影响结果的原因：分别依次 4、用(X1,