《误差反传算法.》由会员分享，可在线阅读，更多相关《误差反传算法.（12页珍藏版）》请在金锄头文库上搜索。
1、1,误差反传算法 及标准BP算法的改进,重庆交通大学 二一一年五月,11006053 史康,2,要点,BP算法的基本思想 基于BP算法的多层感知器模型 标准BP算法的改进,3,1、BP算法的基本思想,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形成通过隐层向输入层逐层反传，并将误差摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的
2、。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的次数为止。,4,2、基于BP算法的多层感知器模型,5,2、基于BP算法的多层感知器模型,三层感知器中，输入向量为,图中,是为隐层神经元引入阈值而,设置的；隐层输出向量为,，图中,是为 输出层神经元引入阈,值而设置的，输出层输出向量为,；期望输出向量为,。输入层到隐层之间的权值矩阵用V表示，,，其中列向量,为隐层第,个神经元对应的权向量；隐层到输出层之间的权值矩阵,用,表示，,，其中列向量,为输出层第,个神经元对应的权向,量。,6,对于输出层，有,对于隐层，有,以上两式中，变换函数
3、,均为单极性Sigmoid函数,具有连续、可导的特点，且有,7,根据需要，也可以采用双极性Sigmoid函数（或称双曲线正切函数）,网络误差与权值调整,当网络输出与期望输出不等时，存在输出误差,，定义如下,将以上误差定义式展开至隐层，有,进一步展开至输入层，有,8,由以上可以看出，网络输入误差是各层权值,的函数，因此调整权值可改变,误差,显然，调整权值的原则是使误差不断地减少，因此应使权值的调整量与误差的梯度,下降成正比，即,9,标准BP算法的改进,存在的缺陷： 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的
4、趋势,10,改进方法： 增加动量项； 自适应调整学习率； 引入陡度因子,增加动量项：,为了考虑t时刻之前的梯度方向。,若用W代表某层权矩阵，X代表某层输入向量,，则含有动量项的权值调整向量表达式为,自适应调节学习率,从误差曲面可以看出，在平坦区域内,太小会使训练次数增加，因而希望,增大,值；而在误差变化剧烈的区域，,太大会因调整量过大而跨过较窄的“凹坑”处，,使训练出现振荡，反而使迭代次数增加。,11,设一初始学习率，若经过一批次权值调整后使总误差,增大，则本次调整无效,，且,；若经过一批次权值调整后使总误差,减少，则本次调整有效，,且,引入陡度因子,误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输入了变换函数的饱和区。如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出变换函数的饱和区，就可以改变误差函数的形状，从而使调整摆脱平坦区。实现这一思路的做法是，在原变换函数中引入一个陡度因子,12,Thanks you！,
