《BP神经网络的基本原理+很清楚》由会员分享，可在线阅读，更多相关《BP神经网络的基本原理+很清楚（14页珍藏版）》请在金锄头文库上搜索。
1、.4 BP神经网络的基本原理BP（Bac ropaati)网络是9年由inrt和MCel为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调节网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑构造涉及输入层(ipu)、隐层（hie lye）和输出层(upu ar)(如图52所示)。5.41 B神经元图.给出了第j个基本P神经元(节点)，它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权
2、、求和与转移。其中x1、x2ixn分别代表来自神经元1、n的输入;wj1、wj2wiwj则分别表达神经元1、2i与第j个神经元的连接强度,即权值;b为阈值;f（)为传递函数;yj为第个神经元的输出。第个神经元的净输入值为： （51)其中： 若视,即令及涉及及,则 于是节点的净输入可表达为： （513) 净输入通过传递函数(Trser unco) ()后,便得到第j个神经元的输出: (.1）式中f（)是单调上升函数,并且必须是有界函数，由于细胞传递的信号不也许无限增长,必有一最大值。542 BP网络BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入
3、层隐层输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到盼望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降方略，动态迭代搜索一组权向量，使网络误差函数达到最小值,从而完毕信息提取和记忆过程。.4.2.正向传播设 B网络的输入层有个节点，隐层有q个节点，输出层有m个节点,输入层与隐层之间的权值为,隐层与输出层之间的权值为,如图5.所示。隐层的传递函数为(),输出层的传递函数为f(),则隐层节点的输出为(将阈值写入求和项中)： k=，,q (5.1）输出层节点的输出为: =,2,m （5.16)至此-网络就完毕了n维空间向量对m维空间的近
4、似映射。5.2 反向传播1) 定义误差函数输入个学习样本,用来表达。第个样本输入到网络后得到输出（j=1,m）。采用平方型误差函数,于是得到第个样本的误差Ep: (5.1)式中:为盼望输出。对于个样本，全局误差为: (.18）2）输出层权值的变化采用合计误差P算法调节,使全局误差变小,即 （9)式中:学习率定义误差信号为: (5.20)其中第一项:(.1) 第二项: ()是输出层传递函数的偏微分。于是： （.23)由链定理得： （5.24）于是输出层各神经元的权值调节公式为:(5.25）)隐层权值的变化 (526)定义误差信号为: (5.27）其中第一项： (.8)依链定理有: (5.29)
5、第二项： （50)是隐层传递函数的偏微分。于是: （5.31)由链定理得: (53)从而得到隐层各神经元的权值调节公式为：(533)543 算法的改善B算法理论具有根据可靠、推导过程严谨、精度较高、通用性较好等长处,但原则BP算法存在如下缺陷:收敛速度缓慢；容易陷入局部极小值；难以拟定隐层数和隐层节点个数。在实际应用中,B算法很难胜任，因此浮现了诸多改善算法。1)运用动量法改善P算法原则BP算法实质上是一种简朴的最速下降静态寻优措施，在修正W(）时,只按照第K步的负梯度方向进行修正，而没有考虑到此前积累的经验,即此前时刻的梯度方向,从而常常使学习过程发生振荡，收敛缓慢。动量法权值调节算法的具体
6、做法是:将上一次权值调节量的一部分迭加到按本次误差计算所得的权值调节量上,作为本次的实际权值调节量,即: (5.3)其中：为动量系数,一般0.;学习率,范畴在0.00之间。这种措施所加的动量因子事实上相称于阻尼项，它减小了学习过程中的振荡趋势,从而改善了收敛性。动量法减少了网络对于误差曲面局部细节的敏感性,有效的克制了网络陷入局部极小。2) 自适应调节学习速率原则B算法收敛速度缓慢的一种重要因素是学习率选择不当,学习率选得太小，收敛太慢;学习率选得太大，则有也许修正过头,导致振荡甚至发散。可采用图5.5所示的自适应措施调节学习率。调节的基本指引思想是：在学习收敛的状况下,增大,以缩短学习时间;
7、当偏大体使不能收敛时，要及时减小,直到收敛为止。) 动量自适应学习速率调节算法采用动量法时,P算法可以找到更优的解；采用自适应学习速率法时,B算法可以缩短训练时间。将以上两种措施结合起来,就得到动量自适应学习速率调节算法。4) -M学习规则L-M(Levner-Mrqard)算法比前述几种使用梯度下降法的B算法要快得多，但对于复杂问题,这种措施需要相称大的存储空间。L-(LeenbeMarard)优化措施的权值调节率选为:（55)其中:误差向量;网络误差对权值导数的雅可比（Jacbin）矩阵;标量,当很大时上式接近于梯度法，当很小时上式变成了Guss-Newtn法,在这种措施中,也是自适应调节
8、的。综合考虑，拟采用L-M学习规则和动量法分别作为神经网络的训练函数和学习函数。55 P神经网络的训练方略及成果本文借助于AB神经网络工具箱来实现多层前馈B网络(laer eed-fordacppation ne)的颜色空间转换,免除了许多编写计算机程序的烦恼。神经网络的实际输出值与输入值以及各权值和阈值有关,为了使实际输出值与网络盼望输出值相吻合，可用品有一定数量学习样本的样本集和相应盼望输出值的集合来训练网络。训练时仍然使用本章52节中所述的实测样本数据。此外,目前尚未找到较好的网络构造措施。拟定神经网络的构造和权系数来描述给定的映射或逼近一种未知的映射，只能通过学习方式得到满足规定的网络
9、模型。神经网络的学习可以理解为:对拟定的网络构造，寻找一组满足规定的权系数，使给定的误差函数最小。设计多层前馈网络时,重要侧重实验、探讨多种模型方案，在实验中改善,直到选用一种满意方案为止,可按下列环节进行：对任何实际问题先都只选用一种隐层;使用很少的隐层节点数;不断增长隐层节点数,直到获得满意性能为止;否则再采用两个隐层反复上述过程。训练过程事实上是根据目的值与网络输出值之间误差的大小反复调节权值和阈值,直到此误差达到预定值为止。55 拟定BP网络的构造拟定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就拟定了B网络。拟定这些选项时有一定的指引原则,但更多的是靠经验和试凑。）隐层
10、数的拟定：198年Robr ectNilson证明了对任何在闭区间内的持续函数,都可以用一种隐层的BP网络来逼近,因而一种三层的BP网络可以完毕任意的n维到m维的映照。因此我们从具有一种隐层的网络开始进行训练。2) B网络常用传递函数：网络的传递函数有多种。og-sgmoi型函数的输入值可取任意值,输出值在0和之间;tan-sgmod型传递函数asig的输入值可取任意值,输出值在-1到+1之间；线性传递函数ureli的输入与输出值可取任意值。P网络一般有一种或多种隐层，该层中的神经元均采用sigmid型传递函数,输出层的神经元则采用线性传递函数,整个网络的输出可以取任意值。多种传递函数如图5.
11、6所示。只变化传递函数而其他参数均固定，用本章2节所述的样本集训练BP网络时发现，传递函数使用ansi函数时要比osig函数的误差小。于是在后来的训练中隐层传递函数改用tani函数,输出层传递函数仍选用uelin函数。3） 每层节点数的拟定:使用神经网络的目的是实现摄像机输出GB颜色空间与IEX色空间转换，因此B网络的输入层和输出层的节点个数分别为。下面重要简介隐层节点数量的拟定。对于多层前馈网络来说，隐层节点数的拟定是成败的核心。若数量太少,则网络所能获取的用以解决问题的信息太少；若数量太多，不仅增长训练时间,更重要的是隐层节点过多还也许浮现所谓“过渡吻合”(Ovrftting）问题,即测试
12、误差增大导致泛化能力下降,因此合理选择隐层节点数非常重要。有关隐层数及其节点数的选择比较复杂,一般原则是:在能对的反映输入输出关系的基本上,应选用较少的隐层节点数,以使网络构造尽量简朴。本论文中采用网络构造增长型措施,即先设立较少的节点数，对网络进行训练，并测试学习误差，然后逐渐增长节点数，直到学习误差不再有明显减少为止。.5. 误差的选用在神经网络训练过程中选择均方误差SE较为合理，因素如下： 原则P算法中,误差定义为：(5.36)每个样本作用时，都对权矩阵进行了一次修改。由于每次权矩阵的修改都没有考虑权值修改后其他样本作用的输出误差与否也减小,因此将导致迭代次数增长。 合计误差P算法的全局
13、误差定义为： （5.37）这种算法是为了减小整个训练集的全局误差，而不针对某一特定样本，因此如果作某种修改能使全局误差减小,并不等于说每一种特定样本的误差也都能同步减小。它不能用来比较P和不同的网络性能。由于对于同一网络来说，P越大，E也越大； 值相似，m越大也越大。 均方误差S： （8）其中:输出节点的个数,训练样本数目,网络盼望输出值，网络实际输出值。均方误差克服了上述两种算法的缺陷，因此选用均方误差算法较合理。5.5.训练成果训练一种单隐层的三层BP网络，根据如下经验公式选择隐层节点数125：（5.39)式中：n为输入节点个数，为输出节点个数，a为1到1之间的常数。针对本论文n1取值范畴为3。训练成果如表.1所示。表.1 隐层节点数与误差的关系隐层神经元个数训练误差测试误差31.56611.1274079740.23250.6318
