《智能故信息处理技术-BP神经网络模型与学习算法》由会员分享，可在线阅读，更多相关《智能故信息处理技术-BP神经网络模型与学习算法（22页珍藏版）》请在金锄头文库上搜索。
1、BP 神经网络模型与学习算法神经网络模型与学习算法BP 神经网络模型与学习算法.1一，什么是 BP.1二、反向传播 BP 模型.8一，什么是一，什么是 BP“BP（Back Propagation）网络是 1986 年由 Rumelhart 和 McCelland 为首的科学家小组提出，是一种按误差逆传播算 法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP 网络能学习和存贮大量的输入-输出模式映射关系， 而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权 值和阈值，使网络的误差平方和最小。BP 神经网络模型拓扑结构包括输入层（i
2、nput）、隐层(hide layer)和输出层 (output layer)。“我们现在来分析下这些话：“是一种按误差逆传播算法训练的多层前馈网络”BP 是后向传播的英文缩写，那么传播对象是什么？传播的目的是什么？传播的方式是后向，可这又是什么意思呢。传播的对象是误差，传播的目的是得到所有层的估计误差，后向是说由后层误差推导前层误差：即 BP 的思想可以总结为利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去， 就获得了所有其他各层的误差估计。 “BP 神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(ou
3、tput layer)”最简单的三层 BP：“BP 网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。”BP 利用一种称为激活函数来描述层与层输出之间的关系，从而模拟各层神经元之间的交互反应。激活函数必须满足处处可导的条件。那么比较常用的是一种称为 S 型函数的激活函数：那么上面的函数为什么称为是 S 型函数呢：我们来看它的形态和它导数的形态：p.s. S 型函数的导数：神经网络的学习目的：希望能够学习到一个模型，能够对输入输出一个我们期望的输出。学习的方式： 在外界输入样本的刺激下不断改变网络的连接权值学习的本质： 对各连接权值的动态调整学习的核心：权值
4、调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。二，有监督的 BP 模型训练过程1. 思想有监督的 BP 模型训练表示我们有一个训练集，它包括了： input X 和它被期望拥有的输出 output Y所以对于当前的一个 BP 模型，我们能够获得它针对于训练集的误差所以 BP 的核心思想就是：将输出误差以某种形式通过隐层向输入层逐层反传，这里的某种形式其实就是：也就是一种 “信号的正向传播 - 误差的反向传播“的过程：2.具体这里解释下根据误差对权值的偏导数来修订权值：反向传播反向传播 BP 模型模型学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，
5、学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算 法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法而有的算法可能可用于多种模型。不过，有时人们也称算法 为模型。自从 40 年代 Hebb 提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在 1986 年 Rumelhart 等提出的误差反向传播法，即 BP(error BackPropagation)法影响最为广泛。直到今天，BP 算法仍然是自动控制上最重要、应用最多的有效算法。121 神经网络的学习机理和机构在神经网络中，对外部环境提供的模式样本进行学习训练，并
6、能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如 BP 网 络，Hopfield 网络，ART 网络和 Kohonen 网络中；BP 网络和 Hopfield 网络是需要教师信号才能进行学习的；而 ART 网络和 Kohonen 网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。一、感知器的学习结构感知器的学习是神经网络最典型的学习。目前，在控制上应用的是多层前馈网络，这是一种感知器
7、模型，学习算法是 BP 法，故是有教师学习算法。一个有教师的学习系统可以用图 17 表示。这种学习系统分成三个部分：输入部，训练部和输出部。图 1-7 神经网络学习系统框图输入部接收外来的输入样本 X，由训练部进行网络的权系数 W 调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数 W。学习机构可用图 18 所示的结构表示。在图中，Xl ，X2 ，Xn ，是输入样本信号，W1 ，W2 ，Wn 是权系数。输入样本信号 Xi 可以取离散值“0”或“1”。输入样本信号通过权系数作用，在 u 产生输出结果 Wi Xi
8、 ，即有：u=Wi Xi =W1 X1 +W2 X2 +Wn Xn再把期望输出信号 Y(t)和 u 进行比较，从而产生误差信号 e。即权值调整机构根据误差 e 去对学习系统的权系数进行修改，修改方向应使误差 e 变小，不断进行下去，使到误差 e 为零，这时实际输出值 u 和期望输出值 Y(t)完全一样，则学习过程结束。神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。则这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万次级。原因在于神经网络的权系数 W 有很多分量 W1 ，W2，-Wn ；也即是一个多参数修改系统。系统的参数的调
9、整就必定耗时耗量。目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。二、感知器的学习算法感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图 1-9 所示。图 1-9 感知器结构感知器的数学模型：(1-12)其中：f.是阶跃函数，并且有(1-13) 是阀值。感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：(1-14)即是，当感知器的输出为 1 时，输入样本称为 A 类；输出为-1 时，输入样本称为 B 类。从上可知感知器的分类边界是：(1-15)在输入样本只有两个分量 X1，X2 时，则有分类边
10、界条件：(1-16)即W1 X1 +W2 X2 -=0 (1-17)也可写成(1-18)这时的分类情况如固 110 所示。感知器的学习算法目的在于找寻恰当的权系数 w(w1w2，Wn)，使系统对一个特 定的样本 x(xt，x2，xn)熊产生期望值 d。当 x 分类为 A 类时，期望值 d1；X 为 B 类 时，d=-1。为了方便说明感知器学习算法，把阀值 并人权系数 w 中，同时，样本 x 也相应增加一 个分量 xn+1 。故令：Wn+1 =-，Xn+1 =1 (1-19)则感知器的输出可表示为：(1-20)感知器学习算法步骤如下：1对权系数 w 置初值对权系数 w(W1 W2 ，Wn ，Wn
11、+1 )的各个分量置一个较小的零随机值，但 Wn+1 g。并记为 Wl (0)，W2 (0)，Wn (0)，同时有 Wn+1(0)- 。这里 Wi (t)为 t 时刻从第 i 个输入上的权系数，i1，2，n。Wn+1 (t)为 t 时刻时的阀值。图 1-10 感知器的分类例子2输入一样本 X(X1 ，X2 ，Xn+1 )以及它的期望输出 d。期望输出值 d 在样本的类属不同时取值不同。如果 x 是 A 类，则取 d1,如果 x 是 B 类，则取-1。期望输出 d 也即是教师信号。3计算实际输出值 Y4根据实际输出求误差 eedY(t) (1-21)5用误差 e 去修改权系数i=1,2,n,n+
12、1 (1-22)其中， 称为权重变化率，01在式(122)中， 的取值不能太大如果 1 取值太大则会影响 wi (t)的稳定；的取值也不能太小，太小则会使 Wi (t)的求取过程收敛速度太慢。当实际输出和期望值 d 相同时有：Wi (t+1)=Wi (t)6转到第 2 点，一直执行到一切样本均稳定为止。从上面式(114)可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。因此，感知器可以用于实现逻辑函数。下面对感知器实现逻辑函数的情况作一些介绍。例：用感知器实现逻辑函数 X1 VX2 的真值：X10011 X20101 X1 V X20111以 X1VX21 为 A 类，以 X1VX
13、2=0 为 B 类，则有方程组(1-23)即有：(1-24)从式(124)有：W1 ,W2 令 W1 =1,W2 =2则有： 1取 =0.5则有：X1+X2-0.5=0,分类情况如图 111 所示。图 1-11 逻辑函数 X1 VX2 的分类122 神经网络学习的梯度算法从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使到网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然 权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输人模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。前面的感知器的传递函数是阶跃函数，所以，
14、它可以用作分类器。前面一节所讲的感知器学习算法因其传递函数的简单而存在局限性。感知器学习算法相当简单，并且当函数线性可分时保证收敛。但它也存在问题：即函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。为了克服存在的问题，所以人们提出另一种算法梯度算法(也即是 LMS 法)。为了能实现梯度算法，故把神经元的激发函数改为可微分函数，例如 Sigmoid 函数，非对称 Sigmoid 函数为 f(X)=1/(1+e-x ),对称Sigmoid 函数 f(X)=(1-e-x )/(1+e-x )；而不采用式(113)的阶跃函数。对于给定的样本集 Xi (i1，2，n)，梯度法的目的是寻
15、找权系数 W* ，使得 fW*. Xi 与期望输出 Yi 尽可能接近。设误差 e 采用下式表示：(1-25)其中，Yi fW* Xi 是对应第 i 个样本 Xi 的实时输出Yi 是对应第 i 个样本 Xi 的期望输出。要使误差 e 最小，可先求取 e 的梯度：(1-26)其中：(1-27)令 Uk =W. Xk ,则有：(1-28)即有：(1-29)最后有按负梯度方向修改权系数 W 的修改规则：(1-30)也可写成：(1-31)在上式(130)，式(131)中， 是权重变化率，它视情况不同而取值不同，一般取 0-1 之间的小数。很明显，梯度法比原来感知器的学习算法进了一大步。其关键在于两点：1神经元的传
