人工神经网络及其应用第3讲感知机及bp网络

《人工神经网络及其应用第3讲感知机及bp网络》由会员分享，可在线阅读，更多相关《人工神经网络及其应用第3讲感知机及bp网络（43页珍藏版）》请在金锄头文库上搜索。

1、人工神经网络及其应用 第3讲感知机及BP网络何建华 电信系，华中科技大学2003年2月25日1一、内容回顾 二、感知机 三、自适应线性元件 四、内容小结内容安排2生物神经元人工神经网络结构神经网络基本学习算法一、内容回顾 3生物神经元 生物神经元模型 突触信息处理 信息传递功能与特点人工神经网络结构神经网络基本学习算法一、内容回顾4生物神经元模型一、内容回顾5生物神经元人工神经网络结构 人工神经网络 人工神经元模型 常见响应函数 人工神经网络典型结构神经网络基本学习算法一、内容回顾6生物神经元人工神经网络结构神经网络基本学习算法 权值确定 Hebb学习规则 误差校正学习规则 相近（无教师）学习

2、规则一、内容回顾7Hebb学习规则Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活)，则它们 之间的突触连接加强 a为学习速率，Vi, Vj为神经元i和j的输出 Hebb学习规则是人工神经网络学习的基本规则 ，几乎所有神经网络的学习规则都可以看作 Hebb学习规则的变形 8误差校正规则用已知样本作为教师对网络进行学习学习规则可由二次误差函数的梯度法导出误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感9无教师学习规则这类学习不在于寻找一个特殊映

3、射的表示，而 是将事件空间分类为输入活动区域，并有选择 地对这些区域响应，从而调整参数一反映观察 事件的分部输入可以为连续值，对噪声有较强抗干扰能力对较少输入样本，结果可能要依赖于输入序列在ART、Kohonen等自组织竞争型网络中采用102.1 感知机简介 2.2 神经元模型 2.3 网络结构 2.4 功能解释 2.5 学习和训练 2.6 局限性二、感知机11感知器由美国计算机科学家罗森布拉特（ F.Roseblatt）于1957年提出收敛定理 F.Roseblatt证明，如果两类模式是线性可分的（指 存在一个超平面将它们分开），则算法一定收敛感知器特别适用于简单的模式分类问题，也可 用于基

4、于模式分类的学习控制中 本讲中感知器特指单层感知器2.1 感知机简介122.2 神经元模型132.3 网络结构ni 第i个神经元加权输入和ai第i个神经元输出,i1,2,s142.4 功能解释感知器的基本功能是将输入矢量转化成0或1的 输出根据输出值通过测试加权输入和值落在阈值函 数的左右对输入数据进行分类152.4 功能解释这一功能可以通过在输人矢量空间里的作图来 加以解释 以输入矢量r2为例 对选定的权值w1、w2和b，可以在以p1和p2分别作为 横、纵坐标的输入平面内画出W*P+bw1 p1十w2 p2 十b0的轨迹 它是一条直线，此直线上及其线以上部分的所有p1 、p2值均使w1 p1

5、十w2 p2十b0，这些点通过由w1、 w2和b构成的感知器的输出为1；该直线以下部分的 点通过感知器的输出为0162.4 功能解释17当采用感知器对不同的输入矢量进行期望输出 为0或1的分类时，其问题可转化为对已知输入 矢量在输入空间形成的不同点的位置，设计感 知器的权值W和b感知器权值参数设计目的，就是根据学习法则 设计一条W*P+b0的轨迹，使其对输入矢量能 够达到所期望的划分2.5 网络学习与训练18学习规则用来计算新的权值矩阵W及新的偏差B的 算法权值的变化量等于输入矢量假定输入矢量P，输出矢量A，目标矢量为T的 感知器网络2.5 网络学习与训练19如果第i个神经元的输出是正确的，即

6、aiti， 那么与第i个神经元联接的权值wij和偏差值bi保 持不变 如果第i个神经元的输出是0，但期望输出为1， 即有ai0，而ti1，此时权值修正算法为：新 的权值wij为旧的权值wij加上输人矢量pj；新的 偏差bi为旧偏差bi加上1 如果第i个神经元的输出为1，但期望输出为0， 即有ai1，而ti0，此时权值修正算法，新的 权值wij等于旧的权值wij减去输入矢量pj；新的 偏差bi为旧偏差bi减去12.5 网络学习与训练20上述用来修正感知器权值的学习算法在MATLAB 神经网络工具箱中已编成了子程序，成为一个 名为1earnp.m的函数。只要直接调用此函数，即可立即获得权值的修 正

7、量。此函数所需要的输人变量为：输入、输 出矢量和目标矢量（P、A和T）调用命令为： dW，dBlearnp(P，A，T)2.5 网络学习与训练21训练思想在输入矢量P的作用下，计算网络的实际输出 A，并与相应的目标矢量T进行比较，检查A是 否等于T，然后用比较后的误差量，根据学习 规则进行权值和偏差的调整重新计算网络在新权值作用下的输入，重复 权值调整过程，直到网络的输出A等于目标矢 量T或训练次数达到事先设置的最大值时训练 结束2.5 网络学习与训练22训练算法对于所要解决的问题，确定输入矢量P，目标矢量T ，并确定各矢量的维数及神经元数目：r，s和q；（1）参数初始化 a)赋给权矢量w在(

8、l，1)的随机非零初始值； b)给出最大训练循环次数max_epoch；（2）初始化网络表达式。根据输人矢量P以及最新 权矢量W，计算网络输出矢量A；（3）检查过程。检查输出矢量A与目标矢量T是否相 同。如果是，或已达最大循环次数，训练结束，否 则转入（4）（4）学习过程。根据感知器的学习规则调整权矢量 ，并返回（3）2.5 网络学习与训练23由于感知器的激活函数采用的是阀值函数，输 出矢量只能取0或1，所以只能用它来解决简单 的分类问题 感知器仅能够线性地将输入矢量进行分类 当输入矢量中有一个数比其他数都大或小得很 多时，可能导致较慢的收敛速度2.6 局限性24三、自适应线性元件3.1 Ad

9、line简介 3.2 网络结构 3.3 网络学习 3.4 网络训练 3.5 应用举例 3.6 局限性253.1 Adline简介自适应线性元件(Adaptive Linear Element 简称Adaline) 由威德罗(Widrow)和霍夫(Hoff)首先提出 自适应线性元件的主要用途是线性逼近一个函 数式而进行模式联想。 它与感知器的主要不同之处 在于其神经元有一个线性激活函数，这允许输出可 以是任意值，而不仅仅只是像感知器中那样只能取 0或1 它采用的是W-H学习法则，也称最小均方差(LMS)规 则对权值进行训练263.2 网络结构神经元(a)与网络(b)273.3 学习规则W-H学习

10、规则是由威德罗和霍夫提出的用来修正权矢量 的学习规则 采用W-H学习规则可以用来训练一定网络的权值和偏差 使之线性地逼近一个函数式而进行模式联想(Pattern Association) 定义一个线性网络的输出误差函数目的是通过调节权矢量，使E(W，B)达到最小值所以在 给定E(W，B)后，利用W-H学习规则修正权矢量和偏差 矢量，使E(W，B)从误差空间的某一点开始，沿着E(W ，B)的斜面向下滑行283.3 学习规则根据梯度下降法，权矢量的修正值正比于当前 位置上E(W，B)的梯度，对于第i个输出节点有 ： 或表示为293.3 学习规则为学习速率。在一般的实际运用中，实践表明， 通常取一接

11、近1的数，或取值为：自适应线性网络还有另一个潜在的困难，当学习速率 取得较大时，可导致训练过程的不稳定采用W-H规则训练自适应线性元件使其能够得以收敛的 必要条件是被训练的输入矢量必须是线性独立的，且 应适当地选择学习速率以防止产生振荡现象303.4 网络训练自适应线性元件的网络训练过程可归纳 为以下四个步骤 初始化。权值W,B和T 表达。计算训练的输出矢量A=W*P+B，以及 与期望输出之间的误差E=T-A 检查。将网络输出误差的平方和与期望误差 相比较，如果其值小于期望误差，或训练已 达到事先设定的最大训练次数，则停止训练 ；否则继续 学习。采用W-H学习规则计算新的权值和偏 差，并返回到

12、“表达”过程313.5 应用举例考虑一个较大的多神经元网络的模式联 想的设计问题输入矢量P和目标矢量T323.5 应用举例求解精确解 这个问题的求解同样可以采用线性方程组求出，即 对每一个输出节点写出输入和输出之间的关系等式333.5 应用举例求解神经网络训练误差记录训练后权值343.5 应用举例求解神经网络 由输入矢量和目标输出矢量可得：r3，s 4，q4。网络的结构如下图示353.5 应用举例分析Adline与方程求解 求解前述16个方程不太容易，需要一定时间 对一些实际问题，如果不需要求出其完美的零误差 时的解，也即允许存在一定的误差时，采用自适应 线性网络求解可以很快地训练出满足一定要

13、求的网 络权值 如果输入矢量具有奇异性，用函数solvelin.m求解 精确解时将产生问题。而神经网络则能得到较好的 性能363.6 Adline与感知机网络模型结构上 感知器和自适应线性网络而言，结构上的主要区别在于激活 函数，分别为二值型和线性学习算法 感知器的算法是最早提出的可收敛的算法 它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度 下降法 在BP算法中得到进一步的推广，它们属于同一类算法 适用性与局限性 感知器仅能够进行简单的分类。感知器可以将输入分成两类 或四类等，但仅能对线性可分的输入进行分类。 自适应线性网络除了像感知器一样可以进行线性分类外，还 可以实现线性逼近，因为其

14、激活函数可以连续取值而不同于 感知器的仅能取0或1的缘故37四、内容小结内容回顾感知机自适应线性元件下次讲课内容38四、内容小结内容回顾 生物神经元 人工神经网络结构 神经网络基本学习算法感知机自适应线性元件下次讲课内容39四、内容小结内容回顾 感知机 感知机简介 神经元模型 网络结构 功能解释 学习和训练 局限性 自适应线性元件 下次讲课内容40四、内容小结内容回顾感知机自适应线性元件 Adline简介 网络结构 网络学习 网络训练 应用举例 局限性下次讲课内容41四、内容小结内容回顾感知机自适应线性元件下次讲课内容 BP神经网络42The EndQuestions & SuggestionsThanks！43