《数学建模教程讲义人工神经网络问题探索》由会员分享，可在线阅读，更多相关《数学建模教程讲义人工神经网络问题探索（59页珍藏版）》请在金锄头文库上搜索。
1、1、MP模型模型2、感知器模型、感知器模型3、感知器学习规则、感知器学习规则4、感知器的、感知器的MATLAB实现实现5、感知器神经网络应用举例、感知器神经网络应用举例6、线性神经网络、线性神经网络第二章第二章 人工神经网络基本模型人工神经网络基本模型1、MP模型模型MP模型是人工神经网络的研究历史中最早提出，也模型是人工神经网络的研究历史中最早提出，也是最为简单的模型。常用的有三种模型：是最为简单的模型。常用的有三种模型：（1）标准）标准MP模型模型第二章第二章 人工神经网络基本模型人工神经网络基本模型wX1uvR11R11f1111V(t)=f(WX(t)+ )MP模型的工作原理模型的工作
2、原理其中参数的含义是：其中参数的含义是： wji表示：神经元表示：神经元i与神经元与神经元j之间的连接权之间的连接权 ui表示：神经元表示：神经元i的状态的状态 vi表示：神经元表示：神经元i的输出值，亦表示的输出值，亦表示i的一个输入的一个输入i表示：神经元表示：神经元i的阀值的阀值第二章第二章 人工神经网络基本模型人工神经网络基本模型在在MP模型中激励函数可以采用阀值型函数，亦可根模型中激励函数可以采用阀值型函数，亦可根据需要采用据需要采用S型函数：型函数：学习准则：学习准则： 这种模型常常采用这种模型常常采用Hebb学习准则来调整神经元之间学习准则来调整神经元之间的连接权。的连接权。 w
3、ij=uivj 说明：兴奋性一致则加强，否则减弱！说明：兴奋性一致则加强，否则减弱！第二章第二章 人工神经网络基本模型人工神经网络基本模型（2）延时）延时MP模型模型第二章第二章 人工神经网络基本模型人工神经网络基本模型wX1uvR11R11f1111V(t)=f(WX(t-)+ )延时延时MP模型的特点模型的特点神经元的状态满足神经元的状态满足0/1规律规律神经元为多输入单输出处理单元神经元为多输入单输出处理单元激活函数采用阀值型函数激活函数采用阀值型函数所有神经元具有相同、恒定的工作节律所有神经元具有相同、恒定的工作节律没有考虑时间整合作用和不应期没有考虑时间整合作用和不应期时延和权系数均
4、为常数时延和权系数均为常数第二章第二章 人工神经网络基本模型人工神经网络基本模型（3）改进的）改进的MP模型模型 工作原理同上工作原理同上 输入输出关系为输入输出关系为 k1，2， 注：在改进注：在改进MP模型中权系数是可变的模型中权系数是可变的第二章第二章 人工神经网络基本模型人工神经网络基本模型2、感知器模型、感知器模型 (1)单层感知器模型单层感知器模型第二章第二章 人工神经网络基本模型人工神经网络基本模型wX1uvR1SRS1fS1S1V=hardlims(WX+)RS 首先介绍单神经元感知器首先介绍单神经元感知器 先看一个例子：先看一个例子： 如果我们需要设计一个自动化分类器，用于根
5、据水如果我们需要设计一个自动化分类器，用于根据水果的外形、质地和重量三个特征自动对苹果和橘子分果的外形、质地和重量三个特征自动对苹果和橘子分类。假设传送带上的传感器可以较为简单的区分三个类。假设传送带上的传感器可以较为简单的区分三个特征：特征： 外形：基本是圆的外形：基本是圆的1 否则否则1 质地：表面光滑的质地：表面光滑的1 否则否则1 重量：超过重量：超过1磅磅 1 否则否则1第二章第二章 人工神经网络基本模型人工神经网络基本模型我们设计一个神经网络解决我们设计一个神经网络解决首先一个标准的橘子为：首先一个标准的橘子为：X11 ,1,1T 一个标准的苹果为：一个标准的苹果为：X21 , 1
6、,1T我们设计一个单神经元三输入的感知器我们设计一个单神经元三输入的感知器(如图如图)第二章第二章 人工神经网络基本模型人工神经网络基本模型wX1uv311311f1111V=hardlims(WX+)31如果如果 w11=0 w21=1 w31=0 则则V=hardlims(WX+)hardlims(-1 1X+) 表明如果表明如果ui大于等于大于等于-b，感知器输出感知器输出1 ui小于小于-b，感知器输出感知器输出1 如果我们希望苹果就输出如果我们希望苹果就输出1，橘子就输出，橘子就输出1，则取，则取阀值阀值0 我们对分类器进行测试我们对分类器进行测试第二章第二章 人工神经网络基本模型人
7、工神经网络基本模型 输入是标准输入是标准橘子橘子时时 v1=hardlims(0,1,01,-1,-1T+0)-1(橘子橘子) 输入是标准输入是标准苹果苹果时时 v2=hardlims(0,1,01,1,-1T+0)1(苹果苹果) 当一个不是十分标准的橘子进入分类器又会得到什当一个不是十分标准的橘子进入分类器又会得到什么结果呢？么结果呢？ 感知器输入向量感知器输入向量 X-1,-1,-1T 网络的响应网络的响应 v1=hardlims(0,1,0-1,-1,-1T+0)-1(橘子橘子)第二章第二章 人工神经网络基本模型人工神经网络基本模型 实际上在整个输入向量空间中，感知器将空间分为实际上在整
8、个输入向量空间中，感知器将空间分为了两部分，任何输入向量只要更加接近苹果的标准向了两部分，任何输入向量只要更加接近苹果的标准向量，则划归苹果一类，反之亦然。量，则划归苹果一类，反之亦然。第二章第二章 人工神经网络基本模型人工神经网络基本模型X1X2x1x2x3 (2)多层感知器模型多层感知器模型 单层感知器模型只能进行简单的线性分类，而对于单层感知器模型只能进行简单的线性分类，而对于其他较为复杂的分类模式则无法解决，为此可以在输其他较为复杂的分类模式则无法解决，为此可以在输入和输出层之间加上若干层神经元入和输出层之间加上若干层神经元(称为隐含层称为隐含层)，即，即构成构成多层感知器模型多层感知
9、器模型。 需要加以说明的是：在多层感知器模型中，只允许需要加以说明的是：在多层感知器模型中，只允许调节一层网络连接权调节一层网络连接权(一般考虑隐含层与输出层一般考虑隐含层与输出层)，称，称之为学习层，而其他连接权为随机确定的固定值，称之为学习层，而其他连接权为随机确定的固定值，称之为随机层。之为随机层。 可以证明，隐含层和隐含层神经元数足够多，多层可以证明，隐含层和隐含层神经元数足够多，多层感知器模型可以实现任意的模式分类（理论上）。感知器模型可以实现任意的模式分类（理论上）。第二章第二章 人工神经网络基本模型人工神经网络基本模型 多层感知器模型结构图多层感知器模型结构图 第二章第二章 人工
10、神经网络基本模型人工神经网络基本模型w1X1u1v11R1S1 RS11fS1 1S1 1V1=hardlims(W1X+1)RS1w21u2v22S2 S1S21fS21S2 1V2=hardlims(W2V1+2)S2随机感知器层随机感知器层学习感知器层学习感知器层3、感知器学习规则、感知器学习规则 上述网络中的权值和阀值又怎么确定呢？下面介绍上述网络中的权值和阀值又怎么确定呢？下面介绍一种用于训练感知器网络的算法。一种用于训练感知器网络的算法。 所谓学习规则就是修改神经网络的权值和阀值的方所谓学习规则就是修改神经网络的权值和阀值的方法和过程，学习规则的目的是为了训练网络来完成某法和过程，
11、学习规则的目的是为了训练网络来完成某些工作，现在有很多神经网络学习规则，大致可以分些工作，现在有很多神经网络学习规则，大致可以分为三大类：有监督学习、无监督学习和竞争学习。为三大类：有监督学习、无监督学习和竞争学习。 感知器学习是通过有监督学习过程来实现的。感知器学习是通过有监督学习过程来实现的。第二章第二章 人工神经网络基本模型人工神经网络基本模型 误差型学习规则误差型学习规则（1）网络初始化）网络初始化（2）计算输入模式对应的实际输出和理想输出的误）计算输入模式对应的实际输出和理想输出的误差差（3）如果如果小于给定值，结束，否则转下一步小于给定值，结束，否则转下一步（4）更新权值（阀值可视
12、为输入恒为）更新权值（阀值可视为输入恒为1的特殊权值）的特殊权值） wi(t+1)wi(t+1)-wi(t)=xi 其中其中理想输出实际输出理想输出实际输出（5）返回第）返回第(2)步步第二章第二章 人工神经网络基本模型人工神经网络基本模型 可以证明当前输入样本来自线性可分的模式时，上可以证明当前输入样本来自线性可分的模式时，上述学习算法在有限步同收敛，这时所得的权值能对所述学习算法在有限步同收敛，这时所得的权值能对所有样本正确分类，这一结论被称为感知器收敛定理。有样本正确分类，这一结论被称为感知器收敛定理。（收敛定理的证明略收敛定理的证明略） 感知器神经网络的训练是样本重复输入，通过调整感知
13、器神经网络的训练是样本重复输入，通过调整权值使感知器的输出达到所要求的理想输出，最终得权值使感知器的输出达到所要求的理想输出，最终得到最优的网络阀值和权值。到最优的网络阀值和权值。4、感知器神经网络的、感知器神经网络的MATLAB实现实现 对于感知器的初始化、训练、仿真，在对于感知器的初始化、训练、仿真，在MATLAB神神经网络工具箱中分别提供了经网络工具箱中分别提供了init( ), trainp( )和和sim( )等等相应的函数。相应的函数。第二章第二章 人工神经网络基本模型人工神经网络基本模型 (1)初始化函数初始化函数init( ) 感知器初始化函数感知器初始化函数init( )可得
14、到可得到R个输入，个输入，S个神经个神经元的感知器层的权值和阀值，其调用格式为：元的感知器层的权值和阀值，其调用格式为： w,b=init(R,S) 另外也可利用输入向量另外也可利用输入向量X和目标向量和目标向量t来初始化来初始化 w,b=init(X，t) (2)训练控制参数训练控制参数tp tp=disp_freq max_epoch disp_freq指定两次显示间训练次数，缺省值为指定两次显示间训练次数，缺省值为1；map_epoch指定训练最大次数，缺省值为指定训练最大次数，缺省值为100第二章第二章 人工神经网络基本模型人工神经网络基本模型 (3)训练函数训练函数trainp( )
15、 trainp( )函数所需要的参数为：输入向量函数所需要的参数为：输入向量X、目标向目标向量量t以及网络的初始权值和阀值，训练的控制参数以及网络的初始权值和阀值，训练的控制参数tp。调用格式为：调用格式为： w,b,te=trainp(w,b,p,t,tp) 函数函数trainp( )并不能保证感知器网络所得到的网络并不能保证感知器网络所得到的网络权值和阀值达到要求，因此在训练完后，要用下列验权值和阀值达到要求，因此在训练完后，要用下列验证语句验证一下证语句验证一下 a=sim(p, w, b); if all(a= =t),disp( It works!),end第二章第二章 人工神经网络
16、基本模型人工神经网络基本模型 假如网络不能成功运行，就可以继续运用假如网络不能成功运行，就可以继续运用trainp( )函数对网络进行训练。经足够的训练后，网络仍达不函数对网络进行训练。经足够的训练后，网络仍达不到要求，那么就应当认真分析一下，感知器网络是否到要求，那么就应当认真分析一下，感知器网络是否适合于这个问题。适合于这个问题。 (4)仿真函数仿真函数sim( ) sim( )函数主要用于计算网络输出，它的调用比较函数主要用于计算网络输出，它的调用比较简单：简单： a=sim(p,w,b)第二章第二章 人工神经网络基本模型人工神经网络基本模型5、感知器神经网络应用举例、感知器神经网络应用
17、举例问题描述：问题描述： 两种蠓虫两种蠓虫Af和和Apf已由生物学家已由生物学家W.L.Grogan与与w. w. Wirth(1981)根据它们触角长度和翼长中以区分。见表根据它们触角长度和翼长中以区分。见表中中9只只Af蠓虫和蠓虫和6只只Apf蠓虫的数据。根据给出的触角蠓虫的数据。根据给出的触角长度和翼长可识别出一只标本是长度和翼长可识别出一只标本是Af还是还是Apf。 (1)给定一只给定一只Af或者或者Apf族的蠓虫，你如何正确地区族的蠓虫，你如何正确地区分它属于哪一族？分它属于哪一族？ (2)将你的方法用于触角长和翼中分别为将你的方法用于触角长和翼中分别为(1.24, 1.80)、（、
18、（1.28,1.84）、）、(1.40,2.04)的三个标本的三个标本第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型Af Af 触角触角触角触角长长长长1.241.241.361.361.381.381.3781.378 1.381.381.401.401.481.481.541.541.561.56翼翼翼翼 长长长长1.721.721.741.741.641.641.821.821.901.901.701.701.701.701.821.822.082.08Apf Apf 触角触角触角触角长长长长1.141.141.181.181
19、.201.201.261.261.281.281.301.30翼翼翼翼 长长长长1.781.781.961.961.861.862.002.002.002.001.961.96输入向量为：输入向量为：X=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0图形显示
20、，目标值图形显示，目标值1对应的用对应的用“+”、目标值、目标值0对应的对应的用用“o”来表示：来表示：plotpv(X，t)第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型为解决该问题，利用函数为解决该问题，利用函数newp构造输入量在构造输入量在0，2.5之间的感知器神经网络模型：之间的感知器神经网络模型：net=newp(0 2.5；0 2.5，1)初始化网络：初始化网络：net=init(net)利用函数利用函数adapt调整网络的权值和阀值，直到误差为调整网络的权值和阀值
21、，直到误差为0时训练结束：时训练结束：net, y, e=adapt(net, X, t)训练结束后可得如图的分类方式，可见感知器网络将训练结束后可得如图的分类方式，可见感知器网络将样本正确地分成两类样本正确地分成两类第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型感知器网络训练结束后，利用函数感知器网络训练结束后，利用函数sim进行仿真：进行仿真： X1=1.24;1.80 t1=sim(net,p1) X2=1.28;1.84 t2=sim(net,p2) X3=1.40;2.04 t3=sim(net,p3) 网络仿真结果为：网
22、络仿真结果为： t1=0 t2=0 t3=0第二章第二章 人工神经网络基本模型人工神经网络基本模型6、线性神经网络、线性神经网络 自适应线性神经网络是较为简单的一种神经元网自适应线性神经网络是较为简单的一种神经元网络，由若干线性神经元构成。络，由若干线性神经元构成。1959年，美国工程师年，美国工程师B.widrow和和M.Hoft提出自适应线性元件（提出自适应线性元件（Adaptive linear element，简称简称Adaline）是线性神经网络的最早是线性神经网络的最早典型代表。它是感知器的变化形式，尤其在修正权矢典型代表。它是感知器的变化形式，尤其在修正权矢量的方法上进行了改进，
23、不仅提高了训练收敛速度，量的方法上进行了改进，不仅提高了训练收敛速度，而且提高了训练精度。线性神经网络与感知器神经网而且提高了训练精度。线性神经网络与感知器神经网络的主要不同之处在于其每个神经元的传递函数为线络的主要不同之处在于其每个神经元的传递函数为线性函数，它允许输出任意值，此外，线性神经网络一性函数，它允许输出任意值，此外，线性神经网络一般采用般采用LMS规则（最小场方差规则（最小场方差Least mean Square）来来调整网络的权值和阀值。调整网络的权值和阀值。第二章第二章 人工神经网络基本模型人工神经网络基本模型 (1)纯线性神经元模型纯线性神经元模型Adaline 只能进行线
24、性划分只能进行线性划分第二章第二章 人工神经网络基本模型人工神经网络基本模型 线性神经元模型通过一个阀值器件即可进行二值模线性神经元模型通过一个阀值器件即可进行二值模拟输出，可以对线性可分模式进行分类：拟输出，可以对线性可分模式进行分类：设输入二元值（设输入二元值（+1,-1），则），则Xk有有2n个可能模式，如果个可能模式，如果对应的分类模式为两类对应的分类模式为两类(+1)、(-1)，则，则n个输入、一个个输入、一个输出的模型共可以有输出的模型共可以有 种逻辑映射方式种逻辑映射方式 ,根据根据Adaline模型模型的设计，只能进行线性划分：的设计，只能进行线性划分： 如：如：（+1, +1
25、） +1 （+1, -1） +1 （-1, -1） +1 （-1, +1） -1 第二章第二章 人工神经网络基本模型人工神经网络基本模型输入输出关系为：输入输出关系为：yk=WkT Xk令令yk为为0，将输入分为两类，则有，将输入分为两类，则有 通过对通过对w0、 w1、 w2的适当调整，即可实现对输入的适当调整，即可实现对输入模式的正确分类。模式的正确分类。 对于非线性划分模式对于非线性划分模式(如如“异或异或”问题问题)，根据，根据Adaline模型则不能实现，但是可以对模型则不能实现，但是可以对Adaline模型进模型进行适当的改进行适当的改进第二章第二章 人工神经网络基本模型人工神经网
26、络基本模型 (2)改进线性神经元模型改进线性神经元模型第二章第二章 人工神经网络基本模型人工神经网络基本模型令令yk为为0，将输入分为两类，则有，将输入分为两类，则有 通过对通过对w0、 w1、 w11、 w12、 w22、 w2的适当调整的适当调整即可实现对输入模式的正确分类即可实现对输入模式的正确分类(非线性非线性)。 椭圆形区域内部输出为椭圆形区域内部输出为1 椭圆形区域外部输出为椭圆形区域外部输出为1 同理可以根据具体实际情况，对输入进行其他非线同理可以根据具体实际情况，对输入进行其他非线性改造，以适应非线性分类的需要。性改造，以适应非线性分类的需要。第二章第二章 人工神经网络基本模型
27、人工神经网络基本模型 (3)线性神经网络模型线性神经网络模型 所谓线性神经网络模型，就是由若干线性神经元按所谓线性神经网络模型，就是由若干线性神经元按照一定的连接方式构成的模型。如照一定的连接方式构成的模型。如Madalines模型：模型：x10x20x1x1WAND第二章第二章 人工神经网络基本模型人工神经网络基本模型 (4)线性神经网络学习算法线性神经网络学习算法 线性神经网络常用的学习算法为线性神经网络常用的学习算法为LMS算法，算法，LMS算算法的思想就是利用误差函数的最速下降原则，调整神法的思想就是利用误差函数的最速下降原则，调整神经元的连接权，使神经元的实际输出与理想输出的差经元的
28、连接权，使神经元的实际输出与理想输出的差最小。最小。 即即 其中其中为训练参数，为训练参数， 为误差函数在当前的梯度为误差函数在当前的梯度 误差函数为误差函数为第二章第二章 人工神经网络基本模型人工神经网络基本模型 其中：其中：djk表示表示k时刻输出单元时刻输出单元j的理想输出的理想输出 wijxik表示实际输出表示实际输出 记记 定义瞬时梯度为定义瞬时梯度为 所以权值迭代公式为：所以权值迭代公式为：第二章第二章 人工神经网络基本模型人工神经网络基本模型 LMS算法可以描述为：算法可以描述为： 为为学习步长，学习步长，k为当前误差，为当前误差，|Xk|2为权值个数为权值个数 代入，有代入，有
29、 学习步长学习步长决定了算法的稳定性和收敛性，一般取决定了算法的稳定性和收敛性，一般取值为值为0.1 1.0第二章第二章 人工神经网络基本模型人工神经网络基本模型 LMS算法的具体实现步骤：算法的具体实现步骤： (1)初始化网络参数初始化网络参数 (2)输入样本输入样本 (3)计算实际输出计算实际输出yk (4)如果如果，则结束。否则下一步则结束。否则下一步 (5)计算计算W，更新更新W (6)返回第返回第(2)步步 例：参看教材例：参看教材P39第二章第二章 人工神经网络基本模型人工神经网络基本模型 (5)线性神经网络的线性神经网络的MATLAB实现实现 在在MATLAB神经网络工具箱中提供
30、了基于线神经网络工具箱中提供了基于线性神经网络的初始化函数性神经网络的初始化函数initlin( )、设计函数设计函数solvelin( )、仿真函数仿真函数simulin( )以及训练函数以及训练函数trainwh和和adaptwh。 第二章第二章 人工神经网络基本模型人工神经网络基本模型 初始化函数初始化函数initlin( ) 函数函数initlin( )对线性神经网络初始化时，将对线性神经网络初始化时，将权值和阀值取为绝对值很小的数。其使用格式权值和阀值取为绝对值很小的数。其使用格式 w,b=initlin(R,S) R为输入数，为输入数，S为神经元数。为神经元数。 另外，另外，R和和
31、S也可用输入向量也可用输入向量P和目标向量和目标向量t来来代替，代替， 即即w,b=initlin(p,t)第二章第二章 人工神经网络基本模型人工神经网络基本模型 设计函数设计函数solvelin( ) 与大多数其它神经网络不同，只要已知其输与大多数其它神经网络不同，只要已知其输入向量入向量P和目标向量和目标向量t，就可以直接设计出线性就可以直接设计出线性神经网络使得线性神经网络的权值矩阵误差最神经网络使得线性神经网络的权值矩阵误差最小。小。 其调用命令如下：其调用命令如下： w,b=solvelin(p,t); 第二章第二章 人工神经网络基本模型人工神经网络基本模型 仿真函数仿真函数simu
32、lin( ) 函数函数simulin( )可得到线性网络层的输出可得到线性网络层的输出 a=simulin(p,w,b) 其中其中a为输出向量为输出向量,b为阀值向量为阀值向量第二章第二章 人工神经网络基本模型人工神经网络基本模型 训练函数训练函数trainwh 和和adaptwh( ) 线性神经网络的训练函数有两种：线性神经网络的训练函数有两种：trainwh( )和和adaptwh( )。其中函数其中函数trainwh可以对线性神可以对线性神经网络进行离线训练；而函数经网络进行离线训练；而函数adaptwh( ) 可以可以对线性神经网络进行在线自适应训练。对线性神经网络进行在线自适应训练。
33、 利用利用trainwh( )函数可得到网络的权矩阵函数可得到网络的权矩阵w，阀值向量阀值向量b，实际训练次数实际训练次数te 以及训练过程中以及训练过程中网络的误差平方和网络的误差平方和lr。 w,b,te,lr=trainwh(w,b,p,t,tp)第二章第二章 人工神经网络基本模型人工神经网络基本模型 输入变量中训练参数输入变量中训练参数tp为：为： tp(1)指定两次更新显示间的训练次数，缺省指定两次更新显示间的训练次数，缺省值值25； tp(2)指定训练的最大次数，缺省值指定训练的最大次数，缺省值100； tp(3)指定误差平方和指标，缺省值指定误差平方和指标，缺省值0.02； tp
34、(4)指定学习速率，缺省值可由指定学习速率，缺省值可由maxlinlr( )函数函数(此函数主要用于计算采用此函数主要用于计算采用LMS学习规则学习规则训练线性网络的最大的稳定的分辨率训练线性网络的最大的稳定的分辨率)得到。得到。 第二章第二章 人工神经网络基本模型人工神经网络基本模型 而利用函数而利用函数adaptwh( )可得到网络的输出可得到网络的输出a、误差误差e、权值矩阵权值矩阵w和阀值向量和阀值向量b。 a,e,w,b=adaptwh(w,b,p,t,lr) 输入变量输入变量lr为学习速率，学习速率为学习速率，学习速率lr 为可选为可选参数，其缺省值为参数，其缺省值为1.0 另外，
35、函数另外，函数maxlinlr( )的调用格式为：的调用格式为： lr=maxlinlr(p);第二章第二章 人工神经网络基本模型人工神经网络基本模型 (6)线性神经网络的应用举例线性神经网络的应用举例例例1:下面给出一个实际问题进行分析，设计一下面给出一个实际问题进行分析，设计一个线性神经网络，用于信号仿真及信号预测。个线性神经网络，用于信号仿真及信号预测。首先输入信号样本为：首先输入信号样本为： time=1：0.0025：5； p=sin(sin(time)*time*10)； 目标信号为：目标信号为： t=p*2+2；第二章第二章 人工神经网络基本模型人工神经网络基本模型图形显示样本信
36、号的规律为：图形显示样本信号的规律为：plot(time, p, time, t, -)title(Input and Target Signals)xlabel(Time)ylabel(Input_ Target_)第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型 利用输入样本信号和理想输出进行线性神经利用输入样本信号和理想输出进行线性神经网络初始化：网络初始化： w，b=initlin(p，t) 利用函数利用函数adaptwh对网络进行训练对网络进行训练 lr=0.01； a, e, w, b=adaptwh(w, b, p, t
37、, lr) 其中其中lr为学习率，为学习率，a为网络输出，为网络输出，e为误差。为误差。第二章第二章 人工神经网络基本模型人工神经网络基本模型 仿真结果与目标信号对比分析：仿真结果与目标信号对比分析： plot(time, a, time, t, -) title(Output and Target Signals) xlabel(Time)； ylabel(Output_ Target_)第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型 误差分析：误差分析： plot(time,e) hold on； plot(min(time)
38、max(time),0 0,:r) xlabel(Time)； ylabel(Error)第二章第二章 人工神经网络基本模型人工神经网络基本模型第二章第二章 人工神经网络基本模型人工神经网络基本模型例例2:自适应滤波自适应滤波Adaline的一个主要应用领域是自适应滤波，下的一个主要应用领域是自适应滤波，下面介绍一个自适应滤波的例子：面介绍一个自适应滤波的例子： 假设一个医生正检查一病人脑电图假设一个医生正检查一病人脑电图(EEG)，他他发现要看的信号混杂了发现要看的信号混杂了60Hz噪声源发出的噪声，噪声源发出的噪声，请设计一自适应滤波器来清除噪声信号。请设计一自适应滤波器来清除噪声信号。第
39、二章第二章 人工神经网络基本模型人工神经网络基本模型自适应滤波的一个重要构造块：自适应滤波的一个重要构造块：抽头延迟线抽头延迟线DDDy(k)p1(k)=y(k)p2(k)=y(k-1)pR(k)=y(k-R+1)第二章第二章 人工神经网络基本模型人工神经网络基本模型DDDy(k)w11w12w1Rbuv第二章第二章 人工神经网络基本模型人工神经网络基本模型感知器收敛定理感知器收敛定理 如果样本输入函数是线性可分的，那么下面的感知如果样本输入函数是线性可分的，那么下面的感知器学习算法经过有限次迭代后，可收敛到正确的权值器学习算法经过有限次迭代后，可收敛到正确的权值或权向量。或权向量。证明：证明：上述结论即是说：上述结论即是说：假设样本空间假设样本空间F是单位长度样本输是单位长度样本输入向量的集合，若存在一单位权向量入向量的集合，若存在一单位权向量W*和一较小的和一较小的正数正数，使得使得W*X对对所有样本输入所有样本输入X都成立，则以都成立，则以下过程在有限步就可收敛：下过程在有限步就可收敛： （1）k1，初始化初始化W(k) （2）对任意对任意Xi，使得使得X(k)=Xi，i=1,2,N第二章第二章 人工神经网络基本模型人工神经网络基本模型 （3）若）若W(k)X(k)0，返回（返回（2） （4）修正权值修正权值W(k+1)W(k)+X(k) k=k+1 返回（返回（2）
