小波神经网络简介讲解学习

《小波神经网络简介讲解学习》由会员分享，可在线阅读，更多相关《小波神经网络简介讲解学习（32页珍藏版）》请在金锄头文库上搜索。

1、小波神经网络简介(jin ji)第一页，共32页。什么(shn me)是小波神经网络？小波神经网络（Wavelet Neural Network, WNN）Zhang Qinghua等1992年正式提出小波神经网络的概念小波变换(binhun)：一种数学分析的工具小波变换(binhun)+人工神经网络=小波神经网络第二页，共32页。小波网络(wnglu)的结构形式(1)小波变换与神经网络的结合(2)小波变换与神经网络的结合，也称松散型结合(3)应用举例:基于小波分析的多RBF神经网络轧制力设定模型(4)由于轧制力信号影响(yngxing)因素多，关联复杂，难以建立精确(5)的机理模型，所以应用

2、小波多分辨率方法，将原信号(6)分解重构成不同影响(yngxing)因素的子信号。第三页，共32页。(2)小波变换(binhun)与神经网络的融合(3)小波变换(binhun)与神经网络的融合，也称紧致型结合第四页，共32页。小波的发展(fzhn)过程小波变换的发展(fzhn)的历史过程Fourier变换 Gobor变换(加窗Fourier变换)小波变换第五页，共32页。小波变换的时间窗和频率窗小波变换的时间窗和频率窗 给出了信号在时间窗给出了信号在时间窗 内的局部信息内的局部信息 给出了信号在频率窗给出了信号在频率窗内的局部信息内的局部信息时频窗的面积始终不变，时频窗的面积始终不变， 对于检

3、测对于检测 高频信号时高频信号时a自适应变为自适应变为(a0，a较小的时候较小的时候)使时间窗变窄，对于检测使时间窗变窄，对于检测低频信号时使时间窗变宽即可，这样低频信号时使时间窗变宽即可，这样(zhyng)可以更有效可以更有效的获取的获取局部信息局部信息第六页，共32页。小波的数学(shxu)概念小波母函数 (t)：必须满足容许条件：连续小波：由小波母函数平移和伸缩变换(binhun)得来的函数其中a是尺度参数，b是平移参数小波变换(binhun)：对于 ，称为信号f(t)的连续小波变换(binhun)第七页，共32页。母小波(t)选择应满足的两个条件(1)定义域是紧支撑的(Compact

4、Support)即在一个很小的区间以外，函数为零，换句话说，函数由速降特性，以便获得(hud)空间局域化；(2)平均值为零，也就是第八页，共32页。Haar小波Mexican HatMeyer小波Sym6 小波db6小波常用(chn yn)的小波函数第九页，共32页。离散小波、二进小波和多尺度(chd)分析离散(lsn)小波：对定义的小波函数的尺度参数a，平移参数b，按如下规律进行离散(lsn)采样二进小波：即取a为离散(lsn)值，a为2的j次方，j Z；b任然取连续的值第十页，共32页。多分辨率分析：多分辨率分析多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)

5、又称多又称多尺度分析，其在小波分析中占有非常重要的地位，它是建立在函数尺度分析，其在小波分析中占有非常重要的地位，它是建立在函数空间概念上的理论空间概念上的理论,它重点它重点(zhngdin)在于处理整个函数集，而非在于处理整个函数集，而非侧重处理作为个体的函数。多分辨率分析从函数空间的角度将一个侧重处理作为个体的函数。多分辨率分析从函数空间的角度将一个函数表示为一个低频成分和不同分辨率下的多个高频成分。更为重函数表示为一个低频成分和不同分辨率下的多个高频成分。更为重要的是，多分辨率分析不仅提供了构造小波的统一框架，而且提供要的是，多分辨率分析不仅提供了构造小波的统一框架，而且提供了函数分解与

6、重构的快速算法了函数分解与重构的快速算法第十一页，共32页。执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际上是一种(y zhn)信号的分解方法，在数字信号处理过程中称为双通道子带编码算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分继续分解，迭代上述过程。形成的树叫小波分解树。第十二页，共32页。小波网络的具体分类(1) 用小波函数(hnsh)直接代替隐层函数(hnsh)根据所选取的小波基函数(hnsh)的连续性的不同，可以将该模型分为连续参数的小波神经网络和基于小波框架的小波神经网络两种： 连续参数的

7、小波神经网络 基于小波框架的小波神经网络 第十三页，共32页。基于小波框架的小波神经网络的学习方法基于小波框架的小波神经网络的学习方法在传统的神经网络中，存在隐层单元数目难以确定的在传统的神经网络中，存在隐层单元数目难以确定的不足，而小波神经网络的隐层单元数目则可以不足，而小波神经网络的隐层单元数目则可以按如下方法自适应地确定：按如下方法自适应地确定： 首先取小波神经网络的隐层单元数目首先取小波神经网络的隐层单元数目M为为1，学习迭，学习迭代若干次后，如满足误差条件，则停止迭带，若达到代若干次后，如满足误差条件，则停止迭带，若达到最大学习次数后，仍不满足误差条件，则小波变换单最大学习次数后，仍

8、不满足误差条件，则小波变换单元数目增加元数目增加1，重复上述过程，直到满足误差条件为，重复上述过程，直到满足误差条件为止。这样就可以根据具体的问题自适应地确定小波变止。这样就可以根据具体的问题自适应地确定小波变化化(binhu)单元个数，从而克服传统神经网络的不单元个数，从而克服传统神经网络的不足。足。第十四页，共32页。基于多分辨率分析理论的小波神经网络基于多分辨率分析理论的小波神经网络(wnglu)基于多分辨率分析小波神经网络基于多分辨率分析小波神经网络(wnglu)的学习的学习算法是由算法是由Moody 于于1989年提出的年提出的, 该算法给出了网络该算法给出了网络(wnglu)输出在

9、不同尺度上逼近的递推方法输出在不同尺度上逼近的递推方法, 具体描述为具体描述为:网络网络(wnglu)模型：模型：第十五页，共32页。基于多分辨率分析小波神经网络的学习方法基于多分辨率分析小波神经网络的学习方法先选取合适的尺度函数先选取合适的尺度函数(hnsh)和小波函数和小波函数(hnsh), 同时在同时在最粗的尺度最粗的尺度M 上训练上训练 节点节点, 直到网络达到收敛直到网络达到收敛; 要使网络要使网络达到收敛达到收敛, 则要确定逼近误差和增加适当个数的则要确定逼近误差和增加适当个数的 节点以减节点以减小逼近误差小逼近误差; 最后是优化网络最后是优化网络, 使用新的样本来检验网络并移使用

10、新的样本来检验网络并移去权重小的去权重小的 节点直到满足性能指标。节点直到满足性能指标。第十六页，共32页。小波神经网络的优点(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息(2)神经网络具有(jyu)自学习、自适应和容错性等特点，并且是一类通用函数逼近器。(3)小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性(4)小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快第十七页，共32页。小波神经网络的缺点(1)在多维输入情况下，随着(su zhe)网络的输入维数增加，网络所训练的

11、样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。(2)隐含层结点数难以确定。(3)小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。(4)未能根据实际情况来自适应选取合适的小波基函数第十八页，共32页。神经网络的学习(xux)方法待确定参数连接权值尺度(chd)系统平移系数小波神经网络参数调整算法 标准BP算法BP算法的改正算法第十九页，共32页。BP网络算法的改进网络算法的改进: 函数采用了有动量的梯度函数采用了有动量的梯度(t d)下降法，下降法，提高了学习速度并增加了算法的可靠性。提高了学习速度并增加了算法的可靠性。梯度梯度(

12、t d)下降法在修正权值时，只是按照下降法在修正权值时，只是按照k时刻的负梯度时刻的负梯度(t d)方向修正，并没有考虑到以前积累的经验，即以前时刻的梯方向修正，并没有考虑到以前积累的经验，即以前时刻的梯度度(t d)方向，从而常常使学习过程发生振荡，收敛缓慢。为方向，从而常常使学习过程发生振荡，收敛缓慢。为此，有人提出了如下的改进算法：此，有人提出了如下的改进算法：其中，其中，D(k)表示表示k时刻的负梯度时刻的负梯度(t d)，D(k-1)表示表示k-1时刻的负时刻的负梯度梯度(t d)，为学习率，为学习率，是动量因子，范围是是动量因子，范围是0,1。当。当=0时，权值修正只与当前负梯度时

13、，权值修正只与当前负梯度(t d)有关系，当有关系，当=1时，权值修时，权值修正就完全取决于上一次循环的负梯度正就完全取决于上一次循环的负梯度(t d)了。这种方法所加了。这种方法所加入的动量项实质上相当于阻尼项，它减少了学习过程的振荡趋入的动量项实质上相当于阻尼项，它减少了学习过程的振荡趋势，从而改善了收敛性。势，从而改善了收敛性。动量因子可以通过动量因子可以通过net.trainParam.mc设定，若不设定，缺省设定，若不设定，缺省值为值为0.9。第二十页，共32页。设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有 m(m=1,2,M) 个神经元，隐含层

14、有 k(k=1,2,K)个神经元，输出层有 n(n=1,2,N) 个神经元。隐含层选取的神经元激励函数为Morlet小波训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习(xux)路径，避免陷入局部极小值，加速学习(xux)速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性 第二十一页，共32页。给定 p(p=1,2,P) 组输入输出样本，学习率为 (0) ，动

15、量因子为(0 1 )目标误差函数 式中 为输出层第n个结点(ji din)的期望输出； 为网络实际输出 算法的目标不断调整网络的各项参数，使得误差函数达到最小值 第二十二页，共32页。隐含层输出 为输入(shr)层的输入(shr) 为隐含层的输出 为输入(shr)层结点m 为与隐含层结点k 为之间的权值；h() 为Morlet小波函数。第二十三页，共32页。输出层输出为 为输出层的输入(shr) 为隐含层结点 与输出层结点 之间的权值第二十四页，共32页。隐含(yn hn)层与输出层之间的权值调整式 分别表示调整前与调整后的隐含(yn hn)层结点k 与输出层结点n 之间的连接权值； 为动量项

16、。第二十五页，共32页。输入(shr)层结点与隐含层结点之间的权值调整式 分别为调整前与调整后的输入(shr)层结点 m 与隐含层结点 k 之间的权值 为动量项第二十六页，共32页。伸缩(shn su)因子调整式 为调整前与调整后的伸缩(shn su)因子； 为伸缩(shn su)因子动量项。第二十七页，共32页。平移因子调整(tiozhng)式 为调整(tiozhng)前与调整(tiozhng)后的平移因子； 为平移因子动量项。第二十八页，共32页。学习算法的具体实现步骤1）网络参数的初始化将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量因子赋予(fy)初始值，并置输入样本计数器 p

17、=1 2）输入学习样本及相应的期望输出3）计算隐含层及输出层的输出4）计算误差和梯度向量。5）输入下一个样本，即 p=p+1 6）判断算法是否结束。当 E0)，停止网络的学习，否则将计数器重置为1，并转步骤2）循环第二十九页，共32页。小波神经网络的MATLAB函数(hnsh)静态非线性回归小波神经网络的创建 指令格式THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels)参数说明输出参数 THETA 小波回归模型的估计参数。输入参数y 是一个列向量，x 对于单输入为一个列向量；对于多输入，x=x1 x2 . xm，每个xi都是一个列向量。 nbwavelon：构建小波网络的小波数量max_epoch：最大训练次数；initmode为初始化模式min_nbw：最小输入模式数min_nbw和levels为可选项第三十页，共32页。小波神经网络的仿真wavenet( )，可以很方便地得到(d do)网络的仿真结果。指令格式：g = wavenet(x, THETA)第三十一页，共32页。谢谢(xi xie)观赏第三十二页，共32页。