课件：神经网络信号处理

《课件：神经网络信号处理》由会员分享，可在线阅读，更多相关《课件：神经网络信号处理（50页珍藏版）》请在金锄头文库上搜索。

1、第八章 神经网络信号处理,8.1 神经网络模型 8.2 多层前向网络及其学习方法 8.3 反馈网络及其能量函数 8.4 自组织神经网络 8.5 神经网络在信号处理中的应用,第八章 神经网络信号处理,前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在线性模型的前提下求最佳估计。但在实际中存在着大量的非线性模型问题，或者为题的数学模型往往很难建立或者不可能建立。人工神经网络是一种以自适应为特征的、无固定模型的非线性网络，可用于处理非线性模型为题或模型很难建立的问题。 下面仅在第一节简要介绍以生物学为基础的简化的神经元模型，而在其后章节中则是将神经网络作为信号处理的一种手段，不在追求网络的生物学意义

2、。,8.1 神经网络模型,8.1.1 生物神经元及其模型,生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、触觉）接收外界信息，在大脑中枢进行加工，然后通过执行器官向外输出。从而构成一个具有闭环控制系统特征的大规模系统。下图显示为神经系统的信息流处理。,1943年，McCulloch和Pitts提出了一种高度简化的神经元模型，简称M-P模型。,设某一个神经元具有 个输入，各输入信号的强度分别为 。神经元的输出为 。模型的激活规则可由离散时间的差分方程描述,式中， 神经元的输入、输出值为0或1。1代表神经元的兴奋状态，0代表神经元的静止状态。 表示第 个输入与神经元的连接强度。 为神经元的阀值。当

3、各输入与其连接强度的加权和 超过 时，神经元进入兴奋状态。,各种神经元模型的结构是相同的。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输。 各种神经元模型的不同之处仅在于对处理节点中的传递函数 和激活函数 的数量描述不同。下图为神经元的一般模型及其符号。,其中， ：输入矢量； ：权矢量 神经元可看成是一个多输入、单输出的非线性信号处理 系统。其输入输出关系为：,为方便起见，可将阈值 等效成一个恒定的输入，其连接权为 ，即 ，这样净输入写成：,这样，设 为扩展的输入矢量和权矢量：,常用的变换函数有以下四种：阶跃函数、线性限幅函数、S函数和随机函数。 其

4、中，阶跃函数和S函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。,阶跃函数和S函数的表达式：,阶跃函数（离散型）：,双极性,S型函数（连续型）：,可见：,8.1.2 人工神经网络模型,可以这样定义人工神经网络：它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元（包括自身）相互连接，其中连接可以是延时的，也可以是无延时的。 可见，人工神经网络是由以上许多非线性系统组成的大规模系统。 处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类：前向型和反馈型。 前向型常认为是分层结构，各神经元接收前一级的输入，并输出到下一级。各层内及层

5、间都无反馈。,输入节点为第一层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但一般称权值层为网络的层，即网络的第一层包括输入节点层，第一隐含层以及它们之间的连接权。 反馈型网络可用一个完全无向图表示：,下面是个简单的用神经网络作处理的例子：,如图所示的单层前向网络：,由M个神经元（单元）组成，接收N个输入。,第 个输入到第 个神经元的连接权表示为 ，则有 第个神经元的输出是 ，定义连接权矩阵 为：,引入一个非线性矩阵算子,其中 为神经元的变换函数，则网络的输出矢量可写成：,可见，一个前向神经网络用来将一个N维输入空间x映射到M维输出空间y，或者说，将输入模式映射成输出模式。,8.1

6、.3 神经网络的学习方式,前面的研究，主要是考察在给定神经网络（存储在网格内的模式（已知）的输入X后得到的响应y，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，这是网络学习的结果。 神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的了解，需要作“盲处理”，而神经网络的设计是通过一些例子或某些准则来训练，从方法上来说，神经网络信号处理以科学经验主义替代了传统的科学理性主义。 神经网络的学习一般依据两种规则：,一种是基于自适应LMS学习算法：即将误差函数的负梯度作为网络权值的调整量。 另一种是Hebb学习规则，它是基于心理学中的反射机理给出权值的调整量：,

7、Hebb规则的意义是：如果两个神经元同时兴奋，则它们之间的联系得以增强。,式中， 是第 个神经元的输入； 是第 个神经元的输出。,神经网络的学习从方式上分成以下三种情形：, 固定权值计算 如果已知标准的输入输出模式，可以根据Hebb规则计算出网络的权值矩阵W，对这样的神经网络，要求容纳足够多的输出模式，并且有一定的容错能力。 有导师学习 如果已知部分输入输出对样本，则用这些输入模式作为训练集，对应的输出模式作为导师信号，基于自适应LMS算法，根据网络对训练样本的响应与导师信号的差距来调整网络的权值。, 无导师学习 对于一些问题，既不知道输出模式，又没有导师的信号，则根据过去输入模式的统计特性来

8、训练网络。这种学习方式表现了自组织的特点。 无导师学习方式，可以是在线学习，如前面讨论的自适应Filter那样，也可以边学习边工作。这时要求学习速度能跟上网络处理速度。,8.2 多层前向网络及其学习算法,取神经元的变换函数为双极性阶跃函数，称这样的处理单元为线性阈值值单元，其输入输出关系为,的线性方程 称为分界函数。,8.2.1 单层前向网络的分类能力,由 个线性阈值单元并联而成的单层前向网络，是用 个线性分解函数将输入空间 分割成若干个区域，每个区域对应不同的输出模式 。,8.2.2 多层前向网络的非线性映射能力,为了将单层前向网络划分的某个区域作为一类，可以将其输出 进行逻辑“与”运算，用

9、符号 表示。,只要第一隐层的神经元足够多，则由线性阈值单元组成的三层前向网络可以对任意形状的非交的输入矢量集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性的分界函数逼近任意非线性分界函数。 线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为 函数，即为模拟状态模型。可以证明，只要隐节点能自由设置，则两层前向网络可以逼近任何连续函数 ，或者说实现任意连续型非线性映射 。,8.2.3 权值计算矢量外积算法,对离散型单层前向网络，若已确定了输入矢量 和相应的标准输出矢量 ，用基于Hebb学习准则的矢量外积法可计算出权值矩阵 ，即,若确定了 个标准输入和

10、输出矢量 ，则取 ，这样的设计的网络具有恢复和容错能力，网络在恢复阶段作内积运算。设标准输入矢量是正交的归一化矢量，即,8.2.4 有导师学习法误差修正法,用来训练网络的输入模式 称为训练序列，它们对应的正确响应 称为导师信号。根据网络的实际响应 与导师信号的误差自适应调整网络的权矢量 ，称为误差修正法，即,式中， 为迭代次数； 为修正量，与误差 有关。,1. 单个神经元的学习算法,单个神经元的学习方法依变换函数不同而异。,（1）线性单元的LMS算法 （2）离散型单元的误差修正法 （3）连续型单元的LMS算法,2. 多层前向网络的学习算法,（1）误差反向传播算法,算法中假设了输出误差作反向传递

11、，所以称为反向传播法或称BP算法。 BP算法是按均方误差 的梯度下降方向收敛的，但这个代价函数并不是二次的，而是更高次的。也就是说， 构成的连接空间不是只有一个极小点的抛物面，而是存在许多局部极小点的超曲面。 BP算法收敛速度较慢，但对某些应用而言，则希望有较快的收敛速度，也有一些加速方法。比如:,集中权值调整。 自适应调整学习常数。 权值调整量附加“惯性”项。,（2）随机学习算法,BP算法由于采用直接梯度下降，往往落入代价函数 的局部极小点。随机算法则是用于寻找全局最小点，而是以最大概率达到全局最小点。,下面讨论称为模拟退火的随机学习算法。,模拟退火学习算法有四个步骤： 产生新状态 ； 计算

12、新状态的能量函数 ； 判断是否接受新状态； 降低温度,前向网络可以用具体自组织特性的无导师学习算法训练权值，然而，将前向网络与反馈网络组合在一起进行无导师训练时，显示出了更强的自组织处理能力。,8.3 反馈网络及其能量函数,反馈网络与线性IIR网络一样存在着稳定性问题，本节先介绍动态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单层反馈网络的动态特性和网络权值设计、复合型反馈网络等问题，主要讨论Hopfield网络。 8.3.1 非线性动态系统的稳定性 在期望输出的模式设计成网络的稳定平衡态，存储在权值中，这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同期循环的状态序列，称为极限

13、环，犹如数字循环计数器的稳定循环状态。另外还有些更复杂的吸引子结构。向某个吸引子演化的所有初始状态称为这个吸引子的收敛域。,一个非线性动态系统是否存在吸引子，这些吸引子是否稳定， 这是首先要解决的问题。非线性动态系统用非线性微分方程或非线 性差分方程描述。而非线性方程的解不一定能容易求得。李雅普诺 夫稳定性理论提供了从方程本身来判断吸引子的存在和稳定的方 法。李雅普诺夫定理简述如下： 考虑非线性微分方程组： ，写成矢量 形式为 ，它的解是时间t的函数，且与 初始值有关，记 为 。当 时，有 ，称 为系统的平衡 态。所谓稳定性是考虑微分方程的解 是否趋向平衡态。 以孤立平衡点 附近的点 作为初始

14、态，若系统的运动轨迹 仍在 附近，则称平衡态 是稳定的。严格的定义为：若 对每个实数 ，存在一实数 ，使得当初始态满足 时，系统运动轨迹满足 ，则称平衡态 在李雅普 诺夫意义下是稳定的。进一步，若 ,就称 是渐近 稳定的。,系统的平衡点 是渐近稳定的一个条件是：能找到一个X的连 续函数 ，使得 称 为李雅普诺夫函数。以下几点需要注意： (1)物理上的能量函数一般可作为李雅普诺夫函数，因此，李雅普诺夫函数也称为计算能量函数。一个物理系统总是在能量最低状态下是最稳定的。稳定的非线性动态系统也总是朝能量低的方向运动。实际上，作为能量函数，E可正可负，只要有下界且 即可。 (2)对给定的动态系统，其李

15、雅谱诺夫函数不是唯一的。可以找到许多不同的李雅谱诺夫函数。 (3)若找不到系统的李雅谱诺夫函数，并不说明系统不稳定。 (4)还没有统一的找李雅谱诺夫函数的办法，一般是根据系统的物理意义或类似能量的概念写出李雅谱诺夫函数。,(5)对于离散时间非线性动态系统，用非线性差分方程描述，也有计算能量函数的定理：只要找到一个有下界函数 ,其增量 是非正的，即 则该函数就是计算能量函数，且说明该离散动态系统也朝着减小能 量的方向运动，最后趋于稳定平衡点，即有 。 8.3.2 离散型Hopfield单层反馈网络 离散型Hopfield单层反馈网络的结构如图8.29所示，由n个神经 元组成， 为输入， 为输出， 为阀值， 。时延表现在 图中变换函数的状态转换的时序。这种网络是离散时间、离散型变 换函数网络。,1.网络的差分方程描述 设第i个单元的净输入为 ，有 式中，k为时间变量，变换涵数取双极性阶跃函数，即 网络状态的转变有两种方式：异步方式和同步