神经网络教学课件

《神经网络教学课件》由会员分享，可在线阅读，更多相关《神经网络教学课件（148页珍藏版）》请在金锄头文库上搜索。

1、15:56,1,第五章 神经网络,神经网络概述单层前向网络及LMS学习算法多层前向网络及BP学习算法反馈网络（Hopfield网络）神经网络控制基于MATLAB的神经网络实现,15:56,2,5.1 神经网络概述 定义 特征和功能 发展概况 人工神经网络模型 神经网络的分类和学习规则 神经网络应用,15:56,3,一、神经网络定义,人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。,人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。,神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态

2、对外部输入信息的动态响应来处理信息的。,15:56,4,二、神经网络特征和功能 1、特征 结构特征：并行、分布、容错 能力特征：自学习、自组织、自适应 2、功能,15:56,5,联想记忆功能,15:56,6,非线性映射功能,15:56,7,分类与识别功能,15:56,8,优化计算功能,15:56,9,知识处理功能,15:56,10,三、神经网络发展历史 1943-1969年初创期：形式神经元模型(简称MP模型)的问世 (由McCulloch和Pitts提出)；神经元学习规则的提出(由心理学 家Hebb提出)；以及感知器模型和联想记忆模型的建立。 1970-1986年过渡期：一度陷入低潮。但是这

3、项研究并未中 断。其中芬兰的Kohonen提出了线性神经网络模型和自组织 映射理论；福岛提出了自组织识别神经网络模型；美国的 Grossberg也提出了几个非线性动力系统结构。影响力较大的属Rumelhart提出的误差反向传播神经网络(error back propagation)，简称BP网络 1987年至今发展期。在该阶段，国内外的许多组织及研究机构发起了对神经网络的广泛探讨，并举行了有代表意义的学术会议。这些都意味着神经网络的研究已在世界范围形成了又一个高潮。,11,人类大脑大约包含有1.41011个神经元，每个神经元与大约103105个其它神经元相连接，构成一个极为庞大而复杂的网络，即

4、生物神经网络。,四、人工神经网络 1、生物神经元,神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。,15:56,12,（1）、生物神经元的结构,生物神经元在结构上由细胞体(Cell body)树突(Dendrite)轴突(Axon)突触(Synapse)四部分组成。用来完成神经元间信息的接收、传递和处理。,15:56,13,15:56,14,15:56,15,（2）、生物神经元的信息处理机理,1）、信息的产生,神经元间信息的产生、传递和处理是一种电化学活动。,神经元状态： 静息 兴奋 抑制,膜电位： 极 化 去极化 超极化,15:5

5、6,16,15:56,17,2）、信息的传递和接收,15:56,18,3）、信息的整合,空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。,时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。,15:56,19,2 、生物神经网络,由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。,生物神经网络的功能不是单个神经元信息处理功能的简单叠加。,神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。,15:56,20,3、人工神经元模型,神经元及其突触是神经网

6、络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的观点出发常把它称为“节点”。人工神经元是对生物神经元的一种形式化描述。,15:56,21,神经元模型示意图,15:56,22,j 神经元j的阈值；wij 神经元i到 j 的突触连接系数或称权重值；f ()神经元转移函数。,15:56,23,(1)阈值型转移函数,15:56,24,(2)非线性转移函数,15:56,25,(3)分段线性转移函数,15:56,26,4、人工神经网络,15:56,27,五、神经网络分类及学习方法,1、神经网络分类不同角度分类 1）从网络性能角度：连续型和

7、离散型，确定性和随机网络 2）从网络结构角度：前向网络和反馈网络 3）从学习方式角度：有导师学习和无导师学习网络 4）从连接突触性质：一阶线性关联网络和高阶非线性网络,15:56,28,从网络结构和学习算法相结合，分成几类： （1）单层前向网络：拥有的计算节点（神经元）是单层的。 （2）多层前向网络：具有分层的结构，通常包括输入层、隐层（也称中间层）和输出层。每一层的神经元只接受上一层神经元的输入，并且该层神经元的输出送给下一层的各个神经元 。 （3）反馈网络：网络中至少含有一个反馈回路的网络。在反馈网络中，任意一个节点既可接收来自前一层各节点的输入，同时也可接收来自后面任一节点的反馈输入。

8、Hopfield神经网络是反馈型网络的代表 （4）随机神经网络：神经元按照概率的原理进行工作，每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入，Boltzmann机就是典型的随机网络。 （5）竞争网络：输出神经元相互竞争以确定胜者，胜者指出哪一种原型模式最能代表输入模式，Hamming网络。,15:56,29,2、神经网络学习方法 可分为有导师学习和无导师学习 （1）有导师学习（监督学习）。学习时需要给出导师信号或称期望输出。神经网络对外部环境是未知的，将导师看作对外部环境的了解，由输入-输出样本集合表示。导师信号代表了神经网络执行情况的最佳结果，使网络输出逼近导师信号。 （2）无导

9、师学习，包括强化学习和无监督学习（自组织学习）。在强化学习中，对输入输出映射的学习是通过和外界环境的连续作用最小化性能的标量索引而完成的。在无监督学习中没有外部导师或评价来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的参数最优化。,15:56,30,5种基本的神经网络学习规则 （1）Hebb学习：为纪念神经心理学家Hebb而命名。用于调整神经网络的突触权值，概括为： 1）如果一个突触连接两边的两个神经元被同时（同步）激活，则该突触的能量就被选择性的增加 2）如果一个突触连接两边的两个神经元被异步激活，则该突触的能量就被选择性的消弱或消除。 （2）纠错学习：实际

10、输出和期望输出之间存在误差，通过调整突触权值，使误差信号减少，设定代价函数为1/2平方和形式，通过反复调整权值是代价函数达到最小或系统达到一个稳定状态。,15:56,31,（3）基于记忆的学习：主要用于模式分类，将过去的学习结果存储在一个大的存储器中，当输入一个新的测试向量是，学习过程就是将测试向量归到已存储的某个类中。 （4）随机学习算法：又称Boltzmann学习规则，该方法由统计力学思想而来，在Boltzmann学习规则基础上设计出的神经网络称为Boltzmann机，其学习算法就是著名的模拟退火算法。 （5）竞争学习：神经网络的输出神经元之间相互竞争，在任一时间只能有一个输出神经元是活性

11、的。,15:56,32,六、神经网络应用 1、宇宙飞船。高性能飞行器自动驾驶 2、汽车行业。自动驾驶系统 3、国防领域。武器操控、目标跟踪、物体识别、雷达信号处理 4、电子领域。集成电路芯片设计、过程控制、机器视觉 5、医药领域。 6、制造领域 等等,15:56,33,5.2 单层前向网络及LMS算法,一、单层感知器,15:56,34,15:56,35,二、单层感知器的学习算法单层感知器对权值向量的学习算法是基于迭代思想，常采用纠错学习规则的学习算法。,15:56,36,15:56,37,15:56,38,三、LMS学习算法,15:56,39,15:56,40,15:56,41,15:56,4

12、2,5.3 多层前向网络及BP算法,由输入层、隐含层（一层或多层）和输出层构成的网络称为多层前向神经网络。两种常见的多层前向网络：多层感知器和径向基函数神经网络。,一、多层感知器,15:56,43,和单层感知器相比，4个明显特点,15:56,44,二、BP算法 BP网络学习过程分成两部分： （1）工作信号正向传播：输入信号从输入层经隐层，传向输出层，在输出端产生输出信号，这是信号的正向传播。在信号向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。 （2）误差信号反向传播：网络的实际输出与期望输出之间差值即为

13、误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更接近期望输出。,15:56,45,15:56,46,15:56,47,15:56,48,15:56,49,15:56,50,15:56,51,15:56,52,15:56,53,15:56,54,15:56,55,15:56,56,BP学习算法步骤,第1步、设置变量和参量,15:56,57,15:56,58,第2步 第3步 第4步第5步,15:56,59,第6步,15:56,60,第7步第8步 判断是否学完所有的训练样本，是则结束，否则

14、转至第3步,15:56,61,5.3 前向神经网络,3、BP算法的改进 （1）变步长算法在BP算法中步长 （学习率）是不变的，可是从BP网络的误差曲面看出，有平坦区存在，如果在平坦区上 太小使得迭代次数增加，而当W落在误差剧烈变化的地方，步长太大又使误差增加，反而使迭代次数增加影响了学习收敛的速度，变步长方法可以使步长得到合理的调节,15:56,62,5.3 前向神经网络,15:56,63,5.3 前向神经网络,（2）加动量项,15:56,64,5.3 前向神经网络,4、LevenbergMarquart算法,15:56,65,上次课内容：,15:56,66,5.3 前向神经网络,5BP网络的

15、设计参数 （1）输入与输出层的设计输入的神经元可以根据需要求解得问题和数据表示的方式来而定，输出层维数可根据使用者的要求来确定 。 （2）隐含层层数及隐单元数目的选择 1989年Robert Hecht-Nielson证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层BP网络可以完成任意的n维到m维的映射。对于隐单元个数的选择是一个十分复杂的问题，往往根据设计经验和和对于具体问题而言不断的测试来确定。,15:56,67,5.3 前向神经网络,（3）初始权值的选取初始值对于学习是否达到局部最小和是否能收敛的关系很大。一个重要的要求就是希望初始权值在输入累加时使每

16、个神经元的状态接近于零，这样可以保证每个神经元都在他们的转移函数的最大区域进行变换，而不会落在那些变化很小的区域。 （4）数据的预处理在很多实际问题的应用中，对于多维数的输入样本，往往问题样本本身属于不同的量纲，其取值量级也会相差较大，因此有必要将输入的数值转换到01之间，即进行归一化处理，这样有利于避免由量纲上的级别差异影响网络的识别精度。,15:56,68,5.3 前向神经网络,6、BP网络的泛化能力“过适配”：对训练集样本误差很小，对训练集样本以外的新样本数据误差很大。网络记忆了训练过的样本，但缺乏对新样本的泛化能力。泛化(generalization)能力是指经训练后的网络对未在训练集出现的(来自同一分布的)样本做出正确反应的能力。学习不是单纯的记忆过的输入，而是通过训练样本学习到隐含在样本中的有关环境本身的内在规律性，从而对未出现的输入也能给出正确的反映。,15:56,69,5.3 前向神经网络,提高泛化能力的措施： 1）调整网络规模，使之刚好足以“适配”； 2）归一化。（1）修正网络误差性能函数，使网络获得较小的权值和阈值，从而迫使网络的响应变得平滑，从而减小“过适配”。（2）自动归一化，以自动的方式决定归一化最佳误差性能调整率。 3）提前终止法。,