神经网络控制案例宣教

《神经网络控制案例宣教》由会员分享，可在线阅读，更多相关《神经网络控制案例宣教（61页珍藏版）》请在金锄头文库上搜索。

1、神经网络神经网络控制案例控制案例医疗课件医疗课件21、生物神经元模型、生物神经元模型 人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。一、人工神经网络基础知识一、人工神经网络基础知识（一（一）概述）概述34神经元主要由三部分组成：神经元主要由三部分组成：树突、细胞体和轴突树突、细胞体和轴突。树突：神经元的输入，树突：神经元

2、的输入，将电信号传送到细胞体。将电信号传送到细胞体。细胞体：对这些输入信细胞体：对这些输入信号进行整合并进行阈值号进行整合并进行阈值处理。处理。轴突：神经元的输出，轴突：神经元的输出，将细胞体信号导向其他将细胞体信号导向其他神经元。神经元。突触：一个神经细胞的突触：一个神经细胞的轴突和另一个神经细胞轴突和另一个神经细胞树突的结合点。树突的结合点。5从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导 突触延时和不应期 学习、遗忘和疲劳 67892、人工神经元模型、人工神经元模型人工神经元是对生物神经

3、元的一种模拟与简化。它是神经网络的基本处理单元。如图所示为一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。10i11其输入、输出关系可描述为其中，是从其他神经元传来的输入信号；表示从神经元j到神经元i的连接权值；为阈值；称为激发函数或作用函数。12 输出激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发函数。阈值型函数（见图（a），（b）饱和型函数（见图（c）双曲函数（见图（d）S型函数（见（e）高斯函数（见图（f）13143、人工神经网络模型、人工神经网络模型人工神经网络

4、是以工程技术手段来模拟人脑神经模拟人脑神经元网络的结构与特征元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。15（1）前馈型神经网络）前馈型神经网络前馈型神经网络前馈型神经网络，又称前向网络前向网络（Feedforward NN）。如图所示，神经元分层排列，有输入层输入层、隐层隐层（亦称中间层，可有若干层）和输出层输出层，每一层的神经元只接受前一每一层的神经元只接受前一层神经元的输入层神经元的输入。从学习的观点来看，前馈网

5、络是一种强有力的学习系统，其结构简单而易于编程；从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。1617（2）反馈型神经网络）反馈型神经网络 反馈型神经网络反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达

6、到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆（Content一Addressible Memory，CAM）的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以用来解决快速寻优问题。18194、神经网络的学习方法、神经网络的学习方法 学习方法是体现人工神经网络智能特性的主要标志，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。目前神经网络的学习方法有多种，按有无导师来分类，可分为有教师学习有教师学习（Supervised Learning）、无教师学习无教师学习（Unsupervised Learning）和再

7、励学习再励学习（Reinforcement Learning）等几大类。在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。20 再励学习再励学习是介于上述两者之间的一种学习方式。再励学习没有教师信号，只能获得行为结果的好坏评价信息，利用评价信息来改善行为。这是模仿生物通过“行为评价改进行为评价改进”的方式适应环境。21神经网络中常用的几种最基本的学习方法（1）Hebb学习规则学习规则 两个神经元同时处

8、于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。22（2）Delta（）学习规则）学习规则规则实现了误差准则函数E中的梯度下降，使误差函数达到最小值。其基本思想是沿着沿着E的的负梯度方向不断修正权值，直到负梯度方向不断修正权值，直到E达到最小达到最小。学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在规则基础上发展起来的，可在多网络上有效地学习。23（3）概率式学习）概率式学习从统计力学、分子热力学和概率

9、论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越小，较容易跳出能量的局部极小点而到全局的极小点；T越小时，情形正相反。概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法。24（4）竞争式学习）竞争式学习 竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引

10、入竟争机制的学习方式称为竟争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。25从上述几种学习规则可以看出，从上述几种学习规则可以看出，所谓神经网络的所谓神经网络的学习，主要是指通过一定的学习算法实现权值的学习，主要是指通过一定的学习算法实现权值的调整，使其达到具有记忆、识别、分类、信息处调整，使其达到具有记忆、识别、分类、信息处理和问题优化求解等功能理和问题优化求解等功能。26（二）前向神经网络（二）前向神经网络1、感知器网络、感知器网络感知器（perceptron）是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。它主要用于模式分类

11、，单层的感知器网络结构如下图所示。271n2nnnn28取其中的一个神经元来讨论：29感知器的一种学习算法：感知器的一种学习算法：30312、BP网络网络误差反向传播神经网络误差反向传播神经网络，简称BP网络（Back Propagation），是一种单向传播的多层前向网络。在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。如图是BP网络的示意图。3233误差反向传播的误差反向传播的BP算法简称算法简称BP算法算法，其基本思想是最小二乘算法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。BP算法的学习过程由正向传播和反

12、向传播组成由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回将误差信号沿原来的连接通路返回，通过通过修改各层神经元的权值，使误差信号最小修改各层神经元的权值，使误差信号最小。34BP学习算法的计算步骤：学习算法的计算步骤：1)初始化。置所有权值为较小的随机数；2)提供训练集。给定输入向量和期望的目标输出向量；3)计算实际输出。计算隐含层、输出层各神经元输出；4)计算目标值与实际输出的偏差Ep；5)计算 6)计算 7)返回“2）

13、”重复计算，直到误差满足要求为止。3536在使用在使用BP算法时，应注意的几个问题：算法时，应注意的几个问题：1)学习开始时，各隐含层连接权系数的初值应以设置较小的随机数较为适宜。2)采用S型激发函数时，由于输出层各神经元的输出只能趋于1或0，不能达到1或0。在设置各训练样本时，期望的输出分量dpk不能设置为1或0，以设置为0.9或0.1较为适宜。3)学习速率的选择，在学习开始阶段，选较大的值可以加快学习速度。学习接近优化区时，值必须相当小，否则权系数将产生振荡而不收敛。37多层前向多层前向BP网络的优点网络的优点：1)网络实质上实现了一个从输入到输出的映射功能，数学理论已证明它具有实现任何复

14、杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；2)网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；383、神经网络的训练、神经网络的训练 在实际应用中尚未找到较好的网络构造方法，确定网络的结构和权值参数，来描述给定的映射或逼近一个未知的映射，只能通过学习来得到满足要求的网络模型。39神经网络训练的具体步骤神经网络训练的具体步骤:(1)(1)获取训练样本集获取训练样本集 获取训练样本集是训练神经网络的第一步，也是十分重要和关键的一步。它包括训练数据的收集、分析、选择和预处理等。(2)(2)选择网络类型与结构选择网络类型与结构 神经网络的类型很多，需要

15、根据任务的性质和要求来选择合适的网络类型。(3)(3)训练与测试训练与测试 利用获取的训练样本对网络进行反复训练，直至得到合适的映射结果。40(三）反馈神经网络三）反馈神经网络反馈网络反馈网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点主要特性为以下两点：第一、第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二、第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网

16、络中。411 1、离散、离散HopfieldHopfield网络网络（1）网络的结构和工作方式）网络的结构和工作方式离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈，每个节点都附有一个阀值。每个节点都可处于一种可能的状态（1或1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如1）。4243整个网络有两种工作方式整个网络有两种工作方式：即异步方式和同步方式。1)异步方式异步方式 每次只有一个神经元节点进行状态的调整计算，其他节点的状态均保持 不变。其调整次序可以随机选定，也可按规定次序进行。2)同步方式同步方式 所有神经元节点同时调整状态。44452、连续、连续Hopfield网络网络连续Hopfield 网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统，它可以用一组非线性微分方程来描述。当给定初始状态，通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系统是稳定的，则它最终可收敛到一个稳定状态。46二、神经网络控制的结构二、神经网络控制的结构1、神