《智能控制理论与方法第四章 基于神经元网络的智能控制系统教学文稿》由会员分享，可在线阅读，更多相关《智能控制理论与方法第四章 基于神经元网络的智能控制系统教学文稿（88页珍藏版）》请在金锄头文库上搜索。
1、智能控制理论与方法,刘成林,第4章 基于神经元网络的智能控制系统,3,4.1 概述 (1),大脑区域间的神经连接,4,6,概述 (3),神经元是构成神经网络的最基本单元（构件），神经元的六个基本特征： 1）神经元及其连接； 2）神经元之间的连接强度决定信号传递的强弱； 3）神经元之间的连接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”,7,概述 (4),神经网络特性： 非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状
2、态。这种行为在数学上表现为一种非线性。 非局域性： 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要神经元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局域性。,8,非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态
3、，这将导致系统演化的多样性。,9,概述 (5),发展史 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。标志神经计算时代的开始 输出表达式 MP模型的意义： M-P模型能完成一定的逻辑运算 第一个采用集体并行计算结构来描述人工神经元和网络工作。,10,1949年Donala U.Hebb（心理学家）论著The Organization of Behavior（行为自组织），提出突触联系强度可变的假设，认为学习的过程
4、最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。赫布规则 多用于自组织网络的学习，即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。 赫布规则意义（提出了变化的概念） 提出了一个神经网络里信息是储藏在突触连接权中 连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 细胞的互相连接的结构是他们权的改变创造出来的,11,1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron) ，采用 规则学习。 意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调
5、整权的学习达到正确分类的结果。掀起了神经网络研究高潮。,12,1969，M. Minsky和S.Papert发表了Perceptrons的论著，指出感知器仅能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。神经网络研究一度达到低潮。原因还有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。,13,1982年John J. Hopfield（物理学家）提出了全连接网络，离散的神经网络模型。全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的连
6、接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。3年后AT&T等做出了半导体芯片。神经网络复兴时期开始,14,1986年美国的一个平行计算研究小组提出了前项反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。,15,1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提出了神经网络集成(neural network ensemble)方法。他们证明：可以简单地通过训练多个神经网络并将其结果进行拟合
7、，显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。,16,概述（6）,基于神经元网络的智能控制系统又称为基于连接机制的智能控制系统。 随着人工神经网络（ANN）研究的发展。神经网络越来越多地应用于控制领域的各个方面：过程控制、机器人控制、生产制造、模式识别、决策支持等。 由于ANN自身的特点，它在系统辨识、建模、自适应控制中特别受到关注。尤其它较好地解决了具有不确定性、严重非线性、时滞或滞后复杂系统的建模与控制问题。 神经网络的分析与综合、 ANN的拓扑结构问题、以及ANN与基
8、于规则的系统的有机结合，还有待于进一步研究。,17,再认识与应用研究(1991) 问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题 研究： 1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 2）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,概述 (7),18,4.2 神经元网络的基本原理和结构,4.2.1 神经元网络的基本单元,图4.1 生物神经元,19,细胞体：由细胞核、细胞质和细胞膜组成。 轴突：由细胞体向外伸出的一条分支，称为轴突，即神经纤
9、维。轴突相当于细胞的传输电缆，其端部的许多神经末梢为信号的输出端，用以送出神经激励。 树突：由细胞体向外伸出的其它许多较短的分支，称为树突。它相当于神经细胞的输入端，用于接收来自其它神经细胞的输入激励。 突触：细胞与细胞之间通过轴突与树突相互连接，其接口称为突触。每个细胞约有103-104个突触。 膜电位：细胞膜内外之间有电势差，约为70-100mV，膜内为负，膜外为正。,20,4.2.2 神经元的模型,f(x)为激励函数，通常取1和0的双值函数或连续、非线性 的Sigmoid函数。,21,神经元的工作过程： xi(i=1,2,n)是输入，wi为该神经元与各输入间的连接权值，为阈值，s外部输入
10、的控制信号，y为输出 (1)从各输入端接收输入信号xi 。 (2)根据各连接权值wi ,求出所有输入的加权和： ni=1wi xi s (3)利用某一特征函数f进行变换，得到输出y： y= f()f(ni=1wi xi s ),22,连接权wij通常在-1,1之间取值： wij 0，称为正连接，表示神经元uj对ui有激活作用 wij 0，称为负连接，表示神经元uj对ui有抑制作用 神经网络的各种学习算法的不同特点反映在调整权值的原则、方法、步骤和迭代过程的参数选择上。,23,激活函数f(x) 执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f(net),a、线性函数（L
11、iner Function）,24,b、非线性斜面函数（Ramp Function）,0为一常数，称为饱和值，为该神经元的最大输出。,25,非线性斜面函数（Ramp Function）,26,c、阈值函数（Threshold Function）,27,阈值函数（Threshold Function）,28,d、S形函数,压缩函数（Squashing Function）和逻辑函数（Logistic Function）。 f(net)=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f(net)= 1/(1+exp(-d*net) 函数的饱和值为0
12、和1。 S形函数有较好的增益控制,29,S形函数,30,神经元的一般模型框架（控制论角度）,图4.3,31,式中 aij 和bik 为权系数，i,j =1,2,n, k= 1,2,m. n 个加法器可以写成向量形式：, N维列向量, N维列向量（单元输出）,NN维矩阵,NM维矩阵, M维列向量（外部输入）, M维常向量,32, 线性动态系统,典型的有：,33,静态非线性系统: g(.)可从线性动态系统输出x给出模型的输出.,g(x),g(x),g(x),x,x,x,阈值函数,阈值函数,Sigmoid函数,典型的有：,yi=g(xi),34,非线性函数分类： （1）可微和不可微：区别平滑函数还是
13、陡函数； （2）类脉冲和类阶跃：区分当输入在零附近的数是大的输出值还是有大的改变； （3）正函数和零均函数：正函数由-处为0变到在+处为1；零均函数从-为-1变到+为+1。,35,4.2.3 神经元的连接方式,对于神经元，按多种不同方式连接之后，可以在变量之间建立不同关系，给出多种强大的信息处理能力。 （1）图4.3中，线性动态系统为：H(s)=1，则,36,（2）多层前馈网络,37,多层前馈网络-层次划分 信号只被允许从较低层流向较高层（从左至右）。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：记为第0层。该层负责接收来自网络外部的信息 第j层：第j-1层的直接后
14、继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。,38,（3）反馈网络（又称循环网）,Hopfield网络,39,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络
15、是不稳定的。,40,4.2.4 神经网络训练与学习,人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程,41,无监督学习 无监督学习(Unsupervised Learning)与无监督训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 监督学习 监督学习(Supervised Learning)与有监督训练(Superv
16、ised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。,42,4.2.5 神经元网络分类,按学习的方法神经元网络可分成二类： 1）监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络 2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzmann机,43,4.3监督学习神经元网络,4.3.1 单层感知器 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。,44,单层感知器,单层感知器模型,45,单层感知器,单层感知器工作原理 单层感知器可将外部输入分为两类。当感知器的输出
