现代控制工程-第13章神经网络控制ppt课件

《现代控制工程-第13章神经网络控制ppt课件》由会员分享，可在线阅读，更多相关《现代控制工程-第13章神经网络控制ppt课件（68页珍藏版）》请在金锄头文库上搜索。

1、第13章 神经网络控制,教材： 王万良，现代控制工程，高等教育出版社，2011,2,第13章 神经网络控制,人工神经网络（Artificial Neural Network，简称ANN）有着很强的自学习功能和对非线性系统映射能力，已广泛应用于复杂对象的控制中，成为智能控制中的重要研究领域。 本章着重介绍最基本最典型的BP神经网络、基于神经网络的系统辨识、基于神经网络的软测量、神经网络控制以及单神经元控制及其应用。,3,第13章 神经网络控制,13.1 神经网络控制概述 13.2 神经元与神经网络 13.3 BP神经网络及其学习算法 13.4 基于神经网络的系统辨识方法 13.5 基于神经网络的

2、软测量方法 13.6 基于神经网络的控制方法 13.7 单神经元控制器,4,基于神经网络的控制或以神经网络为基础构成的神经网络控制系统，称为神经网络控制（neural control）。 神经网络控制是近年来智能控制的一个非常活跃的研究领域。神经网络控制主要是将神经网络作为控制系统中的控制器与（或）辨识器，主要是为了解决复杂的非线性、不确定性系统在不确定性环境中的控制问题，使控制系统稳定、鲁棒性好，具有要求的动态和静态性能。,13.1 神经网络控制概述,5,神经网络控制的优越性主要有： （1）神经网络可以处理那些难以用模型或规则描述的对象； （2）神经网络采用并行分布式信息处理方式，具有很强的

3、容错性； （3）神经网络在本质上是非线性系统，可以实现任意非线性映射，容易应用于非线性控制系统； （4）神经网络具有很强的信息综合能力，它能够同时处理大量不同类型的输入，能够很好地解决输入信息之间的互补性和冗余性问题。,13.1 神经网络控制概述,6,13.2 神经元与神经网络,人脑由一千多亿（1011亿 1014 亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。,神经元约有1000种类型，每个神经元大约与103 104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。 人的智能行为就是由如此高度复杂的组织产生的。浩瀚的

4、宇宙中，也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相比。,13.2.1 生物神经元的结构,7,神经网络（neural networks，NN）,生物神经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。 人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。,神经网络方法： 隐式的知识表示方法,13.2.1 生物神经元的结构,8,13.2.1

5、生物神经元的结构,（输入）,（输出）,神经冲动,生物神经元结构,9,13.2.1 生物神经元的结构,工作状态： 兴奋状态：细胞膜电位 动作电位的阈值 神经冲动 抑制状态：细胞膜电位 动作电位的阈值 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱 。,10,13.2 神经元与神经网络,13.2.1生物神经元结构 13.2.2 神经元数学模型 13.2.3 神经网络的结构与工作方式 13.2.4 神经网络的学习,11,13.2.2 神经元数学模型,1943年，麦克洛奇和皮兹提出MP模型。一般模型：,12,13.2.2 神经元数学模型,：第 个神经元的输出。 ：第 个神经元的阈值。

6、：外部输入。 ：权值。,加权求和： 其矩阵形式：,13,线性环节的传递函数： ：1； ； ； 及其组合等。,13.2.2 神经元数学模型,14,13.2.2 神经元数学模型,非线性激励函数（传输函数、输出变换函数）,（硬极限函数或阶跃函数）,（对称硬极限函数）,15,13.2.2 神经元数学模型,非线性激励函数（传输函数、输出变换函数）,（对数- S 形函数或S型函数）,（双曲正切S形函数）,16,13.2.2 神经元数学模型,工作过程: 从各输入端接收输入信号 uj ( j = 1, 2, , n ) 根据连接权值求出所有输入的加权和 用非线性激励函数进行转换，得到输出,17,13.2.2

7、神经元数学模型,18,13.2.3 神经网络的结构与工作方式,决定人工神经网络性能的三大要素：,神经元的特性。 神经元之间相互连接的形式拓扑结构。 为适应环境而改善性能的学习规则。,19,1. 神经网络的结构 （1）前馈型（ 前向型）,13.2.3 神经网络的结构与工作方式,20,1. 神经网络的结构 （2）反馈型,（ Hopfield神经网络）,13.2.3 神经网络的结构与工作方式,21,2. 神经网络的工作方式,同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。 异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。,13.2.3 神经网络的结构与工作方

8、式,22,神经网络的学习是指调整神经网络的连接权值或者结构，使输入输出具有需要的特性。 Hebb学习规则：当某一突触两端的神经元同时处于兴奋状态，那么该连接的权值应该增强。用数学方式描述调整权值的方法为,13.2.4 神经网络的学习,23,探索时期（开始于20世纪40年代）：,1943年，麦克劳（W. S. McCullocn）和匹茨（W. A. Pitts）首次提出一个神经网络模型MP模型。 1949年，赫布（D. O. Hebb）提出改变神经元连接强度的 Hebb学习规则。,13.2.5 神经网络的发展概况,24,1958年，罗森布拉特（F. Rosenblatt）提出感知器模型（perc

9、eptron）。 1959年，威德罗(B. Widrow)等提出自适应线性元件（adaline）网络，通过训练后可用于抵消通信中的回波和噪声。 1960年， 他和 M. Hoff 提出LMS （Least Mean Square 最小方差）算法的学习规则。,13.2.5 神经网络的发展概况,第一次热潮时期：20世纪50年代末 20世纪60年代初,25,1969年，明斯基（M. Minsky）等在Perceptron中对感知器功能得出悲观结论。 1972年，T. Kohonen 和 J. Anderson 分别提出能完成记忆的新型神经网络。 1976年，S. Grossberg 在自组织神经网络

10、方面的研究十分活跃。,13.2.5 神经网络的发展概况,低潮时期：20世纪60年代末 20世纪70年代,26,第二次热潮时期： 20世纪80年代至今,1982年1986年，霍普菲尔德（J. J. Hopfield）陆续提出离散的和连续的全互连神经网络模型，并成功求解旅行商问题（TSP）。 1986年，鲁姆尔哈特（Rumelhart）和麦克劳（McCellan）等在Parallel Distributed Processing中提出反向传播学习算法（BP算法） 。 1987年6月，首届国际神经网络学术会议在美国圣地亚哥召开，成立了国际神经网络学会（INNS）。,13.2.5 神经网络的发展概况,

11、27,神经网络控制的研究领域,基于神经网络的系统辨识 神经网络控制器 神经网络与其他算法（模糊逻辑、专家系统、遗传算法等）相结合 优化计算,13.2.5 神经网络的发展概况,28,13.3 BP神经网络及其学习算法,13.3.1 BP神经网络的结构 13.3.2 BP学习算法 13.3.3 BP算法的实现,29,13.3.1 BP神经网络的结构,1. BP 网络结构,30,13.3.1 BP神经网络的结构,2. 输入输出变换关系,31,13.3.1 BP神经网络的结构,3. 工作过程,第一阶段或网络训练阶段： N 组输入输出样本：xi=xi1, xi2, xip1T di=di1, di2,d

12、ipmT i=1, 2, N 对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。 第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。,32,（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。,13.3.2 BP学习算法,两个问题：,（ 2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。 1986年，鲁梅尔哈特（D. Rumelhart）等提出BP学习算法。,33,13.3.2 BP学习算法,目标函数：,约束条件：,连接权值的修正量：,1. 基本思想,34,13.3.2 BP学习算法,正向传播：输入信息由输入层

13、传至隐层，最终在输出层输出。 反向传播：修改各层神经元的权值，使误差信号最小。,2. 学习算法,35,13.3.2 BP学习算法,2. 学习算法,36,13.3.2 BP学习算法,2. 学习算法,37,13.3.3 BP算法的实现,（1） 隐层数及隐层神经元数的确定：目前尚无理论指导。 （2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。 （3）训练数据预处理：线性的特征比例变换，将所有的特征变换到0，1或者-1，1区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。 （4）后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对

14、应类别标号。,1. BP算法的设计,38,13.3.3 BP算法的实现,（1）初始化：对所有连接权和阈值赋以随机任意小值； （2） 从 N 组输入输出样本中取一组样本：x=x1, x2, xp1T, d=d1, d2,dpmT, 把输入信息x=x1, x2, xp1T输入到BP网络中 （3）正向传播：计算各层节点的输出： （4）计算网络的实际输出与期望输出的误差：,2. BP算法的计算机实现流程,39,13.3.3 BP算法的实现,（5）反向传播：从输出层方向计算到第一个隐层，按连接权值修正公式向减小误差方向调整网络的各个连接权值。 （6）让t+1t，取出另一组样本重复（2）（5），直到 N

15、组输入输出样本的误差达到要求时为止。,2. BP算法的计算机实现流程,40,13.3.3 BP算法的实现,BP学习算法的程序框图,41,1. 特点,BP网络：多层前向网络（输入层、隐层、输出层）。 连接权值：通过Delta学习算法进行修正。 神经元传输函数：S形函数。 学习算法：正向传播、反向传播。 层与层的连接是单向的，信息的传播是双向的。,13.3.4 BP算法的特点分析,42,2. BP网络的主要优缺点,很好的逼近特性。 具有较强的泛化能力。 具有较好的容错性。,优点,收敛速度慢。 局部极值。 难以确定隐层和隐层结点的数目。,缺点,13.3.4 BP算法的特点分析,43,13.4 基于神经网络的系统辨识方法,神经网络对非线性函数具有任意逼近和自学习能力，为系统的辨识，尤其是非线性动态系统的辨识提供了一条有效的途径。 神经网络通过直接学习输入输出数据，使所要求的误差函数达到最小，归纳出隐含在系统的输入输出数据中的关系。 尽管还有很多关键的理论问题尚待解决，但已有结果已经展示了神经网络在非线性系统建模方面的广阔前景。,44,13.4.1 前向模型辨识,神经网络前向建模（forward modelling）就是利用系统的输入输出数据训练一个神经网络，使神经网络具有与系统相同的输入输出关系。,45,13.4.2 反向模型辨识,反向建模(inverse m