人工神经网络简介ppt课件

《人工神经网络简介ppt课件》由会员分享，可在线阅读，更多相关《人工神经网络简介ppt课件（73页珍藏版）》请在金锄头文库上搜索。

1、 人工神经网络人工神经网络1神经网络是在生物功能启示下建立起来的一种数据处理技术。它是由大量简单神经元互连而构成的一种计算结构，在某种程度上模拟生物神经系统的工作过程，从而具备解决实际问题的能力。神经网络具有很强的自适应性和学习能力、非线性映射能力、鲁棒性和容错能力。21.1 神经网络概念1神经元模型神经元模型1.生物神经元模型生物神经元模型p脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等组成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突起点传到轴突末梢。p轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通过突

2、触实现神经元之间的信息传递。342.生物神经元生物神经元工作状态工作状态p神经元具有两种常规工作状态：兴奋与抑制，当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动并由轴突输出；当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没有神经冲动输出。 52人工神经元模型人工神经元模型(MP模型模型)p人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。1.1.人工神经元的人工神经元的输入与输出关系输入与输出关系: :其中其中： 为阈值 为连接权值 为激活函数62.2.常用的常用的输入输出函数输入输出函数( (基函数基函数& &激活函数激活函数) ): :神

3、经元模型的输出函数，它是一个非动态的非线性函数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。 这些非线性函数具有这些非线性函数具有两个显著的特征，一是它两个显著的特征，一是它的突变性，二是它的饱和的突变性，二是它的饱和性，这正是为了模拟神经性，这正是为了模拟神经细胞兴奋过程中所产生的细胞兴奋过程中所产生的神经冲动以及疲劳等特性神经冲动以及疲劳等特性。 73人工神经元网络人工神经元网络1.人工神经元网络的组成原理人工神经元网络的组成原理p人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其它的神经元，其输入有多个

4、连接通路，每个连接通路对应一个连接权系数。 8p严格说来，神经网络是一个具有如下性质的有向图。严格说来，神经网络是一个具有如下性质的有向图。对于每个结点有一个状态变量结点 i 到结点j有一个连接权系数对于每个结点有一个阈值对于每个结点定义一个变换函数其中：92.典型神经网络结构典型神经网络结构p根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：层状结构和网络结构层状结构和网络结构。p层状结构的神经网络是由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内的神经元不能联接。10几种常见的网络结构几种常见的网络结构前向网络（前馈网络）前向网络（前馈网络）不含反

5、馈的前向网络的结构形态。网络中的神经元分层排列，接受输入量的神经元节点组成输入层，产生输出量的神经元节点组成输出层，中间层亦称为隐层，可以有若干层隐层。每一层的神经元只接受前一层神经元的输入，输入向量经过各层的顺序变换后，由输出层得到输出向量。11从输出层到输入层有反馈的前向网络从输出层到输入层有反馈的前向网络p从输出层到输入层有反馈的前向网络简称为反馈神经网络。网络中的神经元也是分层排列，但是输入层神经元在学习过程中接受输出层神经元或部分输出层神经元的反馈输入。12层内有相互结合的前向网络层内有相互结合的前向网络p每一层的神经元除接受前一层神经元的输入之外，也可接受同一层神经元的输入。 p通

6、过层内神经元之间的相互结合，可以实现同层神经元之间横向的抑制或兴奋机制，从而可以限制一层内能同时动作的神经元的个数。13相互结合型网络相互结合型网络p这种网络中任意两个神经元之间都可能有连接。在不含反馈的前向网络中，输入信号一旦通过某个神经元就将输出这个信号的变换值。但是，在相互结合型网络中，输入信号要在神经元之间反复往返传递，网络处于一种不断改变状态的动态之中。从某初态开始，经过若干次的状态变化，网络才会到达某种稳定状态，根据网络的结构和神经元的映射特性，网络还有可能进入周期振荡或其他平衡状态，如混沌状态。144神经网络的学习方法及规则神经网络的学习方法及规则1.学习方式：有导师学习和无导师

7、学习p学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后的规律（如函数形式），即，重复的修正权值Wi。p监督就是对每一个输入Xi,都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“导师信号”。对每一个输入Xi及其对其估计的期望输出Yi，就构成了一个训练样本。152.学习种类p一般说来学习的种类有四种：Hebb学习规则，离散感知器学习规则，W-H学习规则及 学习规则。p有导师学习主要使用的是 学习律，所以，在此主要介绍 学习律。p 学习律：用已知例子作为导师对网络的权值进行学习。其规则是通过神经网络理想输出和实际输出之间的误差来修正网络的

8、权值。在很多神经网络中，都采用了这种学习方法，如单层及多层感知器和BP算法等。161.2 前馈神经网络u前馈神经网络的概念前馈神经网络的概念p具有分层的结构。最前面一层是输入层，中间是隐层，具有分层的结构。最前面一层是输入层，中间是隐层，最后一层是输出层。其信息从输入层依次向上传递，最后一层是输出层。其信息从输入层依次向上传递，直至输出层。这样的结构称为前馈网络。直至输出层。这样的结构称为前馈网络。 1感知器网络感知器网络p感知器感知器(perceptron) 是最简单的前馈网络，也是最简单的前馈网络，也是早期是早期仿生学的研究成果，仿生学的研究成果，主要功能是用于对不同的输入模主要功能是用于

9、对不同的输入模式进行分类。式进行分类。171.单层感知器网络单层感知器网络p是具有单层神经元、采用线性阈值函数的前馈网络。通过对权值的训练，可使感知器对一组线性可分的输入模式（矢量）进行有效的分类。单层神经元的基本结构单层神经元的基本结构 系统输入向量 是 到 的连接权值 (j=1, 2, , m)系统输出量，亦即分类结果 18单层感知器单层感知器输入输出变换关系输入输出变换关系p由于按不同特征的分类是互相独立的，因而可以取出其由于按不同特征的分类是互相独立的，因而可以取出其中的一个神经元来讨论。中的一个神经元来讨论。p其输入到输出的变换关系为：其输入到输出的变换关系为：p若有P个输入样本，

10、( p =1, 2,P )，感知器的输出将输入模式分成了两类。它们分属于n 维空间的两个不同的部分。19* * 以二维空间为例以二维空间为例 分界分界线的方程的方程为: : * * 值得注意的是：值得注意的是：只有那些线性可分模式类才能用感知器来加以区分。只有那些线性可分模式类才能用感知器来加以区分。 线性不可分问题：线性不可分问题：典型的例子是异或关系。典型的例子是异或关系。20感知器网络的学习规则感知器网络的学习规则 p对于输入矢量x，输出矢量y，目标矢量d，根据以下输出矢量可能出现的情况进行调整：21感知器网络的学习算法感知器网络的学习算法1) 确定输入矢量x，目标矢量d，各矢量的维数、

11、神经元数和样本数目：n，m，P；2) 参数初始化： a)输入xnp，dmp ； b)设置(-1,1)随机非零权矢量wmn ； c)给出最大循环次数max_epoch；3) 计算神经网络的实际输出：22 4) 检查输出y与目标d是否相同，若是，或已达到最大循环次数，训练结束，否则继续； 6) 转到3)。23权矢量的修正量与输入模式权矢量的修正量与输入模式 成正比。若成正比。若 的取值太大，的取值太大，算法可能出现振荡。算法可能出现振荡。 取值太小，收敛速度会很慢。取值太小，收敛速度会很慢。单层感知器的局限性：单层感知器的局限性：只能解决简单的分类问题，也就是只能解决简单的分类问题，也就是只有在输

12、入矢量是线性可分时，单层感知器才对输入模式只有在输入矢量是线性可分时，单层感知器才对输入模式进行有效的分类有效。进行有效的分类有效。线性不可分线性不可分问题只能用多层感知器问题只能用多层感知器来解决。来解决。242.多层感知器网络多层感知器网络多层神经元的基本结构多层神经元的基本结构 如下图多层感知器网络：其中： 第0 层为输入层， 有 个神经元， 中间层为隐层。 第Q 层为输出层， 有 个神经元， 这时每一层相当于一个单层感知器网络。25多感知器多感知器输入输出变换关系输入输出变换关系p对于第q 层，它形成一个 维的超平面，它对于该层的输入模式进行线性分类。由于多层的组合，最终可实现对输入模

13、式的较复杂的分类。26(1) (1) 利用上述学利用上述学习算法，算法，设计连接接权系数系数 和和 ，以使得其，以使得其分界线为下图中的分界线为下图中的 。 此时对应于 的输出为 1 1，0 0 此此时 的直的直线方程方程为：用多层感知器解决线性不可分问题用多层感知器解决线性不可分问题以异或问题为例用多层感知器分类过程分析：用多层感知器分类过程分析：而对应于 、 和 的输出为-1 1，27(2)(2)设计连接权系数， 和 ，以使得其分界线为图(a)中的 ，且使得相应于 ， 和 的输出为1，相应于 的输出为-1 (a) (a) (b) (b) 28 (3)(3) 在在 和和 平面中（平面中（见图

14、 b b），），这时只有三个点只有三个点 和和 ，括弧中，括弧中标出了所出了所对应的第一的第一层的的 输入模式。输入模式。是第二是第二层（即神（即神经元元 ） 和和，以使得其分界，以使得其分界线为的输入模式。的输入模式。现在只要设计连接权系数现在只要设计连接权系数 和和图（图（b b）中的）中的即可将即可将与与区分开来，也即将区分开来，也即将区分开来，从而正确地区分开来，从而正确地与与实现了异或关系。实现了异或关系。 由此可见，适当地设计多层感知由此可见，适当地设计多层感知器网络可以实现任意形状的划分。器网络可以实现任意形状的划分。291.3 BP网络1BP网络的基本结构及原理网络的基本结构及

15、原理p反向传播(Back-Propagation)网络，简称BP网络，是采用广义d学习规则，对非线性可微分函数进行权值训练的多层（三层或三层以上）前馈网络。pBP网络主要用于函数逼近、模式识别、分类、数据压缩。p特点特点：x1x2xnwij输入层输出层隐含层jik+- -wki信息流误差反向传播(学习算法)MqL前、后层之间各神经元实现全联接；每层各神经元之间无联接。302 2BPBP网络学习规则网络学习规则p属于d算法。基本思想是最小二乘算法最小二乘算法：p对于P个输入学习样本 ，已知对应的输出样本为 。学习的目的是用网络的实际输出 与目标矢量 之间的误差来修正其权值，使网络输出层的误差平方

16、和达到最小。p学习过程由正向递推计算实现函数映射和反向传播计算训练权值两步来完成。31设输入层 j 有M个节点，节点的输出等于其输入。隐含层 i 有q个节点，激活函数为 ， 是j层和i层节点之间的联接权值。输出层k有L个节点，激活函数为 ， 是i层和k层节点之间的联接权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。323输入输出变换关系输入输出变换关系1.神经元的激活函数神经元的激活函数p在BP网络结构中，神经元 的变换函数通常采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。具有偏置和调节的具有偏置和调节的Sigmoid激发函数激发函数S型激活函

17、数连续可微。型激活函数连续可微。其划分的区域由非线其划分的区域由非线性的超平面组成，是柔和、光滑的任意界面，性的超平面组成，是柔和、光滑的任意界面，因而划分精确、合理、容错性好。因而划分精确、合理、容错性好。算法上可严算法上可严格利用梯度法进行推算，权值修正的解析式明格利用梯度法进行推算，权值修正的解析式明确。确。332.BP网络的前馈计算网络的前馈计算前馈计算就是根据神经元所确定的输入输出变换函数，由输入层向输出层执行递推计算。一旦权值满足训练要求，前馈计算结果，能使BP网络实现期望的输入输出变换关系。BP网络的前馈递推算式：网络的前馈递推算式：344 4BPBP网络权值的训练及学习功能的实

18、现网络权值的训练及学习功能的实现1.关于训练样本的进一步说明关于训练样本的进一步说明p按照学习理论的观点， BP网络属于监督学习网络。也就是说，BP网络是通过在教师信号（样本）的监督下对连接权值进行适当的训练从而实现学习功能的。训练样本 - 理想输入输出对的集合，样本来自客观对 象，信息集中包含着系统内在的输入输出特性。设有实际应用中的 P 组样本其中第 p 组样本对形式如下：u输入样本：输入样本：u输出样本：输出样本：35样本特性 - 理想的样本应具有真实性和完整性。泛化功能 - 经过训练的BP网络对于非样被本集中的输入也能给出满足映射要求的输出，即泛化功能（generalization)从

19、函数拟合的观点，这表明BP网络具有插值计算的能力。362.定义误差函数定义误差函数p连接权值的训练过程，就是BP网络拟合未知函数得优化计算过程。为了保证拟合精度，取如下算式作为拟合误差函数：样本误差函数 总误差函数 是期望输出值与网络实际输出之间的差值。372.权值的计算和反向传播权值的计算和反向传播计算过程计算过程p调整连接权值，以使误差函数E最小，优化计算通常采用一阶梯度来实现。关键是计算优化目标函数（即误差函数）E对寻优参数（即连接权值）的一阶倒数。即：2.调整连接权值按照反向传播的原则，从输出层开始向前逐一推算。x1x2xnwij输入层输出层隐含层jik+- -wki信息流误差反向传播

20、(学习算法)MqL38首先计算第首先计算第 Q Q 层（即输出层）层（即输出层） 其中39再计算第再计算第 Q-1Q-1层（即隐层）层（即隐层） 其中40第第q q层的反向递推计算层的反向递推计算这里的 q 层是指由Q-1向前递推的任意网络层次（q = Q-2 ，Q-3 ， ,1)41需要说明的是：在每一层的反向递推计算 中都出现导数项 。该项的计算，与所取的激活函数直接相关。比如，取变换函数 为S型函数，那么其导数项可计算如下：由于：由于：所以：所以：42BPBP网络权系数学习算式：网络权系数学习算式：此项是连接权值一次学习的增量此项是连接权值一次学习的增量是学习率，选的太小收敛慢，太大系统

21、会产生振荡是学习率，选的太小收敛慢，太大系统会产生振荡其中：其中：43可归纳可归纳BP网络的学习算法：网络的学习算法：44 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值 改变训练样板训练样终止？迭代终止？NoNoyy(1)(1)初始化初始化a)a)置所有权值和阈值为较小的随机数；置所有权值和阈值为较小的随机数；b)b)提供训练集，提供训练集， x x M M P P， d d L L P P； c) c)期望误差最小值、最大循环次数、期望误差最小值、最大循环次数、 学习速率；学习速率；(2)(2)计算各层输出计算各层输出O Oi i，O Ok k； (3

22、) (3)计算目标值与网络实际输出的计算目标值与网络实际输出的 误差平方和误差平方和E E；(4)(4)检查：若检查：若E E不大于期望误差最小不大于期望误差最小 值，或已达最大循环次数，训值，或已达最大循环次数，训 练结束，否则继续；练结束，否则继续；(5)(5)计算各层反传误差计算各层反传误差d dkiki、d dijij，并并 计算各层权值和阈值的修正值计算各层权值和阈值的修正值 及新值；及新值；(6)(6)返回返回2 2。BP学习算法的计算步骤学习算法的计算步骤455 5BPBP神经神经网络网络的局限性及其改进的局限性及其改进BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能

23、力，但也由此使BP网络得应用具有很大的局限性。1.收敛速度慢2.局部极值3.难以确定隐层和隐结点的个数以上问题，直接影响了BP网络在多种领域中的实际应用。现有的研究成果已经提供了许多改进算法。比较典型的方法有：引用动量项法、变尺度法、变步长法。近年来，又有人提出：误差函数的改进法、双极性S型激活函数法，等等改进措施。461.引入动量项引入动量项 为为k时刻的负梯度。时刻的负梯度。 为学习率，为学习率， 0 。 为动量项因子，为动量项因子， 。 该方法所加入的动量项实质上相当于阻尼项，该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，它减小了学习过程的振荡趋势，改

24、善了收敛性，这是目前应用比较广泛的一种改进算法。这是目前应用比较广泛的一种改进算法。根据经验数据动量项因子取根据经验数据动量项因子取0.950.95比较适合比较适合472.变尺度法变尺度法 标准的标准的BP学习算法所采用的是一阶梯度法，因而收学习算法所采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大改善收敛性。敛较慢。若采用二阶梯度法，则可以大大改善收敛性。二阶梯度法的算法为二阶梯度法的算法为 其中其中48 虽然二阶梯度法具有比较好的收敛性虽然二阶梯度法具有比较好的收敛性, , 但是它需要但是它需要计算计算E对对w的二阶导数，这个计算量是很大的。所以一的二阶导数，这个计算量是很大

25、的。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，轭梯度法，它们具有如二阶梯度法收敛较快的优点，而又无需直接计算二阶梯度。下面具体给出变尺度法而又无需直接计算二阶梯度。下面具体给出变尺度法的算法。的算法。 493.变步长法变步长法 当连续两次迭代其梯度方向相同时，表明下降太慢，当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。当需要引入时，表明下降过头，这时可使步长减半。当需

26、要引入动量项时，上述算法的第二项可修改为动量项时，上述算法的第二项可修改为 504.误差函数的改进误差函数的改进515.5.双极性双极性S S型激活函数法型激活函数法一般对数S型激活函数的输出动态范围为(0,1)，引起权值调节量的减少或不调节，加长了训练时间。解决方法：将输入范围变为1/2，同时使S型函数的输出范围也变为1/2。5253 前向模型辨前向模型辨识结识结构构图图 1.4 基于神经网络的非线性系统辨识基于神经网络的非线性系统辨识1前向模型辨识前向模型辨识p前向模型辨识基本结构前向模型辨识基本结构神经网络前向建模就是利用系统的输入输出数据训练神经网络，使神经网络具有与系统相同的输入输出

27、关系，其结构如右图所示：在这种结构中，神经网络模型与被建模的对象并联，建模对象输出与网络输出之差作为网络的训练信号。这种学习结构是监督学习，被建模的对象直接地提供一个目标值，系统输出。542反向模型辨识反向模型辨识p动态系统的反向（逆）模型在自动控制中是非常重要的。基于神经网络的反向建模方法如后图所示：p作为对象p的逆模型的神经网络C位于对象之前，网络模型的输出u作为被控对象的输入。p若C为p的逆模型，则应有 。否则，学习算法根据其偏差调整神经网络C的权值，55 反向模型辨反向模型辨识识框框图图 在该结构中也可以再包含一个被控对象的前向模型。误差信号可以取 ；当存在噪声时也可以取 。因为学习过

28、程是基于对象的理想输出和实际输出的偏差，所以是有目的的学习。 561.5 基于神经网络的智能控制基于神经网络的智能控制1.5.1 神经网络控制概述神经网络控制概述1神经网络控制的基本思想神经网络控制的基本思想p基于模型的传统控制方式，是根据被控对象的数学模型及对控制系统的性能指标来设计控制器，并对控制规律加以数学描述；模糊控制是基于专家经验和领域知识总结出若干条模糊控制规则，构成描述具有不确定性复杂对象的模糊关系，通过被控系统输出误差、误差变化和模糊关系的推理合成获得控制量，从而对系统实施控制。这两种控制方式都具有显示表达知识的特点，而神经网络不善于显示表达知识，但是它具有很强的逼近非线性函数

29、的能力，即非线性映射能力。把神经网络用于控制正是利用它的这个独特优点。57u基本原理基本原理p下图给出了一般反馈控制系统的原理图，设被控制对象的输入u和系统输出y之间满足如下非线性函数关系：y=g(u)58p控制的目的是确定最佳的控制量输入u， 使系统的实际输出y等于期望的输出yd。在该系统中，设神经网络的函数关系为：u=f(yd )p为了满足系统输出y等于期望的输出 yd，将式(b) 代入(a)式，可得: y= g f(yd ) 其结构图如图b)所示。显然，当f() = g-1()时，满足y = yd的要求。 592神经网络在控制中的作用1.在基于精确模型的各种控制结构中充当对象的模型。2.

30、在反馈控制系统中直接充当控制器。3.在传统控制系统中起优化计算作用。4.在与其它智能控制方法和优化算法的融合中，为其提供非参数化对象模型、优化参数、推理模型及故障诊断等。p神经网络具有大规模并行处理，信息分布存储，连续时间的非线性动力学特性，高度的容错性和鲁棒性，自组织、自学习和实时处理等特点，因而神经网络在控制系统中得到了广泛的应用。601.5.2 神经网络控制的典型结构及原理神经网络控制的典型结构及原理1神经网络监督控制神经网络监督控制1.基本的神经网络监督控制基本的神经网络监督控制p当被控对象的解析模型未知或部分未知时，利用传统的控制理论设计控制器是极其困难的。在许多实际控制问题中，都是

31、采用人工控制。p取代人工控制的途径大致有两种。是构造专家控制器或模糊控制器。是对人工控制器建模，用神经网络控制器代替。p这种方法称为神经网络监督控制或COPY控制。缺点是：由于人工控制器是靠缺点是：由于人工控制器是靠人眼观测实现反馈控制的，改用神人眼观测实现反馈控制的，改用神经网络控制器后，由于缺乏视觉反经网络控制器后，由于缺乏视觉反馈，此时系统为开环。因此使系统馈，此时系统为开环。因此使系统稳定性和鲁棒性无法得到保证。稳定性和鲁棒性无法得到保证。612.神经网络监督控制改进结构神经网络监督控制改进结构改进方案p在PID控制器基础上，再增加一个神经网络控制器，如下图所示：结构特点及工作原理p结

32、构特点：结构特点：此时神经网络控制器实际是一个前馈控制器，因此它建立的是被控对象的逆模型。62p工作原理：工作原理：由上图可见，神经网络控制器通过向传统控制器的输出进行学习，在线调整自己，目标是使反馈误差e(t)或趋近于零，从而使自己逐渐在控制作用中占据主导地位，以便最终取消反馈控制器的作用。但与上述结构不同，这里的反馈控制器仍然存在，一但系统出现干扰等，反馈控制器仍然可以重新起作用。因此，采用这种前馈加反馈的监督控制方法，不仅可确保控制系统的稳定性和鲁棒性，而且可有效地提高系统的精度和自适应能力。631.6 神经网络神经网络PID控制控制p神经网络有许多潜在的优势，通常将人工神经网络技术与传

33、统的控制理论或智能技术综合使用。pBP神经网络具有逼近任意非线性函数的能力，而且结构和学习算法简单明确。通过神经网络自身的学习，可以找到某一最优控制律下的PID参数。基于BP神经网络的PID控制系统结构如图所示，控制器由两个部分组成：经典的PID控制器：直接对被控对象进行闭环控制，并且KP,KI,KD三个参数为在线整定；神经网络NN：根据系统的运行状态，调节PID控制器的参数，以期达到某种性能指标的最优化。即使输出层神经元的输出状态对应于PID控制器的三个可调参数KP,KI,KD，通过神经网络的自学习、调整权系数，从而使其稳定状态对应于某种最优控制律下的PID控制器参数。641.6.1 基于神

34、经网络参数自学习PID控制65 基于BP神经网络的PID控制算法可归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入； 4). 前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 5). 计算PID控制器的控制输出u(k)，参与控制

35、和计算； 6). 计算修正输出层的权系数w(3)li(k)； 7). 计算修正隐含层的权系数w(2)ij(k)； 8). 置k=k+1，返回到“2）”。 661.6.2 改进型BP神经网络控制参数自学习PID控制将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。但实际上，系统的预测输出值是不易直接测得的，通常的做法是建立被控对象的预测数学模型，用该模型所计算的预测输出来取代预测处的实测值，以提高控制效果。671采用线性预测模型的BP神经网络PID控制器 68采用线性预测模型的采用线性预测模型的BP神经网络神经网络PID控

36、制系统算法归纳如下控制系统算法归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 用线性系统辨识法估计出参数矢量(k)，从而形成一步预报模型式； 3). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 4). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入； 5). 前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 6). 计算PI

37、D控制器的控制输出u(k)，参与控制和计算； 7).计算 和 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。 692采用非线性预测模型的BP神经网络PID控制器70基于BP神经网络的PID控制算法可归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(

38、i-1),e(i)进行归一化处理，作为NN的输入； 4). 前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 5). 计算PID控制器的控制输出u(k)，参与控制和计算； 6).前向计算NNM的各层神经元的输入和输出，NNM的输出为 ，计算修正隐含层和输出层的权系数； 7).计算 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。711.7 模糊神经网络控制从信息处理与控制角度出发，模糊控制与神经网络控制均属智能控制范畴，在实际信号处理或控制系统应用中，神经网络和模糊系统都不需要建立基于系统动态特性的数学模型。神经网络需要的是训练样本，模糊系统需要的是描述规则的专家只是、经验或操作数据，都是输入输出空间的非线性映射。模糊神经网络是模糊系统和神经网络相结合的产物，充分发挥两者的共同优点。72模糊系统和神经网络结合的方法有很多种形式，如神经网络和模糊系统并联结合、串联结合，神经网络和模糊系统单向引入结合以及双向引入结合等。模糊神经网络主要是两种：常规和TS模型73