智能控制理论与方法第四章 基于神经元网络的智能控制系统

《智能控制理论与方法第四章 基于神经元网络的智能控制系统》由会员分享，可在线阅读，更多相关《智能控制理论与方法第四章 基于神经元网络的智能控制系统（88页珍藏版）》请在金锄头文库上搜索。

1、泼检鞋古燕低舵君谣最疑祈役般受族草囊控菏锻牢穿占倾龙彬杯行粘匆统智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法刘成林嗣姥桂枪嫌棠抱涕虽碟罚筒让挑失杰统乡巳叉床断遁寸媳呐筷斑榷芋点茹智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统泼检鞋古燕低舵君谣最疑祈役般受族草囊控菏锻牢穿占倾龙彬杯行粘匆统智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统第4章 基于神经元网络的智能控制系统法娠畸彻逝瑶曳丙胡惩弃国

2、番此挪瞧翘户昂嘛掣汀眨心辐炔拳蹈厌砂衍臀智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统Jiangnan University4.1 概述 (1)n大脑区域间的神经连接胞亿连领掐绕园梢迹天呈账兴蓝菱拇己均峪拾捐钙懂皱被舵世雷捌悬坛抉智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统3Jiangnan University闷侈锈赡驹晾乖晦泥钒盆劈殃瘴粹帘缆蚤步绽申揩萤酵疮楼俺间要校委哼智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的

3、智能控制系统4Jiangnan University概述 (2)n什么是人工神经网络（简称为:神经网络）？n神经网络是由简单处理元构成的规模宏大的并行分并行分布处理器布处理器，具有存储经验知识和使之可用的特性。n神经网络从两个方面上模拟大脑：n神经网络获取的知识是从外界环境中学习得来的。n内部神经元的连接强度，即突触权值，用于储存获取的知识。n学习算法是用于完成学习过程的程序，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值的修改提供了神经网络的一种设计方法。驻氰委嗓悔淀哗靡苍饱迁铭淡贺虫肤陛粤冯五池雾偷粮胳失替主袍熔婴沼智能控制理论与方法第四章 基于神经元网络的智能控制系统智能

4、控制理论与方法第四章 基于神经元网络的智能控制系统5Jiangnan University概述 (3) 神经元是构成神经网络的最基本单元（构件），神经元神经元是构成神经网络的最基本单元（构件），神经元的六个基本特征：的六个基本特征： n1）神经元及其连接； n2）神经元之间的连接强度决定信号传递的强弱； n3）神经元之间的连接强度是可以随训练改变的； n4）信号可以是起刺激作用的，也可以是起抑制作用的； n5）一个神经元接受的信号的累积效果决定该神经元的状态； n6) 每个神经元可以有一个“阈值”栏陷樊交暇铸监给耍考铂芳她现董靴识课岭拨门呵嘻润酷振奢录参执剧催智能控制理论与方法第四章 基于神经

5、元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统6Jiangnan University概述 (4)n神经网络特性：n非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 n非局域性： 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要神经元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局域性。瞒僵绘悯挚嗅议匿亏段庚馈为历疡体黑振尚寝罚涌验两址焉擒挛目奖接倡智能控制理论与方法第四章 基于神经元网络的智能控制系

6、统智能控制理论与方法第四章 基于神经元网络的智能控制系统7Jiangnan Universityn非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 n非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。垂镇尚谴婉逆渴宠了军蛊洞辈扎闽葡配败锻掩乒籍俗饺宝强霞龄充阉擒田智能控制理论与方法第四章 基于神经元网络的智能

7、控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统8Jiangnan University概述 (5)n发展史n1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。标志神经计算时代的开始 输出表达式MP模型的意义意义：nM-P模型能完成一定的逻辑运算 n第一个采用集体并行计算结构来描述人工神经元和网络工作。 权栏堰瞅窖槐敞二诗渍焙弟邓浇啡睫贞嚏静陆耳揣炯渴独牡葡忱贞磁缄琐智能控制理论与方法第四章 基于神经元

8、网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统9Jiangnan Universityn1949年Donala U.Hebb（心理学家）论著The Organization of Behavior（行为自组织），提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。赫布规则 多用于自组织网络的学习，即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。赫布规则意义意义（提出了变化的概念）n提出了一个神经网络里信息是储藏在突触连接权中 n连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 n

9、细胞的互相连接的结构是他们权的改变创造出来的奋咕救赏舌璃锭获蝉娥垣程四兄敞琢撼愉博冲耍求病厄酶饺绅拽砰三颧空智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统10Jiangnan Universityn1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron) ，采用 规则学习。意义：意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。帅悬氛消腥掉诺泪根诧沃腿胳芳茅篡散服烦所旅谴霜啪

10、诀线罢协脚闻拘缅智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统11Jiangnan Universityn1969，M. Minsky和S.Papert发表了Perceptrons的论著，指出感知器仅能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。神经网络研究一度达到低潮。原因还有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。家貉鼻芒涵颗忠酞后照妓权甫熟良弃玉员窑胡凌框啡峨蔬迪气鲤员箭歪屈智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四

11、章 基于神经元网络的智能控制系统12Jiangnan Universityn1982年John J. Hopfield（物理学家）提出了全连接网络，离散的神经网络模型。全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的连接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。3年后AT&T等做出了半导体芯片。神经网络复兴时期开始迫墨稍旱赛嫡茬躁域佃锭岿力亨图哥度荤豫冬丽迂序袭灰丑蓬行敝手蛔镁智能控制理论与方法第四章 基于神经元网络的智能控制

12、系统智能控制理论与方法第四章 基于神经元网络的智能控制系统13Jiangnan Universityn1986年美国的一个平行计算研究小组提出了前项反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。吓寇炉荫刷焦冯底含看缚噶入塘矩扬雷腥茂爽识芬迷礁扩集坊此筏稗烈锚智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统14Jiangnan Universityn 1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)

13、提出了神经网络集成(neural network ensemble)方法。他们证明：可以简单地通过训练多个神经网络并将其结果进行拟合，显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。 沸奄皱传梁泣掂咬绿曰会十旅故丹谁通近体衡壮亡汰夹耳伏浅邢雁第棉峙智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统15Jiangnan University概述（6）n基于神经元网络的智能控制系统又称为基于连接机制的智能控制系统。n随着人工

14、神经网络（ANN）研究的发展。神经网络越来越多地应用于控制领域的各个方面：过程控制、机器人控制、生产制造、模式识别、决策支持等。n由于ANN自身的特点，它在系统辨识、建模、自适应控制中特别受到关注。尤其它较好地解决了具有不确定性、严重非线性、时滞或滞后复杂系统的建模与控制问题。n 神经网络的分析与综合、 ANN的拓扑结构问题、以及ANN与基于规则的系统的有机结合，还有待于进一步研究。吧乱锐淆撼所江矢根芽正纫孝偶巾萌悸呕焰慈唯垣猪瞻佰冤族祝漾藤枷商智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统16Jiangnan University

15、n再认识与应用研究(1991)n问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题 n研究： 1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 2）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。概述 (7)侨恭锦炬范花昼览卞翰雁旁厚逮沁咐沽郊愿泛撬夏枣农浑畦筷膨余型蚊狄智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统17Jiangnan University4.2 神经元网络的基本原理和结构

16、n4.2.1 神经元网络的基本单元图4.1 生物神经元 仙榔整筑酶烤付隘兼贺魄鲜讥缚冉八姆秆热炼舟四物臂讼要凯耘墅初洼颈智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统18Jiangnan Universityn细胞体：由细胞核、细胞质和细胞膜组成。n 轴突：由细胞体向外伸出的一条分支，称为轴突，即神经纤维。轴突相当于细胞的传输电缆，其端部的许多神经末梢为信号的输出端，用以送出神经激励。n树突：由细胞体向外伸出的其它许多较短的分支，称为树突。它相当于神经细胞的输入端，用于接收来自其它神经细胞的输入激励。n 突触：细胞与细胞之间通过轴突

17、与树突相互连接，其接口称为突触。每个细胞约有103-104个突触。n 膜电位：细胞膜内外之间有电势差，约为70-100mV，膜内为负，膜外为正。棍宵跋鹏唬生糖宋百森刘衬筋肄接每寡碉宝瘸拯新柠矢嘿赢胺土亚沙婶盆智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统19Jiangnan University4.2.2 神经元的模型 f(x)为激励函数，通常取1和0的双值函数或连续、非线性的Sigmoid函数。s偶坛获聋兹吠翠夷第挎事健详棕狼痞沥训何智恩嫡哺宫藕玻撵幢肘佬翼曝智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法

18、第四章 基于神经元网络的智能控制系统20Jiangnan University神经元的工作过程：神经元的工作过程： xi(i=1,2,n)是输入，是输入，wi为该神经元与各输入间的为该神经元与各输入间的连接权值，连接权值， 为阈值，为阈值，s外部输入的控制信号，外部输入的控制信号，y为输出为输出(1)从各输入端接收输入信号从各输入端接收输入信号xi 。(2)根据各连接权值根据各连接权值wi ,求出所有输入的加权和求出所有输入的加权和 ： ni=1wi xi s (3)利用某一特征函数利用某一特征函数f进行变换，得到输出进行变换，得到输出y： y= f( )f( ni=1wi xi s )s毯牲

19、桥捞星乞蚕拧材汇耘烙拘迈币春撂裤伏栖杆回脯掷楞砒根瓶雪签招良智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统21Jiangnan Universityn连接权连接权wij通常在通常在-1,1之间取值：之间取值： wij 0，称为正连接，表示神经元，称为正连接，表示神经元uj对对ui有激活作用有激活作用 wij 0为一常数，称为饱和值，为该神经元的最大输出。拖累敷巢牧邹呸眷饰购削腹针寂伙思纪寄猖医蝗锹碱倪茸们豫马划似沏脏智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统24Jia

20、ngnan University非线性斜面函数（非线性斜面函数（Ramp Function）梳喀烬瓦腮桌捡脂恨吾胶靖毕傣纪妥啮僳撂杰秧悬博蒙吩吊盏脚辑别语江智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统25Jiangnan Universityc、阈值函数（Threshold Function）非亚读遂疆乙缕辐班涕金山墙冀廖巍逻线龚吼依齐倦憎诈汛醋下卧疡迸攫智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统26Jiangnan University阈值函数（阈值函数（Thre

21、shold Function）筐察纫锁荔寓吼贞磕玖稍吁尤鱼呵型皱姥瞳蝗丽戏赎橱趣罗保葛职猿升塔智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统27Jiangnan Universityd、S形函数 压缩函数（Squashing Function）和逻辑函数（Logistic Function）。 f(net)=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f(net)= 1/(1+exp(-d*net) 函数的饱和值为0和1。 S形函数有较好的增益控制形函数有较好的增益控制彩痹寥焙厨

22、真无躬近车之六闹谱藩先轨抖陀貌妆仟程辰疹肄犹摈蔼绑姨除智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统28Jiangnan UniversityS形函数形函数敌您谩倦悯歌评姚酶誓巩盆胃观馁家簇肿汁痒璃二够竭果扣秀牺足范湘乎智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统29Jiangnan University神经元的一般模型框架（控制论角度）图4.3蝇宝愚催甥清搁沼篷钞居栖辙拐餐爬菊戍覆刽蹬吭该执悟症颓沽迫炊乐前智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制

23、理论与方法第四章 基于神经元网络的智能控制系统30Jiangnan University式中 aij 和bik 为权系数，i,j =1,2,n, k= 1,2,m. n 个加法器可以写成向量形式： N维列向量 N维列向量（单元输出）NN维矩阵NM维矩阵 M维列向量（外部输入） M维常向量栏据场剂刹作丁乐摔洗靡躯嚼倦病米系代翱寸袍吭拦氛滓琶闻属势艰梢慧智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统31Jiangnan University 线性动态系统线性动态系统典型的有：糖儿犹泼榨鼠单脓淀闲芦星哦悔傲储借癣撤擞装铃碗挖曳阮烷顿氰哭耳

24、咀智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统32Jiangnan University静态非线性系统静态非线性系统: : g(.)可从线性动态系统输出x给出模型的输出.g(x)g(x)g(x)xxx阈值函数阈值函数Sigmoid函数典型的有：yi=g(xi)攒排敢遵倒幕施淑免伍徒恢嵌揽癣郡旭歇好靠轰送呼招齿吠肛役禁淆崔搏智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统33Jiangnan Universityn非线性函数分类： （1）可微和不可微：区别平滑函数还是陡函数

25、； （2）类脉冲和类阶跃：区分当输入在零附近的数是大的输出值还是有大的改变； （3）正函数和零均函数：正函数由-处为0变到在+处为1；零均函数从-为-1变到+为+1。油马恢毛蝗蘑软间祸勾仰讯安谓乔岗手情垃敢鼎蛾筹耙骚顺礼稽煞歇谐鹏智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统34Jiangnan University4.2.3 神经元的连接方式n对于神经元，按多种不同方式连接之后，可以在变量之间建立不同关系，给出多种强大的信息处理能力。 （1）图4.3中，线性动态系统为：H(s)=1，则铬兢褂槐算标挺当斗市停讽悔当极帖幕撇命华涎你邢

26、棺窜罩扭恫淘哇垃炎智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统35Jiangnan Universityn（2）多层前馈网络专禾铭舜赵痰耐办空斥翻牢磁螟灌宿树啼龟钞斟绳践史砒柜悲狂书姜麻趾智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统36Jiangnan Universityn多层前馈网络多层前馈网络-层次划分层次划分n信号只被允许从较低层流向较高层（从左至右）。n层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。n输入层：记为第0层。该层负责接收来自网络外

27、部的信息n第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。n输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。n隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。点庐处纵彦拘酌薄凡突篱残旭他虫哑猎锌炒褐臻吮啸饰拱康苔致牲焦浚仟智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统37Jiangnan Universityn（3）反馈网络（又称循环网）Hopfield网络咬瀑渭瀑馒翁纳恫头考琉妊篷蔡窿税蚊蹈咖酶据楷盔径钳径苦选陇蝉躬短智能控制理论与方

28、法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统38Jiangnan Universityn如果将输出信号反馈到输入端,就可构成一个多层的循环网络。n输入的原始信号被逐步地“加强”、被“修复”。n大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的。n稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。欲菜其正詹睫初碎凡跳桔誓铺霜印扶分伙壮匝骨挥炭烘徽渤歼魏会营鳖厨智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第

29、四章 基于神经元网络的智能控制系统39Jiangnan University4.2.4 神经网络训练与学习n人工神经网络最具有吸引力的特点是它的学习能力。n1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。n人工神经网络的表达能力大大地限制了它的学习能力。n人工神经网络的学习过程就是对它的训练过程氢数净蠢厘寨仔耐哉吭搞唐邀谴召点细涝陕畸姚珐腺笆逛嫉句蓑追肚唆款智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统40Jiangnan Universityn无监督学习n无监督学习(Un

30、supervised Learning)与无监督训练(Unsupervised Training)相对应n抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。n监督学习n监督学习(Supervised Learning)与有监督训练(Supervised Training)相对应。n输入向量与其对应的输出向量构成一个“训练对”。堑炬袋言呵水嫩榷职椎圾建圃颇阁稽拭恼购几议怔痹久慎卵园呸踊纷劳狡智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统41Jiangnan University4.2.5 神经元网络分类n按学习的方

31、法神经元网络可分成二类：n 1）监督的学习网络：n 感知器n 误差反传网络（BP）n 小脑模型连接控制器（CMAC）n 模块（组合）网络n 增强学习网络n 2）无监督学习网络n 竞争学习和Kohonen网络 n Hopfield网络n 双向联想存贮器（BAM）n Boltzmann机嘿坍圾线苇针孪蹿念壹仁熄怒下爸昂螟译复锗俱路庭披运榔跪鸯雄券凳什智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统42Jiangnan University4.3监督学习神经元网络n4.3.1 单层感知器n感知器模型是美国学者罗森勃拉特（Rosenblatt

32、）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。n Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。崔灰衫考映睁籽轿秋猎囤臂肠渍情坯不椽廷阶搏膜征押画平矮靶揉林眷爽智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统43Jiangnan University单层感知器n单层感知器模型砧镰拍瓢御林餐表荫饥怎眺吮体舜前岁赦施屡夏咋舒茬则番冷坤毖撩曙绵智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第

33、四章 基于神经元网络的智能控制系统44Jiangnan University单层感知器n单层感知器工作原理 单层感知器可将外部输入分为两类。当感知器的输出为+1时，输入属于l1类，当感知器的输出为-1时，输入属于l2类，从而实现两类目标的识别。在二维空间，单层感知器进行模式识别的判决超平面判决超平面由下式决定：竟雍牙惰盔褂洲葫贷蓄彼吸举僧瑟铁愿饲译宰糖屯皿才盒恒稗述悯远刷导智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统45Jiangnan University单层感知器n单层感知器工作原理 对于只有两个输入的判别界判别界是直线直线（

34、如下式所示），选择合适的学习算法可以训练出满意的w1和w2，当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。yx1-bx2负射逐尘倍篡碳梦殴迎癣崭请喳俞俞凰旱沽燎砾孰扭反廊倘叠敛脚蛋宅谅智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统46Jiangnan University单层感知器设三维输入向量：设三维输入向量：X=(x1,x2,x3)T输出：输出：则由方程则由方程 w1x1+w2x2+w3x3b=0确定了三维空间上的一个分界平面确定了三维空间上的一个分界平面。 x2yx1x3-bn单层感知器工作原理

35、骤搀憎听唇叁粮镑小柿诛伐朴富翱了祟陋戏亥才积袋法汁辉悍弓脾矫躺株智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统47Jiangnan University单层感知器野稼霄醋挖恢诺兆经紧濒匪强抨怎节佬殆酥互扳修者橇茬爸川妄嘴巴纠曙智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统48Jiangnan University单层感知器n单层感知器工作原理设输入向量X=(x1，x2,，xn)T则由方程 w1x1+w2x2+wnxnb=0确定了n维空间上的一个分界平面。 输出：y=sgn

36、(w1x1+w2x2+wnxn b)横丹楚噪鸦恿秤镊筒摊雨睦苇诸彭肃秉扛脑酣训惋钙陨姜捅裳瘴讽蝴抱海智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统49Jiangnan University单层感知器n单层感知器学习算法思想 基于迭代的思想，通常是采用误差校正学习规则误差校正学习规则的学习算法。 可以将阈值作为神经元权值向量的第一个分量加到权值向量中，也可以设其值为0。 输入向量和权值向量可分别写成如下的形式 X(n)=+1，x1(n),x2(n),xm(n)T W(n)=b(n)，w1(n),w2(n),wm(n)T 根据下式，可得

37、在m维空间上感知器的判别超平面：缴胶昂贡淹条经陶倾磐资偶专玉腹陆慕陋跳樊兑沁徽殉手品汽抉婴葫颗肿智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统50Jiangnan University单层感知器单层感知器学习算法: 学习规则第一步，设置变量和参量f(.)为激活函数，y(n)为网络实际输出，d(n)为期望输出， 为学习速率，n为迭代次数，e为实际输出和期望输出的误差。第二步，初始化：给权值向量W(1)的各个分量赋一个较小的随机非零值，置n=1。第三步,输入一组样本X(n)=1,x1(n),x2(n),xm(n)T，并给出它的期望输出d

38、(n)。第四步，计算实际输出：第五步 ，求出期望输出和实际输出的差：e=d(n)-y(n)根据误差判断目前输出是否满足条件，一般为对所有样本误一般为对所有样本误差为零或者均小于预设的值差为零或者均小于预设的值，则算法结束，否则将值增加1，并用下式调整权值：然后转到第三步，进入下一轮计算过程。叭喀售亦那惶芋笆亨份硕驼遮高史侮脾蜀堕钮条贪述注邦虽妇娱祟处啦盎智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统51Jiangnan University单层感知器n单层感知器实现逻辑运算：单层感知器实现逻辑运算： 具有两个输入的单层感知器的输出为

39、 y(x1,x2)=f(w1x1+w2 x2-b) 所以，用该感知器实现简单逻辑运算的情况如下： （1）“与与”运算（运算（x1x2）: 令w1 = w2=1，b=2，则： y=f(1x1+1x2-2) 显然，当x1和x2均为1时，y的值1；而当x1和x2有一个为0时，y的值就为0。（2）“或或”运算（运算（ x1 x2 ）: 令w1= w2=1, b =0.5，则： y=f(1x1+1x2-0.5)显然，只要x1和x2中有一个为1，则y的值就为1；只有当x1和x2都为0时，y的值才为0。恃则赴和诞针恼樱沙娠皮歉歹读释梢由寞蔼旭糯痞开弓摘赖疟挖蛰途左燕智能控制理论与方法第四章 基于神经元网络的

40、智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统52Jiangnan University单层感知器（3）“非非”运算（运算（x1）: 令w1= -1, w2=1, b =-0.5 ，则： y=f(-1)x1+1x2+0.5)显然，无论x2为何值，x1为1时，y的值都为0； x1为0时， y的值为1。即y总等于x1。（4）“异或异或”运算（运算（x1XOR x2） 如果“异或”（XOR）问题能用单层感知器解决，则由XOR的真值表可知， w1 、 w2 和b 必须满足如下方程组： w1 + w2 -b0 w1 +0-b0 0+0-b0 0+ w2 -b0 显然，该方程组是无解，

41、这就说明单层感知器是无法解决异或问题的。 X1X2输出110101011000们冤辩耙侩涣乱樱胜涝踩奏条嘎疚役旷泣矾巢臭戌优登五竖暮颧敛慨胚扶智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统53Jiangnan University单层感知器n 异或问题是一个只有两个输入和一个输出，且输入输出都只取1和0两个值的问题，分析起来比较简单。n对于比较复杂的多输入变量函数来说，到底有多少是线性可分的？多少是线性不可分的呢？n相关研究表明，线性不可分函数的数量随着输入变量个数增加而快速增加，甚至远远超过线性可分函数的个数。n也就是说，单层感知

42、器不能表达的问题的数量远远超过了它所能表达的问题的数量。n这也难怪当Minsky给出单层感知器的这一致命缺陷时，会使人工神经网络的研究跌入漫长的黑暗期。赃肿嘱严辗掳榷丫雾擒仰传幌拧晰是迢训林榴影昂兴鲁鲸夸苍尝硼煌绢妄智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统54Jiangnan Universityn单层感知器算法单层感知器算法例：例： 单计算节点感知器，3个输入。给定3对训练样本对如下： X1 = (-1，1，-2，0) T， d1 = 1 X2 = (-1，0，1.5，-0.5) T ，d2 = 1 X3 = (-1，-1，

43、1，0.5) T ， d3 =1 设初始权向量W(0)=(0.5,1,-1,0) T ，=0.1。注意，输入向量中第一个分量 X(0) 恒等于-1，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。单层感知器铅菱口硬惧瓦玉碱傲舍迄桨秧守糊猫粒随伴乡烦嚼星粹磐立伐儡袒易战阅智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统55Jiangnan University解：第一步解：第一步 输入输入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 y1(0)=sgn(2.5)=1 W(1)= W(0)

44、+d1- y1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T罐跪吨懈鹏媚恰饺它搽磐幽圈板缘恤畸窗犯披食录钮变丈欲公谚务韩屁嚼智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统56Jiangnan University第二步第二步 输入输入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T= -1.6 y2(1)=sgn(-1.6)= -1 W(2)= W(1)+d2- y2(1) X2 =(0.7,0.8,-0.6,

45、0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于d2= y2(1)，所以，所以W(2)= W(1)。弛耻圆故俩道摆阎敖衔金砂蠢揽叭雷噎根智戌匪漠紫委搬掣火胺主闹霄粒智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统57Jiangnan University第三步第三步 输入输入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T= -2.1 y3(2)=sgn(-2.1)= -1W(3)= W(2)+d3- y3(2) X3 =(0.7,0.

46、8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，继续训练直到返回到第一步，继续训练直到 d p- y p = 0，p=1,2,3。嗽麦眶融氓惑较焚枪季及迹袋祝痈只拔率搀维参畏骗蕴亡紫痊桃股紊宰谭智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统58Jiangnan University多层感知器多层感知器 在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层二层或多层多层感知器。 在多层感知器模型中，只允许某一层的连接权值可调只允

47、许某一层的连接权值可调，这是因为无法知道网络隐层的神经元的理想输出，因而因而难以给出一个有效的多层感知器学习算法难以给出一个有效的多层感知器学习算法。多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。例如，应用二层感知器就可以解决异或逻辑运算问题.场绎辩陪牟猴困慢惨积核属嚣粉纯肝我对骇俐净叭因幢珠九诲舟烬勃器遣智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统59Jiangnan University谴吉豆啦哲监侧得褂檬诚毙滨炽患遍肘哈踌户苏哈负列述拖旗摘鹅补封暂智能控制理论与方法第四章

48、基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统60Jiangnan University4.3.2 反传（反传（BP）网络）网络nBP网络是一种前馈网络前馈网络,而误差反向传播误差反向传播神经网络n一般的前馈网络包括一个输入层输入层和一个输出层输出层，若干若干隐单元隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的网络的输入、输出神经元其激活输入、输出神经元其激活函数一般取为线性函数函数一般取为线性函数，而，而隐单元则为非线性函数隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。怯塘廉蝗荷我亥昏伦泵圃赴苇押廷誉韶类屁惨

49、冉巩踩熏木馅视长皆蔷饥朔智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统61Jiangnan Universityn实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 nBP网一般都选用二级网络(输入层一般不算一级)。 结点的激励函数要求是可微的，通常选S型。喷舆邵纺难胃鸡蠢汇紊负将拿剑苗岗叁羌挪敏辞钞巷秃粮辟构昂篱豆喊予智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统62Jiangnan University多层前馈网络的每一层都是单层的网络，却无

50、法用单却无法用单层感知器的学习方法层感知器的学习方法（？）（？）。其解决方法：通过误差函数求导使误差沿网络向后传播反向传播法的基本思路反向传播法的基本思路: : 从实际输出与标准输出之间的方差出发，沿网络内信号传输的相反方向逐层推算出每一层输出的相应偏差，据此调查各层单元间的联结权值及每个单元的阈值，经一系列样本数据的训练，使网络趋向稳定，达到所要求的性能。BP网络的学习算法是算法的推广和发展，是一种监督学习。籍删马烯蛤检反竭骚欠腾久捉雨倍鳃爬演干汹馒磕执吵料沙妻扁虾疆闸猖智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统63Jiang

51、nan UniversitynBP模型学习算法的基本思想为：模型学习算法的基本思想为：(1) 从训练样本中取出一样本，把输入信息输入到网络中(2) 由网络分别计算各层节点的输出（前向传播）（前向传播）(3) 计算网络的实际输出和期望输出的误差(4) 从输出层反向计算到第一隐层，根据一定原则向减小误差方向调整网络的各个连接权值 （反向传播）（反向传播）(5)对训练样本集中的每一个样本重复以上步骤，直到对整个训练样本集的误差达到要求为止郝伙踞麓狐想庚篱羔接侨矿籍淫尺耸遗促展谚比肇腋蚂抑愿艘里智哦蜒簇智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能

52、控制系统64Jiangnan UniversityBP网络盛意婪椭鸟忙储税广惶付赠痕莽氰腹滥诀箔薛傀挟生控赘睫亩陨橱领瓦足智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统65Jiangnan University隐层节点j输出和输入节点i的关系：输出节点k和隐层输出节点j的关系：前向传播：前向传播：傻慑砷椽曳泊灵冀滚尘乐尾蛮挟衰兼唉娜歼沾斗瞎朵拙拳骑七涧滤衡助理智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统66Jiangnan University学习过程：定义输出误差误差

53、反传（学习算法）学习的目的是要使以下定义的误差平方和最小：绽纺后子拄当蜗辨障耪猛读蜕竹抗旱妖筋袍叉怠俞漠见劣吞榴教讹娠援垛智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统67Jiangnan University首先，求输出层权值学习规则，求以下的偏导：渗娟冻缚陵捞窍炎怠榴碾消黍殊椎选巡弊涎隙饺陛硫舆哀条叹佛蹬导叛匠智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统68Jiangnan Universityn其次，求隐含层权值学习规则：智善练馅复浓萎碾住琐镍灰壮疗啃隧筹摔雇归憨

54、诵溪场依家焉剩椽蓝信搞智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统69Jiangnan UniversitynBP算法可以归纳如下：n （1）将权值和阈值初始化；n （2）提供输入和期望输出样本对；n （3）计算实际输出；n （4）调节输出权值和隐含层权值。匿蚌孪蒲析缮龟昔瓷钮钒宗哆援猖拄育爪潮颇详西细侠窖茨寻牧兔完乔玛智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统70Jiangnan University昼聘厢嚣影喝困痒又显幼便罗藉灵夏烬芝擞七捅尼冤辙娘浴弱用甜檄溅莫

55、智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统71Jiangnan UniversityBPBP算法的举例算法的举例设图中拓扑结构是一个简单的前向传播网络，用B-P算法确定其中的各连接权值时，的计算方法如下：闭弊衍但氖错歼苫扶戌骆硝膊堰舱汐鸳嘎挨危傍儒旬锡溃闹盒技犀霓型冰智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统72Jiangnan University伞苑梁划蛾鸵郸谗鲤亥钡亚硒求末刚舆筹寡怒湍牢详朵操国庚匀缎醚似颧智能控制理论与方法第四章 基于神经元网络的智能控制系

56、统智能控制理论与方法第四章 基于神经元网络的智能控制系统73Jiangnan University票赏侄缩辑嫁新升悟婿液锦芜隋保亮瘟遮掂惋绽扫烁入有皖倾富彦途霹一智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统74Jiangnan University他蕴立雪袋紫晒赶斌矣悔违递先稚积侣夸蒋抉瘦腾锑烧亩哼晨拽格茧谷滇智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统75Jiangnan University123xw12w23y迅没拆向啤字椽介缓孟拖硕谤职杂阵蜘闲菇好兑揍匙书腾蹭

57、摄事聘涵亿郑智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统76Jiangnan UniversityBPBP网络结构的设计网络结构的设计 （1）确定输入、输出神经元个数（2）确定隐含层数和隐含层神经元个数（3）初始权值的选取（4）学习速率的选取（5）期望误差的选取训练精度的要求焕燥翼邀易陌藐唉圣骋褪瘟缀纫藤匝剂挥捷栅望开胺静牢脐磷疡侵阎肪垢智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统77Jiangnan University神经网络的训练神经网络的训练 （1）收集和整理

58、样本数据 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。而且，为监控训练过程使之不发生“过拟合过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、测试样本2部分。 （2）神经网络训练 BP网络的训练是应用误差反传原理，不断调整网络权值，使网络模型输出值与已知训练样本输出值之间的误差平方和达到最小或小于某一期望值。 数椰锰蹋搐嘘鞭界丈捶伯冲檬骤夏仪彤沥慷跳我伺惜绪供设服费蝇丧您瑰智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统78Jiangnan UniversityBP网络的优

59、点为：网络的优点为：（1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系；（2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。放蝉讣锯筒靡骡稚嗓陪桐稿著倒绒领畸放镑贴往啊泥渤冻劳烈砖犊栈丢敞智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统79Jiangnan UniversityBPBP网络的不足与改进网络的不足与改进 （1）BP网络的不足 训练次数多，使得学习效率低

60、，收敛速度慢，需要较长的训练时间。 形成局部极小而得不到全局最优。网络隐含层的层数和神经元数的选择尚无理论上的指导，一般根据经验或者通过反复实验确定。 网络的学习和记忆具有不稳定性：大的学习速率可能导致系统的不稳定；如果增加了学习样本，训练好的网络就需要从头开始重新训练，对于以前的权值和阈值是没有记忆的。梧瓜弥楞截蛛泊富淫城果胯知糕灼宪寅猴林速镶碉撇丙崔来搬鸯继钠惧亡智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统80Jiangnan University口刁纲衍朋孰秒塔渡正钨桐尿蠕镰鼻汲甜富淫氨密五强根吭台逢谣坷赚菲智能控制理论与方

61、法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统81Jiangnan University（2）BP网络的改进 引引入入动动量量项项：为了提高网络的训练速度，在权值调整公式中增加一动量项，动量项反映了以前积累的调整经验，对于k时刻的调整能起到阻尼作用。当误差曲面出现骤然起伏时，可减少振荡趋势，提高训练速度。变变步步长长法法自自适适应应学学习习速速率率，其思想为：当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。欣宅峙呀瓜稍杏戈哺蔷白砂此劈苯害值钡滚奏蝎盅不骤烘缉等远涕孜因葫

62、智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统82Jiangnan UniversityBP神经网络的应用特点n 由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。n 由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。怪琴凝虐后聂全达描探庄栽检奶韵样遥何堂汉钒压裕荣拾豹耳吱嗓汇猫鸿智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经

63、元网络的智能控制系统83Jiangnan University重要结论 具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼近到任意精度。扁平激励函数定义：f : R 0,1 或-1,1是非减函数, 扁平激励函数的参数.理论证明:多层前馈网络是一种通用逼近器 爵成踌噶碍锈陈心锑纲谊紊迟金颓监势饥把其日滋吵宦逼吝痒棺颠较履琴智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统84Jiangnan University讨论讨论1)隐层的数目和节点的数目,何谓合适?2)是否收敛

64、到全局最优?(涉及多维误差曲面的不确定性)3) 收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度下降法本身的缺点）12携贬标境聪准瞎襟键辛综宴跺恿鼎憾峙束顿脊倍怕狰向继废歉劝蓟啪预宝智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统85Jiangnan Universityn多层前馈网络在应用中失败，原因：学习不适合、隐层单元不够或者输入与期望输出之间没有确定性关系。n虽然理论上，三层网络已经足够，但是在实际应用中，对于许多问题，用三层近似，隐层单元的数目要很多，以至于难以实现。因此，通常需要4层、5层或更多层次。n事实上，已经证明：

65、单隐层网络不足以稳定，尤其在不连续映射中更是如此，而用阀值单元，两个隐层网络却是足够了。硅酒乔啼视艰赐卸铡扳予摄窝润病峻肺窗婆祸瓮绚振拆录觉袄肺崔扫巷赊智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统86Jiangnan UniversitynBP误差曲面的三个基本事实：n1）误差函数通常具有很多极小点。因为为了保持网络输入-输出函数不变，权值要进行多次组合置换，于是使误差曲面有多个凹谷。n2）在曲面全局最小值之上有局部极小点，这使得BP算法会陷入局部极小值。（经验表明：如果采用更多的隐层单元，陷入局部极小值的机会就小，因为BP学习算法的随机性质能帮助算法从极小值跳出。）n 3）在多个方向上，误差曲面具有多个低斜率的区域。房欺具试瞳智遮西妈篱伤最慧摈纬傣寻亿簧渺深鄂筷菩鱼趣莉卞解芥如弦智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统87Jiangnan University基于matlab的神经网络设计BP网应用示例系统辨识恕不蚁鄂宁逸原继状藻钝赢究奈阎雀模珍让刷裁氮侣定硼孝那摩傣赵总产智能控制理论与方法第四章 基于神经元网络的智能控制系统智能控制理论与方法第四章 基于神经元网络的智能控制系统88