智能控制课件第4章人工神经网络模型

《智能控制课件第4章人工神经网络模型》由会员分享，可在线阅读，更多相关《智能控制课件第4章人工神经网络模型（47页珍藏版）》请在金锄头文库上搜索。

1、第一节第一节 从生物神经网络到人工神经网络From Biological Neural NetworkTo Artificial Neural Network珐抵肥裤詹炬宴摹惑淄五洲脓寸师绅褒阔也告蜘寐还插均诲噶仕迪鲍驾彬智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型Whats this? 大脑大脑Brain重量重量: 约约12001500g体积体积: 约约600Cm3神经元数神经元数: 约约1011个个判甜狡但朔培关净芭挎西舌键帜丢揽槽须哦葵胁颤玄冈电殆航篡婴怕犁兆智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 大脑的组织结构和功能是人体器官中大脑

2、的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。情绪、运动等高级活动。 feelinghearingseeingtastesmell训融沃烷灼兆肄揖稳骨姿茶糯孕胎纽雇蒂控沃傲诊疽味反恰糜锹恶持识铲智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 虽然人们还并不完全清楚生物神经网络是如虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些何进行工

3、作的，但幻想构造一些“人工神经元人工神经元”，进而将它们以某种方式连接起来，以模拟，进而将它们以某种方式连接起来，以模拟“人人脑脑”的某些功能。的某些功能。 早在早在1943年，心理学家年，心理学家W. McCulloch和数学和数学家家W. Pitts合作，从数理逻辑的角度，提出了神经合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（元和神经网络最早的数学模型（MP模型），标志模型），标志着神经网络研究的开端。着神经网络研究的开端。 半个多世纪以来，神经网络经历了萌芽期、第半个多世纪以来，神经网络经历了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再认识一次高潮期、反思低潮期、

4、第二次高潮期、再认识与应用研究期五个阶段。目前，神经网络已成为涉与应用研究期五个阶段。目前，神经网络已成为涉及计算机科学、人工智能、脑神经科学、信息科学及计算机科学、人工智能、脑神经科学、信息科学和智能控制等多种学科和领域的一门新兴的前沿交和智能控制等多种学科和领域的一门新兴的前沿交叉学科。叉学科。域脚墓毡枢枯诺俊锣较掠柒雨裂拇噪弧中仿枉磺卷碟样猫待灾昧惠匿腥仕智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 生物神经元生物神经元 树突：从细胞体延伸出象树枝一样向四处分散树突：从细胞体延伸出象树枝一样向四处分散开来的的许多突起，称之为树突，其作用是感受开来的的许多突起，称之

5、为树突，其作用是感受其它神经元的传递信号，相当于信息的其它神经元的传递信号，相当于信息的输入通道输入通道。 轴突：神经元从细胞体伸出一根粗细均匀、表面轴突：神经元从细胞体伸出一根粗细均匀、表面光滑的突起，长度从几个光滑的突起，长度从几个 m到到1m左右，称为轴突，左右，称为轴突，它的功能是传出从细胞体来的神经信息，相当于它的功能是传出从细胞体来的神经信息，相当于信息的信息的输出通道输出通道。 神经末梢与突触：轴突末端有许多细的分枝，神经末梢与突触：轴突末端有许多细的分枝，称之为神经末梢，每一条神经末梢可以与其它神称之为神经末梢，每一条神经末梢可以与其它神经元连接，其连接的末端称之为突触。其功能

6、是经元连接，其连接的末端称之为突触。其功能是将轴突传出来的信息传给其它神经细胞，相当于将轴突传出来的信息传给其它神经细胞，相当于信息的信息的输入输入/输出接口输出接口。 钨狙后些涨弗风气中比厨逾内赣摇瞅王庇蔷寿海毕臼对匙尉靖攫踢综驶郭智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 神经细胞单元的信息：宽度和幅度都相神经细胞单元的信息：宽度和幅度都相同的脉冲串同的脉冲串 。 兴奋与抑制：轴突输出的脉冲串的频率兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴兴奋性的突触可能引起下一个

7、神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。奋，抑制性的突触使下一个神经细胞抑制。 生物神经元的信息传递与处理生物神经元的信息传递与处理 膜电位：神经细胞的细胞膜将细胞体内膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的电位，外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位差称一般内部电位比外部低，其内外电位差称之为膜电位。之为膜电位。 悸换刷据咽锭悠建逻潞归孟糯婿饥正烯贰刁咬宫螟臣站荐浮宣逃异拖飞柬智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 膜电位加权：突触使神经细胞的膜电位膜电位加权：突触使神经细胞的膜电位发生变化，且电

8、位的变化是可以累加的，发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。放的脉冲数。 突触延迟：突触传递信息需要一定的延突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为迟，对温血动物，延迟时间为0.31.0ms。谋混咐兆信鲍徽栏盒乔续俄寇盗得译朽厉爱除舟飞载菇肯贯仰子疤镭焚潦智能控制课件第4章人工神经

9、网络模型智能控制课件第4章人工神经网络模型 生物神经元的信息传递与处理示意图生物神经元的信息传递与处理示意图甲：这样便宜就有水用了？！乙：想得美，交了钱别人才放水的！母稼迪公蕾脸湾屿筐州挡挣笋栽托厦风赃卉鄂含悍码鸦瀑妨熟伎记栈氢况智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 生物神经元的基本特征生物神经元的基本特征 神经元具有感知外界信息或其它神经元信息的神经元具有感知外界信息或其它神经元信息的输入端输入端 神经元具有向外界或其它神经元输出信息的神经元具有向外界或其它神经元输出信息的输出端输出端 神神经经元元之之间间的的连连接接强强度度（连连接接权权）决决定定信信号号传

10、传递递的的强强弱，而且联接强度是可以随训练改变的弱，而且联接强度是可以随训练改变的 信信号号可可以以是是起起刺刺激激作作用用的的，也也可可以以是是起起抑抑制制作作用用的的，即连接权的值（即连接权的值（权值权值）可正、可负）可正、可负 每个神经元有一个每个神经元有一个阈值阈值 神经元可以对接受的信号进行累积（神经元可以对接受的信号进行累积（加权加权） 神神经经元元的的兴兴奋奋程程度度（输输出出值值的的大大小小），取取决决于于其其传传输输函数函数及其输入（输入信号的加权与阈值之和）及其输入（输入信号的加权与阈值之和）效褒卸溺甩竣糟留避汁际棠临掘挑颊兔疗橡铝乘寿澜蕾驻胡谈敲据糯肄彪智能控制课件第4章

11、人工神经网络模型智能控制课件第4章人工神经网络模型 人工神经元的一般模型人工神经元的一般模型甲：讲了半天，人工神经元就是一个公式！太简单了吧？乙：还是听听再说惋辉海床钝瘪潍汁风舆陕盐围杯还蒙荔易瘪晋乍溪告歉饲矮蚊赌诅铣作吁智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型Whats this？Its a plane.Wait.I dont know!Dont ask me帝迈耗蠢砾驼奇唬秒卖姑胜掏欠箔助肤重会谆坚祟少懈蔫坛摹书秩逢象夯智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 神经网络的特点神经网络的特点 信信息息的的分分布布式式存存储储及及其其与信

12、息处理的合二为一与信息处理的合二为一 信息的并行协同处理信息的并行协同处理 具具有有学学习习能能力力以以及及自自组组织织、自自学学习习性性，善善于于联联想想、综合和推广综合和推广 问题：问题： 即即便便是是Pentium-II微微处处理理器器，其其时时钟钟频频率率 也也 高高 于于 200MHz。相相反反地地，一一个个神神经经元元的的脉脉冲冲发发放放率率典典型型值值仅仅仅仅在在100Hz的的范范围围内内。计计算算机机要要快快上上百百万万倍倍！但但为为何何大大脑脑能能够够瞬瞬间间完完成成对对飞飞机机图图像像的的识识别别，计计算算机机反反而而对对此此的的反反应应却却如如此此迟钝呢？迟钝呢？ 为为什

13、什么么100天天的的小小孩孩没没有有成人一样的识别能力呢？成人一样的识别能力呢？祖苦厢碗携窃署阔世叹黎帘共沈拇纳狼佯巩骂镑棵阔传皑邓耳业境临搀毁智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 人工神经网络的一般结构人工神经网络的一般结构莎倒滓有阴幌晶潍骋疑肠煌栖茫舔萎伸坦嘴此粉歉拭一量囊榜呢愚堂柴稀智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 简单公式中的复杂问题简单公式中的复杂问题 人工神经网络的分布式存储是如何实现的？人工神经网络的分布式存储是如何实现的？ 信息分布存储在众多神经元的权值和阈值中。信息分布存储在众多神经元的权值和阈值中。 神经元

14、的权值和阈值是如何确定的？神经元的权值和阈值是如何确定的？ 人工神经网络的学习与训练人工神经网络的学习与训练。 神神经经元元的的传传输输函函数数代代表表什什么么含含义义？它它对对神神经经元元和和神经网络有什么影响？神经网络有什么影响？ 传传输输函函数数表表示示了了神神经经元元对对输输入入信信号号加加权权的的响响应应。不不同同的的传传输输函函数数，代代表表不不同同的的神神经经元元模模型型，进进而而影响神经网络的结构。影响神经网络的结构。 弹艺鞠刀榔固茫胁蔚桥椒搓画坷电坷兄葱募争芳篡圈答蜒丘呵术抱旱挫侈智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 人工神经网络（人工神经网络

15、（ANN ANN Artificial Neural Artificial Neural NetworksNetworks）是采用可物理实现的系统来模仿人脑神）是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统。经细胞结构和功能的系统。 未来的脑科学将加强与行为科学、认知科学和信息科学的联系。脑科学与信息科学及技术的结合将引起以脑为中心的科技革命 智能革命! ANN定义定义 从生物神经网络到人工神经网络的探索，虽然从生物神经网络到人工神经网络的探索，虽然经历了半个多世纪的里程，但探究大脑经历了半个多世纪的里程，但探究大脑思维思维计计算之间的关系还刚刚开始，关于脑的计算原理及其算之间的关系

16、还刚刚开始，关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理及其模复杂性；关于学习、联想和记忆过程的机理及其模拟等方面的研究道路还十分漫长。拟等方面的研究道路还十分漫长。磅肾跃送晦伐聪抖庇蜜队城缘率般哑竿蠕啦沼勋期岗嫌鹰分纪猛蟹搬逊仑智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型第二节第二节 人工神经网络模型应用与仿真Applications & Simulationof Artificial Neural Network Models须演犹酗曲夕资芳柳劈暮冲篆颖饭粟庶仙萎墒嘎致松昧层滚送吃太淑戚世智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络

17、模型 人人工工神神经经网网络络的的应应用用领领域域极极其其广广泛泛，比较擅长的应用领域包括：比较擅长的应用领域包括： 人工神经网络的应用人工神经网络的应用 模式识别模式识别 人工智能人工智能 控制工程控制工程 优化计算和联想记忆优化计算和联想记忆 信号处理信号处理 甲：神经网络真那么神奇吗？乙：我听说罕愧淑沤华委诲闭试赐伴员痈梯敏抑誊逞蓖私幅韶眺狐勃矗疟较憾慈濒衅智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 在在人人工工神神经经网网络络的的发发展展过过程程中中，从从不不同同的的角角度度对对生生物物神神经经系系统统不不同同层层次次的的描描述述和和模模拟拟，提提出出了了各各

18、种种各各样样的的神神经经网网络络模模型型，其中具有代表性的网络模型有：其中具有代表性的网络模型有： 人工神经网络的模型人工神经网络的模型 感知器感知器 线性神经网络线性神经网络 BP网络网络 径向基函数网络径向基函数网络 自组织网络自组织网络 反馈网络反馈网络共吝裳疟翼沪悼曼版颇橡币钾红竟杭刀居仑皆区朵雍进委兰际扰调茎轰奄智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 关于神经网络的实现技术关于神经网络的实现技术 神神经经网网络络的的实实现现技技术术可可以以分分为为全全硬硬件件实实现现和和虚虚拟实现两个方面。拟实现两个方面。 全全硬硬件件实实现现研研究究的的核核心心是是神

19、神经经器器件件的的构构造造，其其主要研究方向有：主要研究方向有： 电子神经芯片的研究电子神经芯片的研究 光学神经芯片的研究光学神经芯片的研究分子分子/生物神经芯片的研究生物神经芯片的研究 虚拟实现主要分为以下几类：虚拟实现主要分为以下几类： 传统计算机上的软件仿真传统计算机上的软件仿真 神经计算的多机并行实现神经计算的多机并行实现 神经网络加速器神经网络加速器 拧睁嘱们愧旭死嗓箍背引邹赛涝够获痴厄绞竹漱蛹社遂豢续僳椭狈弧涅翻智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 神经网络的软件仿真系统神经网络的软件仿真系统 基基于于传传统统计计算算机机的的软软件件仿仿真真系系统统

20、，通通用用性性强强，为为用用户户研研究究和和设设计计神神经经网网络络提提供供了了很很好好的的开开发发平平台，因而被迅速推广。台，因而被迅速推广。 最有代表性的神经计算商用软件有：最有代表性的神经计算商用软件有： RCS：1987年，年，Rochester 大学研制大学研制 P3：1986年，年，Ziper & Rabin 研制研制 MIRRORS：1988年，年， Maryland 大学研制大学研制 Neural Networks：1989年，年，Neural Ware公司公司 GKD：1990年，国防科技大学研制年，国防科技大学研制旺苇堕天颈篷瘁豺毁忽旅锻匈雪蝶姐墟凄滓尚取菩初铝飞亡使拭匣贾

21、折是智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 MATLAB及其工具箱及其工具箱 MATLAB 是是 Math Works 公公司司于于1982年年推推出出的的一一套套高高性性能能的的数数值值计计算算的的可可视视化化软软件件，意意为为“矩矩阵阵实实验验室室”（MATrix LABoratory）。其其强强大大的的扩扩展展功功能能为为各各个个领领域域的的应应用用提提供供了了基基础础，由由各各领领域域的的专专家家学学者者相相继继推推出出了了各各种种MATLAB工工具具箱。目前主要的工具箱包括：箱。目前主要的工具箱包括： Communications Toolbox Con

22、trol System Toolbox Filter Design Toolbox Fuzzy Logic Toolbox Image Processing Toolbox扬泵茨忆珠继线亏滴凿股闭泊鱼恭掐桨朔要轨啤瞩执片忧了铁镀贤祸冒敏智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 MATLAB及其工具箱及其工具箱 目前主要的工具箱（续）：目前主要的工具箱（续）： Instrument Control Toolbox Mapping Toolbox Model-Based Calibration Toolbox Predictive Control Toolbox Neu

23、ral Network Toolbox Optimization Toolbox Differential Equation Toolbox Signal Processing Toolbox System Identification Virtual Reality Toolbox Wavelet Toolbox附摧桩菠邯抖颅球申酗色慌坠疗锌计脓宿厨垫酒汾嚣赞尤衡捷憨板摄剔给智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 MATLAB Neural Network Toolbox Neural Network Toolbox4.0.2包包含含了了170多多种种工工具具箱

24、箱函函数数，另另外外还还提提供供了了神神经经网网络络动动态态仿仿真真环环境境SIMULINK，允允许许用用户户自自定定义义神神经经网网络络和和自自定义网络函数。定义网络函数。 在在MATLAB神神经经网网络络仿仿真真程程序序的的设设计计中中，主要用到以下几个方面的主要用到以下几个方面的NN Toolbox函数：函数： 神经网络的创建神经网络的创建/设计函数设计函数 初始化函数初始化函数 训练训练/学习函数学习函数 网络仿真函数网络仿真函数翔唐六箱扫枚赃钎倦钠槽搀汹闪簧扁泛眩寡根烧补盯堵蒂诀殿野填秋际恋智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器模型感知器模型 感

25、知器神经元模型感知器神经元模型 单层感知器神经网络模单层感知器神经网络模型型 标厕阎酗谱蜗脐天粱羔超坡苦既漳刹答概盅耪涎秸裁区搓浚圭跌糕函号硬智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器神经网络特点感知器神经网络特点 阈值型传输函数阈值型传输函数 单层网络单层网络 只适于解决线性可分问题只适于解决线性可分问题 甲：什么是感知器？乙：我在网上看见 感知器神经网络的学习感知器神经网络的学习 训练：权值和阈值的调整过程被称为训练：权值和阈值的调整过程被称为“训练训练”。 学学习习：神神经经网网络络在在训训练练的的过过程程中中，便便学学到到了了把把输输入入空空间间影影射

26、射到到输输出出空空间间的的能能力力，称称之之为为神神经经网网络络的的“学学习习”，调调整整权权值值和和阈阈值值的的算算法法称称之之为为学学习规则或训练算法。习规则或训练算法。 肇夸凭痒无诱巍唬才籍鬃置碳逗好黄券韧罪倦滞褐易兜蓝丑崇缚散盎嫡逝智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器的学习规则感知器的学习规则 感感知知器器的的学学习习是是一一种种有有教教师师学学习习方方式式，其其学学习习规规则则称称之之为为 规规则则。若若以以 t 表表示示目目标标输输出出，a 表表示示实际输出，则实际输出，则 网络训练的目的，就是要使网络训练的目的，就是要使 t a。 当当e=

27、0时，得到最优的网络权值和阈值；时，得到最优的网络权值和阈值； 当当e0时时，说说明明得得到到的的实实际际输输出出小小于于目目标标输输出出，应增加网络权值和阈值；应增加网络权值和阈值； 当当e0时时，说说明明得得到到的的实实际际输输出出大大于于目目标标输输出出，应减小网络权值和阈值。应减小网络权值和阈值。 鞠折款背毙费脚墨蝶窑蝗俭只腰舀势畜该视凶肤阎漆追啮挡粟带乏诗爪靳智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器的学习规则感知器的学习规则 从从 规规则则中中可可以以看看出出，感感知知器器神神经经网网络络的的训训练练，需需要要提提供供训训练练样样本本集集，每每个个

28、样样本本由由神神经经网网络络的的输输入入向向量量和和目目标标向向量量对对构构成成，n个个训训练练样样本本构构成成的的训练样本集为：训练样本集为： 每每一一步步学学习习过过程程，感感知知器器神神经经元元的的权权值值阈阈值值进进行调整的算法可表示为：行调整的算法可表示为： 译送樊纶导哑擎己钾满胀檀虾坟忆黔捧涕孜裁烈逼毋臼推衅桥芭诚缩烛蜕智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器的感知器的MATLAB仿真仿真 单层感知器的单层感知器的MATLAB仿真主要步骤：仿真主要步骤： 以以newp创建感知器神经网络创建感知器神经网络 以以train训练所创建的网络训练所创建的

29、网络 以以sim对训练后的网络进行仿真对训练后的网络进行仿真 单层感知器应用实例单层感知器应用实例 设设计计一一单单层层单单输输出出感感知知器器神神经经网网络络，进进行行二值化图像卡片上数字二值化图像卡片上数字0-90-9的奇偶分类。的奇偶分类。 啼燕霸弘莫娜辆璃藻彝圆虐岳诵邪雷馅甩裔敛础酉幼珠槽椎昂难夺吾议卓智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器的感知器的MATLAB仿真仿真 问题分析问题分析 从从数数字字1 1和和0 0的的二二值值化化图图像像卡卡片片可可以以看看出出，每每一一个个图图像像卡卡片片可可以以分分成成4 4 3 3的的矩矩形形方方块块，假假

30、设设每每个个小小方方块块有有数数字字的的笔笔画画划划过过（即即在在小小方方块块内内二二值值图图像像元元素素的的值值至至少少有有一一个个不不为为0 0），则则记记为为1 1，否否则则记记为为0 0，那那么么图图像像卡卡片片上上所所有有小小方方块块表表达达了了有有0 0、1 1二二值值组组成成的的一一个个模模式式（或或向向量量），可以作为感知器神经网络的输入向量。可以作为感知器神经网络的输入向量。 如如果果我我们们设设计计的的感感知知器器神神经经网网络络使使得得网网络络的的输输出出在在图图像像卡卡片片上上的的数数字字为为奇奇数数时时输输出出为为0，偶数时输出为偶数时输出为1，则可以完成其奇偶分类。

31、，则可以完成其奇偶分类。 锁身饶付歼仅讥豢况脸钒蒲幢硬枣悸庇轩债多黎樟在腑浪贱缄兑精淌模贾智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器的感知器的MATLAB仿真仿真 设计感知器神经网络设计感知器神经网络 根根据据以以上上分分析析，按按本本题题要要求求设设计计的的感感知知器器神经网络的基本结构为：神经网络的基本结构为： 网网络络有有1 1个个输输入入向向量量，包包括括1212个个元元素素，对对应应图图像像卡卡片片上上1212个个小小方方块块的的值值，输输入入元元素素的的取取值值范围为范围为0 10 1； 训练样本集必须包括训练样本集必须包括 0-9 图像卡片样本；

32、图像卡片样本； 为单层、单神经元感知器神经网络；为单层、单神经元感知器神经网络； 输输出出是是一一个个二二值值向向量量0 0或或1 1，它它的的两两种种不不同同取取值值分分别别表表示示分分类类结结果果的的奇奇偶偶情情况况，所所以以，神神经经元的传输函数可以取为元的传输函数可以取为hardlim函数。函数。 浸娱估痉伍先沟俏昼咸撩备净骑零镀撩傍褪缨厂吩版化牡苗柜谍舟葵斡啸智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 感知器的感知器的MATLAB仿真仿真 设计的感知器神经网络结构设计的感知器神经网络结构 感知器神经网络的感知器神经网络的MATLAB程序实现程序实现 神经网络

33、的创建与训练神经网络的创建与训练 神经网络的仿真神经网络的仿真饶罪高窝忆棵断管灼即谷敦耿肢摈荚寒折吻震蔓右描刑块至纲胁古沙溯蛮智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 线性神经网络线性神经网络 线性神经元模型线性神经元模型 线性神经网络模型线性神经网络模型 线性神经网络特点线性神经网络特点 与与感感知知器器一一样样，只只适适于于解解决决线线性性可可分分问问题题，但但比感知器的抗噪能力强。比感知器的抗噪能力强。 具具有有较较广广泛泛的的实实际际用用途途，特特别别是是在在数数字字信信号号处处理方面，比如，实现高性能的自适应滤波器。理方面，比如，实现高性能的自适应滤波器。

34、 一般为单层，也可为多层网络（一般为单层，也可为多层网络（MADALINE）李矗期邑峦秃袍赐秆袒蛀睫界棵午额铭崔赎蚤优益以寿话妆圆咨盟遂赶彦智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 线性神经网络的学习线性神经网络的学习 线线性性神神经经网网络络采采用用均均方方误误差差最最小小的的学学习习规规则则，即即LMS（Least Mean Squares）算算法法，来来调调整整网网络络的的权权值值和和阈阈值值，它它是是一一种种沿沿误误差差的的最最陡陡下下降降方方向对前一步权值向量进行修正的。向对前一步权值向量进行修正的。 对对Q个训练样本构成的训练样本集为：个训练样本构成的训

35、练样本集为： LMS算算法法的的基基本本思思想想是是找找到到合合适适的的权权值值和和阈值，使下列均方误差最小：阈值，使下列均方误差最小：荐巫奶腥鳃恐迟详挫池吸跃诌冻倡魄飘历惜愁秸躯腥爵述巳婪至八瑞慧较智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 线性神经网络的学习规则线性神经网络的学习规则 每每一一步步学学习习过过程程，线线性性神神经经元元的的权权值值阈阈值值进进行行调整的算法可表示为：调整的算法可表示为： 式式中中， 是是决决定定权权值值和和阈阈值值的的收收敛敛速速度度和和稳稳定定性性参参数数，称称之之为为学学习习速速率率，学学习习率率越越大大，学学习习的的速速度度越

36、越快快，但但过过大大的的学学习习率率会会使使修修正正过过度度，造造成成不不稳稳定定，反反而而使使误误差差更更大大。在在MATLAB神神经经网网络络工工具具箱箱中中，可可以以通通过过 maxlinlr 函函数数确确定定最最大的学习率。大的学习率。 傈苞凤挨毯沟岿挠蓟懦拉翱阀掷粮佩供祁狼隧赃汰租枝炸泞抄彻邹潍余撬智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 线性神经网络的线性神经网络的MATLAB仿真仿真 线性神经网络的应用实例线性神经网络的应用实例 以自适应线性网络实现噪声对消。以自适应线性网络实现噪声对消。 问题分析问题分析 利利用用自自适适应应线线性性网网络络实实现现

37、噪噪声声对对消消的的原原理理框框图如图所示图如图所示 ：鸵谆库吊清荤莉剿歹柯萄嫂敖唁勺斩掣客无朔哲亮牙勋揪座憾投阴花讶湖智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 对消原理对消原理笑时抿颂腐扩辰贯骆纠蛆逐寞邱举恳臼烹蔬上纫维休吨哨全谗莉愁士猴弛智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 MATLAB仿真程序设计仿真程序设计 假假设设信信号号为为一一正正弦弦信信号号，受受到到随随机机噪噪声声的的污污染染。根根据据以以上上分分析析，ADALINE自自适适应应线线性性神神经经元元的的输输入入向向量量为为随随机机噪噪声声；正正弦弦波波信信号号与与随随

38、机机噪噪声声之之和和为为ADALINE神神经经元元的的目目标标向向量量；输输出信号为网络调整过程中的误差信号。出信号为网络调整过程中的误差信号。 本本例例线线性性神神经经网网络络MATLAB仿仿真真程程序序设设计计的主要步骤：的主要步骤： 以以newlin创建线性神经网络创建线性神经网络 构造训练样本集构造训练样本集 以以adapt自自适适应应调调整整所所创创建建的的网网络络，获获得得网络训练的误差信号，即为输出信号。网络训练的误差信号，即为输出信号。 昔梯嗡半瘩挺讹彬阿歌坠滤编损敖归涟绝昭谐秋按仿斯想几闪晌梁权伪戊智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 BP神经

39、网络神经网络 BP神经元模型神经元模型 BP神经网络特点神经网络特点 多层网络多层网络 理理论论上上，如如果果隐隐层层神神经经元元数数不不加加限限制制，两两层层BP网络可以完成输入到输出的任意函数影射。网络可以完成输入到输出的任意函数影射。 传传输输函函数数为为非非线线性性函函数数，多多为为logsig和和tansig函函数，最后一层也可为数，最后一层也可为purelin函数。函数。 BP网网络络广广泛泛应应用用最最为为广广泛泛，8090的的人人工工神神经经网网络络模模型型是是采采用用BP网网络络或或它它的的变变化化形形式式，体现了人工神经网络最精华的部分。体现了人工神经网络最精华的部分。 生

40、取锚瘴涪动汗亨浊捕坐旦朋眠枣燎渤品外厢扬壁段副傍忱丛修杏沦然峭智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 BP网络的学习规则网络的学习规则 标标准准的的BP算算法法和和LMS学学习习规规则则一一样样是是一一种种梯梯度度下下降降学学习习算算法法，其其权权值值的的修修正正是是沿沿着着误误差差性性能能函函数数梯梯度度的的反反方方向向进进行行的的。针针对对标标准准BP算算法法存存在在的的一一些些不不足足，出出现现了了几几种种基基于于标标准准BP算算法法的改进算法，如变梯度算法、牛顿算法等。的改进算法，如变梯度算法、牛顿算法等。 BP网络的网络的MATLAB仿真仿真 BP网络的

41、应用实例网络的应用实例 设设计计基基于于BPBP神神经经网网络络的的印印刷刷体体字字符符0-90-9的的识识别系统。别系统。 氰厂刷只擅慨沼豫士庶瑟恍亏敛副持褐扒凯摸组绥夺坦热栈哨盐仑髓畦餐智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 BP网络的网络的MATLAB仿真仿真 问题分析问题分析 识识别别的的对对象象是是印印刷刷体体数数字字，这这里里我我们们以以画画图图工工具具获获得得的的不不同同字字体体、字字号号的的数数字字0-9的的BMP图图形形作作为为原原始始数数据据，编编程程对对其其进进行行预预处处理理，获获得得16 16的的二二值值图图像像，如如图图所所示示，其其二

42、二值值图图像像数数据据作作为为神神经网络的输入。经网络的输入。 混用男视艳组酪解副庆轨辙陀针龄赖未侣辛瞳纹咙娶铲埂破犯瓜叶升乞超智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 BP网络的结构设计网络的结构设计 我我们们选选用用两两层层BP网网络络，其其输输入入节节点点数数为为16 16=256；隐隐层层传传输输函函数数为为logsig函函数数，假假设设采采用用一一个个输输出出节节点点表表示示10个个数数字字，则则输输出出层层传传输函数为输函数为pureline；隐层节点数取为；隐层节点数取为25 。 BP网络的网络的MATLAB仿真程序设计仿真程序设计 本例本例MATLA

43、B仿真程序设计的主要步骤：仿真程序设计的主要步骤： 构构造造训训练练样样本本集集，并并构构成成训训练练所所需需的的输输入入矢量矢量p和目标矢量和目标矢量t ； 对原始图像进行预处理；对原始图像进行预处理； 创建和训练创建和训练BP网络；网络； 对训练后的网络进行仿真。对训练后的网络进行仿真。 归泊昌玉撂拆军变漫剖叮毙作弥惕朋季惋烛夜淬咒改掉扶胖嫁执驼釜每掂智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 Hopfield网络网络 离散离散Hopfield 神经网络模型神经网络模型园钮钩钨祷剿簿毁掩快过妻疽称砷想羌肖穴漱而粒夹渡黑候湛六若算疵致智能控制课件第4章人工神经网络模

44、型智能控制课件第4章人工神经网络模型 Hopfield神经网络特点神经网络特点 引引入入了了网网络络能能量量函函数数概概念念，使使网网络络稳定性研究有了明确的判据；稳定性研究有了明确的判据； 善于联想记忆和进行优化计算等。善于联想记忆和进行优化计算等。 连连续续 Hoppfield 网网络络的的电电子子电电路路实实现为神经计算机的研究奠定了基础；现为神经计算机的研究奠定了基础；挠诣暮午帜式庞今窟担镊迅因聋砾雨拽抨膳政已哉虱咖祁绞棍易僳暂鸯劲智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 Hopfield网络的设计网络的设计 在在MATLAB中中，Hoppfield 网网络

45、络是是通通过过设设计计函函数数进进行行创创建建的的，它它没没有有学学习习函函数数，不不能能进进行行训训练练。网网络络设设计计的的目目标标是是：存存储储一一组组特特定定的的稳稳定定平平衡衡点点，当当输输入入一一组组初初始始条条件件，网网络络最最后后可可以以唤唤醒醒对应的稳定平衡点。对应的稳定平衡点。 初初始始条条件件输输入入后后，一一旦旦网网络络开开始始运运行行，网网络络的的输输出出会会自自动动反反馈馈至至输输入入，如如此此反反复复，直直至至网网络络的的输输出出稳稳定定为为止止，此此时时，每每一一个个输输出出向向量量最最终终收收敛于与初始条件激励的最接近的一个稳定平衡点。敛于与初始条件激励的最接

46、近的一个稳定平衡点。 皿教霸过彤服盎卿侣雷人纽根场没顶遏察续病橇泰婉侨背段块坤胶功碌乃智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 Hopfield网络的网络的MATLAB仿真仿真 Hoppfield 网络的应用实例网络的应用实例 Hopfield 神神经经网网络络常常用用于于联联想想记记忆忆。假假设设我我们们希希望望构构造造一一个个联联想想记记忆忆模模型型，这这个个模模型型能能够识别出图示够识别出图示4个数字。个数字。 问题分析问题分析 以以0表表示示数数字字笔笔画画划划过过的的小小方方块块，以以1表表示示数数字字笔笔画画未未划划过过的的小小方方块块，则则Hopfie

47、ld网网络络的的需需要要56个个神神经经元元表表示示各各方方块块的的状状态态；网网络络结结构构要要求目标向量用一维向量表示。求目标向量用一维向量表示。 赚勋搁杂黄赘退悸具只脆膳盲糜恕拍压蹿碧负卉服檄俭煮遂旱骄盟杀悸壹智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型 Hopfield网络的网络的MATLAB仿真程序设计仿真程序设计 本例本例MATLAB仿真程序设计的主要步骤：仿真程序设计的主要步骤： 根据数字图片，构造标矢量根据数字图片，构造标矢量t ； 创建和设计创建和设计Hoppfield 网络；网络； 对训练后的网络进行仿真。对训练后的网络进行仿真。 神经网络理论研究、神经网络应用研究和神经网络的实现技术是人工神经网络的三个研究主要方向。 本讲结合神经网络的应用实例，对神经网络模型算法及其MATLAB仿真作了简要介绍，与神经网络本身的深奥理论与广泛应用，犹如“九牛之一毛”，若大家能从中有所收获，便是我最大的欣慰！谢谢大家！屹镣姐仅箩姿棉锹唾庆煎篡侦底绚著硝党填鸥抨阶柜蓄液菱膝赚渺旁畦踩智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型苔素排述怖阂恳咖纸讨呛舵轧条积穗眺影斗煌扔仁纤望劳坪毙焉喳视髓嫂智能控制课件第4章人工神经网络模型智能控制课件第4章人工神经网络模型