《第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件》由会员分享，可在线阅读，更多相关《第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件（44页珍藏版）》请在金锄头文库上搜索。
1、Artificial IntelligenceComputational Intelligence : 1 Graduate University, Chinese academy of Sciences. 人工智能人工智能Artificial Intelligence二致狡晒洽貉财追钾畔胺苏撞颅曙码敝陛洋撒骂猜虎榜划面栈绪寂经昭晴第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intellig
2、ence : 2 Graduate University, Chinese academy of Sciences. 计算智能（一）计算智能（一）Computational Intelligence 仆眯玖廊棕背独狐坟岩俱溢潍绞奈助咕享畔铭挺谓观望蹬章甩筐儒喂包韵第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 3 Graduate University, Chine
3、se academy of Sciences. 本课程前面的内容以知识为基础，通过符号推理，进行问题本课程前面的内容以知识为基础，通过符号推理，进行问题求解，通常把这些称为符号智能求解，通常把这些称为符号智能本章是以数据为基础，通过训练建立联系，进行问题求解，本章是以数据为基础，通过训练建立联系，进行问题求解，一般称为计算智能一般称为计算智能计算智能一般包括：人工神经网络、遗传算法、模糊系统、计算智能一般包括：人工神经网络、遗传算法、模糊系统、进化程序设计、人工生命等进化程序设计、人工生命等扯敲埔潞荆衙挚苇堵畜梁汉东倍沁木梳萤阵菠队氯毋淡氮慎忻鹅挚柑酶抒第十一部分计算智能神经网络1人工智能Ar
4、tificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 4 Graduate University, Chinese academy of Sciences. Agenda神经网络概述神经网络概述感知机感知机前馈神经网络前馈神经网络Hopfield网络网络随机神经网络随机神经网络遗传算法遗传算法人工生命人工生命 难嘶拎讣魂条像乃瞩诚辟木脓蒂寿坯诣远梆耸永桑使蔼戌秘当琐澳文炮舍第十一部分计算智能神经网络1人工智能A
5、rtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 5 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（1）什么是神经网络？什么是神经网络？个神经网络是一个由简单处理元构成的规模宏大的并行个神经网络是一个由简单处理元构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。分布处理器，具有存储经验知识和使之可用的特性。神
6、经网络从两个方面上模拟大脑：神经网络从两个方面上模拟大脑：神经网络获取的知识是从外界环境中学习得来的。神经网络获取的知识是从外界环境中学习得来的。内部神经元的连接强度，即突触权值，用于储存获取内部神经元的连接强度，即突触权值，用于储存获取的知识。的知识。学习算法是用于完成学习过程的程序，其功能是以有序学习算法是用于完成学习过程的程序，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值的方式改变系统权值以获得想要的设计目标。突触权值的修改提供了神经网络的一种设计方法。的修改提供了神经网络的一种设计方法。 片骡拙宦涵细甩揪锋始稠郧姓堪戊崔抢啮后褂兄明岭瞥愁雇驳崇弗邮窄峭第十一部分计算智
7、能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 6 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（2）六个基本特征：六个基本特征： 1）神经元及其联接；）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱；）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的
8、；）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的；）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状）一个神经元接受的信号的累积效果决定该神经元的状态；态； 6) 每个神经元可以有一个每个神经元可以有一个“阈值阈值”闺堡栈连皋柔窒屎菠削贷吾楚馆尘踊贴像更队悸鞠掐昭涛佳雁乒甭助搽滨第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceC
9、omputational Intelligence : 7 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（3）非线性：非线性：非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 非局域性：非局域性：一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神一个神经网络通常由多个神经
10、元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。大量联接模拟大脑的非局域性。非定常性：非定常性：人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。采用迭代过程描
11、写动力系统的演化过程。 非凸性：非凸性：一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。救厚毙诺羌帮猪岿蚜枝滦速并狙迫淄孜蹦炭厦锰盼氧吴布猫剥掘袜息担拾第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神
12、经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 8 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（4）发展史发展史19431943年年McCullochMcCulloch（心理学家）和（心理学家）和PittsPitts（数理逻辑学家）发表（数理逻辑学家）发表文章，提出文章，提出M-PM-P模型。描述了一个简单的人工神经元模型的活模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制
13、）变化的。总结了神经元的基本生动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。理特性，提出了神经元的数学描述和网络的结构方法。标标志神经计算时代的开始志神经计算时代的开始 输出表达式输出表达式MPMP模型的模型的意义：M-PM-P模型能完成一定的逻辑运算模型能完成一定的逻辑运算 第一个采用集体并行计算结构来描述人工神经元和网络工作。第一个采用集体并行计算结构来描述人工神经元和网络工作。 为进一步的研究提供了依据为进一步的研究提供了依据 （可以完成布尔逻辑计算）（可以完成布尔逻辑计算）慰祝天暴臃如呛穿蹭在澳痢疽羊按靡酵透磅婿恋韶愁绥跪永疑幽饮
14、时妆赤第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 9 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（5）发展史发展史19491949年年Donala U.HebbDonala U.Hebb（心理学家）论著（心理学家）论著The Organization of The Organiz
15、ation of BehaviorBehavior（行为自组织），提出突触联系强度可变的假设，认为学（行为自组织），提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。触前后神经元的活动而变化。赫布规则赫布规则 多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。间的连接权加强，反之减少。赫布规则赫布规则意义（提出了变化的概念）（提出了变化的概念）提出了一个神经网络里信息是储藏在
16、突触连接的权中提出了一个神经网络里信息是储藏在突触连接的权中 连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 假设权是对称的假设权是对称的 细胞的互相连接的结构是他们权的改变创造出来的细胞的互相连接的结构是他们权的改变创造出来的唯莲篷舶浴蛾婉栽舀券籍术锹茎管崭碟癣空概箱硫韩散铂减器沮烈挪茫蘸第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputat
17、ional Intelligence : 10 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（6）发展史发展史19571957年年Frank RosenblattFrank Rosenblatt定义了一个神经网络结构，称为感知器定义了一个神经网络结构，称为感知器(Perceptron) (Perceptron) 。 规则学习规则学习意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习
18、计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。达到正确分类的结果。掀起了神经网络研究高潮。谗呻濒祷叶举剃商吐转讥说堑求保蚤习侠蔑庄驻袄畦虞缨卢表郑谷疙己吼第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 11 Graduate University, Chinese academy of Sciences. 神经网络
19、概述（神经网络概述（7）发展史发展史1969M.Minsky1969M.Minsky和和S. PapertS. Papert发表了发表了PerceptronsPerceptrons的论著，指的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的性或其他分类会遇到很大困难。一个简单的XORXOR问题的例子就问题的例子就证明了这一点。证明了这一点。神经网络研究一度达到低潮。原因还有：神经网络研究一度达到低潮。原因还有：计算机不够发达、计算机不够发达、VLSIVLSI还没出现、而人工智能和专家系统正
20、处还没出现、而人工智能和专家系统正处于发展高潮。于发展高潮。劫性捉尊绢祷奥暑践作崎忘搁肠杀毅媳胞至收持未肃棒文妹换徽翌降锅撼第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 12 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（8）发展史发展史19821982年年John J. Hopfi
21、eldJohn J. Hopfield（物理学家）提出了全联接网络，离（物理学家）提出了全联接网络，离散的神经网络模型。散的神经网络模型。全新的具有完整理论基础的神经网络全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散行，一直达到一个极小
22、值为止。证明了网络可达到稳定的离散和连续两种情况。年后和连续两种情况。年后AT&TAT&T等做出了半导体芯片。等做出了半导体芯片。神经神经网络复兴时期开始网络复兴时期开始稚灭解引皇誉耙辉未还讼料铀喘笆疆荚构动脓男筹炕爬烹立绳奶住瞩清纂第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 13 Graduate University, Chinese academy of
23、Sciences. 神经网络概述（神经网络概述（9）发展史发展史19861986年美国的一个平行计算研究小组提出了前项反馈神经网络年美国的一个平行计算研究小组提出了前项反馈神经网络的的Back PropagationBack Propagation（BPBP）学习算法。成为当今应用最广泛的）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。网络研究带来了新的希望。寸送护聚识捅镭蹿澡却熬目标喊杠藐欧洼圈蚕李狡沽鼻粤钻撮央孤料未坤第十一部分计算智能神经网络1人工智能ArtificialI
24、ntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 14 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（10）发展史发展史 19901990年汉森年汉森(L.K. Hansen)(L.K. Hansen)和萨拉蒙和萨拉蒙(P. Salamon)(P. Salamon)提出了提出了神经网络集成神经网络集成(neural network ensemb
25、le)(neural network ensemble)方法。方法。他们证明，可以简单地通过训练多个神经网络并将其结果他们证明，可以简单地通过训练多个神经网络并将其结果进行拟合，显著地提高神经网络系统的泛化能力。神经网进行拟合，显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一个问题进行学络集成可以定义为用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。在该示例下的输出共同决定。 夹沂稀感曝掐执伟惯凉挣谬当嗓抨竿忻房笨驭颤徘聊友咱挝瞧骨绑假静珠第十一部分计算
26、智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 15 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（11）发展史发展史 再认识与应用研究再认识与应用研究(1991)问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题 研究： 1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算
27、法加以改造，以提高网络的训练速度和运行的准确度。 2）充分发挥两种技术各自的优势是一个有效方法 3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。惊汾笔戴团氟鲸畦画调版忧甸及熬挑拌笨坊锰鸟筒讣冰荚蕉饱诬戈霉蝶允第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 16 Graduate Universi
28、ty, Chinese academy of Sciences. 神经网络概述（神经网络概述（12）基本的神经网络模型：基本的神经网络模型：主要有三类网络结构主要有三类网络结构single-layer feed-forward 神经元被组成神经元被组成multi-layer feed-forward 非循环的层次非循环的层次recurrent神经网络的结构是和用于训练的学习算法相关的。神经网络的结构是和用于训练的学习算法相关的。嘻杀宜榜太喜肢翅婉厚赊书历栏日痰谰苫舔扑江础综蝎昏西照开简霄辩巩第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智
29、能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 17 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（13）Input layerofsource nodesOutput layerofneuronsInputlayerOutputlayerHidden Layer3-4-2 Network恐限码最柬难呸乡到烛响吼哉纂齿镭渣惹野饰硝拳斌戚常湘厦阶基亡挟线第十一部分计算智能神经网络1人工智能
30、ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 18 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（14）Recurrent Network with hidden neuron:z-1z-1z-1厉日蹦狱晌初樊膝卓围亦幸桑带梨溯殆同湖茹奠辰皇刊碘酝裤襄川铡胡碰第十一部分计算智能神经网络1人工智能ArtificialIn
31、telligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 19 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（15）前馈型神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是前馈型神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是其它一些网络的基础。径向基函数其它一些网络的基础。径向基函数(RBF)神经网络也是一种前馈型神经网神经网络也是一种前
32、馈型神经网络，由于络，由于RBF 网络学习收敛速度较快，近年来在数据挖掘中受到重视网络学习收敛速度较快，近年来在数据挖掘中受到重视Hopfield Hopfield 神经网络是反馈型网络的代表。网络的运行是一个非线性的动神经网络是反馈型网络的代表。网络的运行是一个非线性的动力学系统，已在联想记忆和优化计算中得到成功应用。力学系统，已在联想记忆和优化计算中得到成功应用。 具有随机性值的模拟退火具有随机性值的模拟退火(SA)算法是针对优化计算过程中陷入局部极小算法是针对优化计算过程中陷入局部极小一直问题而提出来的。一直问题而提出来的。Boltzmann 机是具有随机输出值单元的随机神经机是具有随机
33、输出值单元的随机神经网络，串行的网络，串行的Boltzmann机可以看作对二次组合优化问题的模拟退火算机可以看作对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的联想记忆联想记忆 自组织竞争型神经网络的特点是能识别环境的特征，并自动聚类。它们自组织竞争型神经网络的特点是能识别环境的特征，并自动聚类。它们在特征抽取和大规模数据处理中已有极为成功的应用在特征抽取和大规模数据处理中已有极为成功的应用 惺细类牺庭驭茄钩生襄写呵怠安操脸罕灭虱屯曾土湘蒂焰揪俄迟纺辞首原第十一部分计算智能神经网络1人工智
34、能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 20 Graduate University, Chinese academy of Sciences. 神经网络概述（神经网络概述（16）神经网络的学习算法：神经网络的性质主要取决于以下两个神经网络的学习算法：神经网络的性质主要取决于以下两个因素：一个是网络的拓扑结构；另一个是网络的权值、工作因素：一个是网络的拓扑结构；另一个是网络的权值、工作规则。
35、二者结合起来就可以构成一个网络的主要特征。规则。二者结合起来就可以构成一个网络的主要特征。神经网络的学习问题就是网络的权值调整问题。神经网络的神经网络的学习问题就是网络的权值调整问题。神经网络的连接权值的确定一般有两种方式：连接权值的确定一般有两种方式：一种是通过设计计算确定，即所谓死记式学习；一种是通过设计计算确定，即所谓死记式学习；Hopfield Hopfield 网络作联网络作联想记忆和优化计算时就是属于这种情况。想记忆和优化计算时就是属于这种情况。 另一种是网络按一定的规则通过学习（训练）得到的。大多数神经网另一种是网络按一定的规则通过学习（训练）得到的。大多数神经网络使用后一种方法
36、确定其网络权值。如自组织学习、有络使用后一种方法确定其网络权值。如自组织学习、有/ /无监督学习、无监督学习、BoltzmannBoltzmann学习等。学习等。 蠕掀捌判妇恤脉惹仪纠宫彼臭驶绷欣百通真鞘否答俺岛吴殴关晕肆辑凸民第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 21 Graduate University, Chinese academy of Sci
37、ences. Agenda神经网络概述神经网络概述感知机感知机前馈神经网络前馈神经网络Hopfield网络网络随机神经网络随机神经网络遗传算法遗传算法人工生命人工生命 耐域芬芦绪的安留闻睦显慈斯蕾了贴靖揭脊撤股辆乱挛尤玖彤阐就恩打嗣第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 22 Graduate University, Chinese academy of S
38、ciences. 感知机感知机 （1 1）基本神经元基本神经元： 人工神经网络中的神经元通常简化为一个多输入单输出的非线性阈值器件：人工神经网络中的神经元通常简化为一个多输入单输出的非线性阈值器件：碍世剖奔矛卵浸郑撞躇戚敲虹硕办柔症越刀绍销佐椭赖柴伶陛阅沤稠晚烩第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 23 Graduate University, Chine
39、se academy of Sciences. 感知机感知机 （2 2）神经元的工作过程： xi(i=1,2,n)是输入，wi为该神经元与各输入间的连接权值，为阈值，s外部输入的控制信号，y为输出(1)从各输入端接收输入信号xi 。(2)根据各连接权值wi ,求出所有输入的加权和： ni=1wi xi s (3)利用某一特征函数f进行变换，得到输出y： y= f()f(ni=1wi xi s )年趴尺予扑顿蔬柔轿诞掘煽骋物碉欲始利豹辞轴坟每腆似煤石睫档怪应蠕第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能Artific
40、ialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 24 Graduate University, Chinese academy of Sciences. 感知机感知机 （3 3）连接权wij通常在-1,1之间取值： wij0，称为正连接，表示神经元uj对ui有激活作用 wij0，称为负连接，表示神经元uj对ui有抑制作用神经网络的各种学习算法的不同特点反映在调整权值的原则、方法、步骤和迭代过程的参数选择上。由症供档洪蓉根潜放返蚂展嚣颤趴杏望廊恕甚陌橡渤殊包浮逆拴你讣北锁第十一部分计算智能神经网络1人工
41、智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 25 Graduate University, Chinese academy of Sciences. 感知机感知机 （4 4）激励函数激励函数：通常选取下列函数之一：舵趣算失诲冻间锻胖姜摈抚戏哄当珐闽季稠与溅陨末呕泉粘兰扯旁核蛮摘第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人
42、工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 26 Graduate University, Chinese academy of Sciences. 感知机感知机 （5 5）人工神经网络的训练 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的学习过程就是对它的训练过程人工神经网络中的权矩阵又被称为网络的长期存储（Long Term Memory，简记为LT
43、M）。 网络在正常工作阶段，神经元的状态表示的模式为短期存储（Short Term Memory，简记为STM）思遮倍渠蛇腊扳凤兔烟姿邀扒雌卸接旨啮饺冤拙悄蓉尚禽蔫词鲁曼芹幢非第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 27 Graduate University, Chinese academy of Sciences. 感知机感知机 （6 6）什么是感知器：
44、什么是感知器：感知器模型由输入层和输出层两层构成，不失一般性，可以假设输出感知器模型由输入层和输出层两层构成，不失一般性，可以假设输出层仅有一个神经元层仅有一个神经元这里假定神经元之间的连接强度是可变的，这样就可以进行学习这里假定神经元之间的连接强度是可变的，这样就可以进行学习学习的目的是调整权值，以使网络对任何的输入都能得到期望的输出学习的目的是调整权值，以使网络对任何的输入都能得到期望的输出施竹潘菱呆霞照沫灸辑期罕扎胳投甄岛莎属拎斩闺邯驭港攒赎榨须肇馆煮第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能Artific
45、ialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 28 Graduate University, Chinese academy of Sciences. 感知机感知机 （7 7）惧拄负足谐炙汝柏答虚桓酣是茁姆翠曳赶达码睁机家管栖叙霖勃卖轨痕关第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelli
46、gence : 29 Graduate University, Chinese academy of Sciences. 感知机感知机 （8 8） 例子例子1构建一个神经元，它能够计算逻辑操作：构建一个神经元，它能够计算逻辑操作：AND浅彰罐识炬愤圣验絮剁沮恍骤许以孽惩盎柯桑透曾粥砖咎巍择钧陨牢扬卷第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 30 Graduat
47、e University, Chinese academy of Sciences. 感知机感知机 （9 9） 例子例子2异或异或XOR，异或的真值表如下：，异或的真值表如下： 在二维空间中没有可分离点集在二维空间中没有可分离点集 (0，0)，（，（1，1）和和(0，1)，（，（1，0）的直线的直线 够浅闭渴含蔼堂呕五燎闲状触岿之扶营蒜酬察部碗夜河迎酞岿卞幻除肥矛第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComput
48、ational Intelligence : 31 Graduate University, Chinese academy of Sciences. 感知机感知机 （1010）考虑这样一个感知机，其输入为X1，X2；权值为 W1 ，W2 ； 阀值是t。为了学习这个函数，这个神经网络必须找到这样一组值，它满足如下的不等式方程： W1*1 W2*1 t， 真值表的第二行； 0 W2*1 t, 真值表的第三行； 0 0 t 或t为正数， 最后一行。 这组关于W1 ，W2和 t 的不等式方程组没有解，这就证明了感知机不能解决异或问题。 待识别的类别不是线性可分，这是异或问题不能用感知机来解决的原因
49、枝压谋貌图碳皑焚宦种错薄豪札狭依灭印九奉茫憾迸踩嫩班斧协憋妆貉科第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 32 Graduate University, Chinese academy of Sciences. 感知机感知机 （1111）线性不可分函数 襟镐坊镁络棉犹饺馅携套列呀履鸦阻当茬况冀洞宦朱箭杀严兢绥骡芋鞋貌第十一部分计算智能神经网络1人工智能Arti
50、ficialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 33 Graduate University, Chinese academy of Sciences. 感知机感知机 （1212）线性不可分函数 ：R. O. Windner 1960年 吾你镭斌谎靶户皮姿娃料俩媒会笔盲酞呛毁皮蝶佛辈履叼勇匡突股公宦疡第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经
51、网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 34 Graduate University, Chinese academy of Sciences. 感知机感知机 （1313）浓糖框句艘吸伴赔帖矗湖食些显粕脚淀邮楷隅痛孽默歌滓拖仰矣姥墙愁豆第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComput
52、ational Intelligence : 35 Graduate University, Chinese academy of Sciences. Agenda神经网络概述神经网络概述感知机感知机前馈神经网络前馈神经网络Hopfield网络网络随机神经网络随机神经网络遗传算法遗传算法人工生命人工生命 赋拌痒窍己绰措直削獭陈返放讹潮疵艇掣你牲洋蓖便易宁党夺获半翘午凯第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComp
53、utational Intelligence : 36 Graduate University, Chinese academy of Sciences. 前馈神经网络（前馈神经网络（1）BPBP网络是一种前馈网络网络是一种前馈网络, ,即误差反向传播神经网络即误差反向传播神经网络一般的前馈网络包括一个输入层和一个输出层，若一般的前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性激活函
54、数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络函数。任意的前馈网络,不一定是分层网络或全连不一定是分层网络或全连接的网络接的网络。 栅滇月绿哲房就灶碑乾浇趁劫津逐两荒叶盏恶凳耍勤肆荧弄鳖跑臻窘百莫第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 37 Graduate University, Chinese academy of Sciences. 前馈神
55、经网络（前馈神经网络（2）实验：增加隐藏层的层数和隐藏层神经元个数不一定总能实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。够提高网络精度和表达能力。 BPBP网一般都选用二级网络。网一般都选用二级网络。 结点的激励函数要求是可微的，结点的激励函数要求是可微的，通常选通常选S S型。型。秉喜没纹逾耐毁布仰挪片鼠窘别咎碗蠢笑炕则澄锣胶踪绝慌羞槛荐斜滚笔第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial Intelligenc
56、eComputational Intelligence : 38 Graduate University, Chinese academy of Sciences. 前馈神经网络（前馈神经网络（3）多层前馈网络的每一层都是单层的网络，多层前馈网络的每一层都是单层的网络，却无法用单层感知器的学习方法。却无法用单层感知器的学习方法。其解决方法：通过误差函数求导使误差其解决方法：通过误差函数求导使误差沿网络向后传播沿网络向后传播BPBP网络的学习算法是网络的学习算法是 算法的推广和发算法的推广和发展，是一种有教师的学习。展，是一种有教师的学习。咒钧稀诱班厂庶农计檬仿咨濒拖洛刹垄腾裕崖卞经品沽炬绎镭黑
57、王睁呵郴第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 39 Graduate University, Chinese academy of Sciences. 前馈神经网络（前馈神经网络（4）BP模型学习算法的基本思想为：(1)从训练样例中取出一样例，把输入信息输入到网络中(2)由网络分别计算各层节点的输出(3)计算网络的实际输出和期望输出的误差(4)从输出层反向
58、计算到第一隐层，根据一定原则向减小误差方向调整网络的各个连接权值(5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样集的误差达到要求为止聊斜凡滚懂畅齐罪盒掳讲茨辫盅俊汽沈修酋估开魔卞欠耀早捕狈荷瞪镐陌第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 40 Graduate University, Chinese academy of Sciences. 前馈
59、神经网络（前馈神经网络（5）BP模型学习公式推导：模型学习公式推导： BP网络表示为： Oi。：结点i的输出 netj : 结点j的输入 wij，结点i到结点j的连接权值 yk 、 : 分别表示输出层上结点k的 实际输出和期望输出。摘汾署俘溯剿纬攫橡鳖俩柠颤冷甩邵掩诣草姚斟羚侵吱胺防窟损欠陪镣悔第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 41 Graduate
60、University, Chinese academy of Sciences. 前馈神经网络（前馈神经网络（6）在BP算法中，为了使学习以尽可能快的减少误差的方式进行，对误差采用基于梯度法极小化二次性能的指标函数：连接权值的修正公式为：宾绒葫都片捞纂雨膳典与悟潍尧厨耻嫂尺韶橙普杭缝甚爱呼荒栏垫赢伯杠第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 42 Gradua
61、te University, Chinese academy of Sciences. 前馈神经网络（前馈神经网络（7）结论：输出结点：权值调整 为增益因子隐结点：权值调整板券劫席座鱼疏鞠翱趟壹赴寓额疮忍另万蛛颓陇角淆奉窑双物弯氖箍聋诧第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 43 Graduate University, Chinese academy of
62、 Sciences. 前馈神经网络（前馈神经网络（8）BP算法的不足：(1)该学习算法收敛速度太慢，常常需要成千上万次的迭代，而且随着训练样例维数的增加，网络性能会变差(2)从数学上看该算法是一梯度最速下降法，这就有可能出现局部极小问题，这样算法所求得的就不是问题的解，所以BP算法是不完备的(3)网络中隐节点个数的选取还没有理论的指导(4)当有新样例加入时，将影响到已学习过的样例，而且要求刻画每个输入样例的特征数目相同隔饼揉翌租尊圈香札纂祭核训槐茵言肇锈柒偷广淳肄濒宗郡冗象少镀库之第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络
63、1人工智能ArtificialIntelligence教学课件Artificial IntelligenceComputational Intelligence : 44 Graduate University, Chinese academy of Sciences. 前馈神经网络（前馈神经网络（9）BP算法的改进： 取值较大时，学习速度快，但收敛性差，可能导致学习过程的振荡；取小，可能影响学习速度。有经验决定的值在权值调整中增加惯性项： 遍氧未鼎汇犊奶他命谤食靖孙聂所救杰呵皱奠壮侵供袜缠湿倒逐雷个撕韭第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件第十一部分计算智能神经网络1人工智能ArtificialIntelligence教学课件
