《神经网络课件》由会员分享，可在线阅读，更多相关《神经网络课件（578页珍藏版）》请在金锄头文库上搜索。
1、2018/9/11,1,第1章 绪论,人工神经网络概述 人工神经网络的发展历史 人工神经网络的特点与功能 神经网络的应用领域,2018/9/11,2,1996年2月10日至17日 在美国费城举行了一项别开生 面的国际象 棋比赛：世界棋王卡斯帕罗夫对垒“深蓝”计算机。在这场人机对 弈的6局比赛中， 卡氏以4：2战胜电脑，获得40万美元奖金。 “深蓝”计算机是一台由国际商用机器公司（IBM）技术人员历经 6年时间研制成功的带有31个处理器并行的超级计算机。该机有着 高速计算的优势，3分钟内可以检索500亿步棋，而其弱点是不能 总结经验。 这次人机比赛是为了纪念首都电脑诞生50周年而举办的。 比赛时
2、，面对棋王而坐的是“深蓝”研制小组代表许峰雄。,2018/9/11,3,1997年：深蓝vs卡斯帕罗夫(回敬赛)IBM很快卷土重来，他们组织了第二场比赛，这次地点移到了纽约。IBM的CEO葛士纳在赛前信心十足：“我们世界最强棋手对战卡斯帕罗夫。”这次，许峰雄的团队有了新人的加入，他就是美国著名特级大师本杰明，此人多次获得全美冠军，棋力高超。首局，卡斯帕罗夫取胜。人们并不感到惊讶。但第二局电脑立即还以颜色，报了一箭之仇。这局棋的过程十分耐心寻味，IBM团队临时在赛前更换了程序，使电脑弈棋的风格与之前大相径庭。卡斯帕罗夫向深蓝连续送上两个兵，以换取主动权。通常情况下，电脑有99%的可能会吃兵，因为
3、任何程序都会将两个兵视为巨大的优势。然而出人意料的事情发生了！电脑在思考了15分钟之后，拒绝了卡斯帕罗夫的“礼物”！这个事情非常反常，因为电脑基本是匀速行棋，每三分钟走一步，但这次居然花费了5倍的时间。于是，有人猜测这是本杰明在暗中指点电脑，虽然这样的猜测有点牵强，因即使3个本杰明也不会是1个卡斯帕罗夫的对手。无论如何，电脑的反常行为还是给了卡斯帕罗夫造成很大的心理影响，以致于棋王在判断上犯了重大失误，在本应和棋的局面中过早认输。,2018/9/11,4,1.1 人工神经网络概述,1.1.1 人脑与计算机信息处理能力的比较 记忆与联想能力 人脑对信息进行筛选,回忆巩固,联想能力; 电脑存储器信
4、息存取按顺序寻址，信息一旦存入便保持不变，没有联想能力，虽然具有一定的联想功能，不是计算机存储机制所固有的，不具有创造性。,2018/9/11,5,1.1 人工神经网络概述,2.学习与认知能力 人脑具有从实践中学习知识，总结经验的能力； 电脑被动的执行二值命令，不可能总结经验，不会主动提高解决问题的能力。,2018/9/11,6,1.1 人工神经网络概述,3. 信息加工能力 人脑具有辩证思维和符号思维，能够深入事物内部去认识事物的本质和规律； 计算机没有非逻辑加工能力，只能在二值逻辑描述的范围内运用形式逻辑，缺乏辩证逻辑能力。,2018/9/11,7,1.1 人工神经网络概述,4 . 信息综合
5、能力 能够对信息进行归纳，判断，类比和概括，综合解决问题； 由于不存在能完全描述人的经验和直觉的数学模型，计算机很难达到融会贯通的信息综合能力。,2018/9/11,8,1.1 人工神经网络概述,4 . 信息处理速度 计算机在处理数值信息的处理速度远远高于人脑，计算机在处理文字图象声音等类信息的能力与速度远不如人脑。,(人脑的信息处理是建立在大规模并行处理的基础上， 能够实现高度复杂的信息处理能力),2018/9/11,9,1.1 人工神经网络概述,1.1.2 人脑与计算机信息处理机制的比较 系统结构人脑是由大量神经元广泛连接而成的神经网络，可以进行及其复杂的思维活动；计算机是由各种二值逻辑门
6、电路构成的按串行方式工作的逻辑机器,2018/9/11,10,1.1 人工神经网络概述,信号形式 人脑的信号形式具有模拟量和离散脉冲两种形式，由于模拟量信号具有模糊性，有利于进行信息整合和非逻辑加工； 计算机采用的是离散的二进制数和二值逻辑形式，很难处理各种模糊逻辑关系和非逻辑关系。,2018/9/11,11,1.1 人工神经网络概述,3. 信息存储 人脑中的信息存储不是集中在某一个区域，而是分布存储在整个系统中，信息的存储是分布式的，联想式的，有利于进行联想记忆。,2018/9/11,12,1.1 人工神经网络概述,4. 信息处理机制 人脑的神经网络是高度并行非线性处理系统； 计算机采用的是
7、有限集中的串行信息处理机制，信息处理都集中在CPU中进行，在处理大量信息时会遇到速度瓶颈；,2018/9/11,13,1.1 人工神经网络概述,1.1.3 神经网络的概念 人工神经网络（ANN）简称神经网络(NN)，是由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统，是对人脑的抽象、简化和模拟，反映人脑的基本特性。 人脑的基本特性：学习、记忆、存储知识。 1.形式上：神经元及其连接； 2. 表现特征：具有学习的特征，从外部获取知识； 信息的存储与处理；（通过内部神经元即突触连接）,2018/9/11,14,1.2 发展历史,1.2.1 启蒙时期（20世纪40年代） 1943年，心理学
8、家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型，提出了形式神经元的数学描述与构造。发表于数学生物物理学会刊Bulletin of Methematical Biophysics M-P模型被认为是开创了神经科学理论研究的新时代 1949年，心理学家D. O. Hebb在Organization of Behavior一书中提出神经元之间突触连接是可变的假说Hebb学习律。,2018/9/11,15,第一高潮期,1958年,Frank Rosenblatt提出并设计出感知器（Perceptron），首次把神经网络付诸于实践（这是第一个真正的人工神经网络可用于
9、分类）。 1960年，B.Widrow和Hoff提出了自适应线性单元（Adaptive Linear Element）,并提出了LMS（最小均方算法） 贡献：设计出仿真的人工神经网络，并且还利用硬件实现了他们的设计，为今天用超大规模集成电路实现神经网络计算奠定了基础，他们是开发神经网络硬件最早的主要贡献者,2018/9/11,16,1.2.2 低潮期（19691982）,1969年，人工智能的创始人M. L. Minsky和S. Papert发表了Perceptron一书指出： 单层感知器只能用于线性划分，非线性划分很难实现:异或”运算不可表示 多层感知器无法给出一种学习算法，无实用价值 但是
10、还是有不少科学家还坚持致力于神经网络的研究。,2018/9/11,17,1.2.2 低潮期（19691982）,1969年，美国波士顿大学自适应系统中心的Grossberg教授和他的夫人提出自适应谐振理论； 1972年，两位研究者分别在欧洲和美洲异地发表了同样的神经网络开发理论，一位是芬兰的Kohonen教授，提出了自组织映射理论；另一位是美国的生理学家Anderson提出了类似的神经网络；,2018/9/11,18,1.2.3 复兴期(第二高潮期),1982年，J. Hopfield提出循环(反馈)网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了AN
11、N与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上,2018/9/11,19,1.2.3 第二高潮期,2）1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,2018/9/11,20,1.2.3 第二高潮期,4）1986年并行分布处理小组的Rumelha
12、rt等研究者重新独立地提出多层网络的学习算法BP算法，即误差反传算法，较好地解决了多层网络的学习问题，是对前面Miskey和Papert悲观论断一个有力的抨击。,2018/9/11,21,1.2.4 新时期,国际：1987年6月21至24日在美国加州圣地亚哥(San Diego)召开的第一届神经网络国际会议 ;1988年在波士顿召开了年会，以后国际神经网络学会和(IEEE)联合召开每年一次的国际学术会议；随后神经网络迅速发展起来成为涉及多个学科的交叉综合的前沿学科； 国内：1989年10月和11月，我国分别在北京和广州召开了神经网络的国际研究工作会议，并出版了论文集。,2018/9/11,22
13、,1.2.4 新时期,关于神经网络的主要国际性杂志有： (1)Neural Networks(国际神经网络协会会刊) (2)IEEE Transactions on Neural Networks (3)IEEE Transactions on Parallel Distributed System (4)Connections Science (5)Neurocomputing (6)Neural Computation (7)International Journal of Neural Systems,2018/9/11,23,1.3 神经网络的基本特点与功能,1.3.1 神经网络的基本
14、特点结构特点： 信息处理的并行性； 信息存储的分布性； 信息处理单元的互连性、结构的可塑性,2018/9/11,24,1.3.1 神经网络的基本特点,性能特点 高度的非线性性； 良好的容错性； 1.信息的分布式存储使得部分神经元损坏不会影响系统的整体性能； 2.输入模糊，残缺或者变形的信息，通过联想恢复完整的记忆。 计算的非准确性 神经网络能够处理模拟信号以及不精确不完整的模糊信息，因此给出的是次优的逼近解而不是精确解,2018/9/11,25,1.3.1 神经网络的基本特点,能力特征：自学习、自组织与自适应性大脑的学习过程就是神经元的连接强度随外界激励信息做自适应变化的过程,2018/9/1
15、1,26,1.3.2 神经网络的基本功能,1.联想记忆：通过突触权值和连接结构来表达信息的记忆 自联想记忆：网络中预先存储多种信息模式，当输入某个已存储模式的部分信息时，网络能通过动态联想过程回忆起该模式的全部信息。 异联想记忆：网络中预先存储了多个模式对，每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息时是残缺的或者叠加了噪声的，网络能回忆起与其对应的另外一部分。,2018/9/11,27,1.3.2 神经网络的基本功能,2.非线性映射；客观世界中，很多系统的输入输出之间存在着非常复杂的非线性关系，对于这类系统很难用传统的数理方法建立数学模型，建立适当的神经网络对输入输出样
16、本进行学习，能够以任意精度逼近任意复杂的非线性映射。3.分类与识别4.优化与计算5.知识处理,2018/9/11,28,1.4 神经网络的应用领域,1.4.1 信息处理领域1.信号处理2.模式识别3.数据压缩,2018/9/11,29,1.4 神经网络的应用领域,1.4.2 自动化领域1.系统辨识2.神经控制器3.智能检测,2018/9/11,30,1.4 神经网络的应用领域,1.4.3 工程领域1.汽车工程2.军事工程3.化学工程4.水利工程,2018/9/11,31,1.4 神经网络的应用领域,1.4.3 工程领域1.汽车工程2.军事工程3.化学工程4.水利工程,2018/9/11,32,1.4 神经网络的应用领域,1.4.4 医学领域1.检测数据分析2.生物活性研究3.医学专家系统,2018/9/11,33,1.4 神经网络的应用领域,1.4.5 经济领域1.信贷分析2.市场预测,2018/9/11,34,第二章 神经网络基础知识,2018/9/11,35,人工神经网络是对人脑的模拟,人工神经元 模拟 生物神经元,
