神经网络2课件

《神经网络2课件》由会员分享，可在线阅读，更多相关《神经网络2课件（55页珍藏版）》请在金锄头文库上搜索。

1、第一章 人工智能与软计算,什么是“智能”？ 目前没有确切的定义 是人脑的基本属性 内涵：知识思维 引申：发现规律、运用规律的能力和分析问 题、解决问题的能力,智能(Intelligence)的含义,智能：理解、学习和推理能力 智能行为：理解、推理、学习、知觉、行为、交流能力,Systems that think like humans. (Haugeland, 1985, Bellman, 1978) Systems that think rationally. (Charniak and McDermott, 1985, Winston, 1992) Systems that act lik

2、e humans. (Kurzweil, 1990, Rich and Knight, 1991) Systems that act rationally.(Schalkoff,1990, Luger and Stubblefield, 1993),人工智能是什么,人工智能的含义,什么是人工智能(AI)？ AI是指用计算机模拟或实现的智能。 它是计算机科学的一个分支，研究的是如何使机器具有智能的科学与技术。特别是如何在计算机上实现或再现人工智能。 它涉及计算机科学、脑科学、神经生理学、心理学、语言学、逻辑学、认知科学、思维科学、行为科学和数学，以及信息论、控制论和系统论等众多领域。,人工智能的

3、研究目标,长期目标： 制造智能机器，使其具有 看、听、说、写等感知交互能力 联想、推理、理解、学习等思维能力 分析、解决问题和发明创造的能力 近期目标： 实现机器智能，即部分的或某种程度上的智能。 已取得很多成果：Deep Blue，Backgammon，Expert System，Auto Drive，etc.,人工智能的研究方法,对人工智能的研究必然借鉴自然智能 人脑的研究成果，根据侧重点的不同，可分为三大类： 结构模拟：神经计算，生理学派，连接主义 功能模拟：符号推演，心理学派，符号主义 行为模拟：控制进化，控制论学派，行为主义，进化主义,结构模拟神经计算,生理学派 根据人脑的生理结构和

4、工作机理，实现计算机的智能，是一种局部和近似的模拟(ANN) 特点： 利用NN的自学习能力获取知识，再利用知识解决问题 具有高度的并行性、分布性、很强的鲁棒性和容错性 擅长模拟人脑的形象思维，便于实现人脑的低级感知功能：图象、语音的识别和处理,功能模拟符号推演,心理学派 根据人脑的心理模型，将知识/问题表示成某种逻辑网络，采用符号推演的方法，实现搜索、推理、学习等功能。如自动机器推理、定理证明、专家系统、机器博弈等 擅长模拟人脑的逻辑思维，便于实现人脑的高级认知功能（推理、决策等）,行为模拟控制进化,控制论学派 基于“感知行为模型”，模拟人在控制过程中的智能活动和行为特征：自优化、自适应、自学

5、习、自组织等 又成为现场AI（Situated AI），强调智能系统与环境的交互 认为智能取决于感知和行动，智能行为不需要知识，认为人的智能、机器的智能可以逐步进化，但必须与现实交互,搜索技术 知识表示 规划方法 机器学习 认知科学,人工智能的研究内容,自然语言理解与机器翻译 专家系统与知识工程 定理证明 博弈 机器人 数据挖掘与知识发现,人工智能的研究领域,多Agent系统 复杂系统 足球机器人 两个组织：RoboCup和FIRA 模拟组与机器人组 控制方式：FIRA采用集中控制，而RoboCup采用分布式控制 清华大学获得2001年RoboCup冠军 人机交互技术,人工智能的研究领域,正在

6、与深蓝下棋的卡斯帕罗夫,IBM的“深蓝”,“深蓝”的技术指标： 32个CPU 每个CPU有16个协处理器 每个CPU有256M内存 每个CPU的处理速度为200万步/秒,思考：国际象棋、中国象棋与围棋,为什么已经有了可以战胜国际大师的国际象棋程序，而中国象棋和围棋的程序水平却比较低呢？ 力量投入问题？ 计算机发展水平问题？ 棋本身的复杂性问题？ 其他别的问题？,历史上的人工智能大师,阿伦图灵 （Alan Turing）,计算机科学理论的创始人 人工智能之父,马文明斯基 （Marniv Lee Minsky）,框架理论的创立者 首位获得图灵奖的人工智能学者,约翰麦卡锡 （John McCarth

7、y）,LISP语言的发明人 首次提出AI的概念,赫伯特西蒙 （Herbert A. Simon）,符号主义学派的创始人 爱好广泛的全能科学家 中国科学院外籍院士,艾伦纽厄尔（Allen Newell）,符号主义学派的创始人之一 西蒙的学生与同事 1975年与西蒙同获图灵奖,查理德卡普 （Richard M. Karp）,发明“分枝界限法”的三栖学者,爱德华费根鲍姆 （Edward A. Feigenbaum）,知识工程的提出者 大型人工智能系统的开拓者,劳伊雷迪 （Raj Reddy）,大型人工智能系统的开拓者,道格拉斯恩格尔巴特 （Douglas Engelbart）,鼠标的发明人 超文本研

8、究的先驱,AI的悲剧角色,当问题没有理论解决方案时，人们说，这是AI问题，让AI研究吧。 当问题在AI研究中已经解决，人们为了避免回答“这就是智能吗”之类的问题，说，这与AI无关(“深蓝”)。 不能解决的问题远远大于能够解决问题，因此，AI有存在的必要性。,特殊比普适更重要,在研究方法上，AI研究应该向非线性等领域学习，一类问题的深入研究比普适的研究更重要。例如，本体方法，一个领域本体的深入研究比广泛地构造本体更重要。 AI进展需要依赖其它学科的进展，特别是神经科学与认知科学，以及对数学工具的寻找结果。,脑的哲学思考,巨系统观下的人脑： 有趣的1000亿(1011)数量级,脑的哲学思考,巨系统

9、观与宇宙全息论：微观全息反映宏观 天体、人类社会与脑神经系统构成的共同存在、相互影响的巨系统 脑的表征： 遗传基因世代演化所形成进化过程的世界表征 生物胚胎发育中由基因的表达和环境相互作用的调节机制所形成的后生范畴的世界表示 生命体在适应周围环境过程中经验与学习范畴的世界表征,脑的哲学思考,脑的复杂性： 空间复杂性 时间复杂性 物质与精神的有序映射： 脑是由物质构成的有序结构，脑内的活动具有物质的物理化学变化和运动的数学规律。 巨量神经元的集体活动显现出有序的思维过程、意识表达和精神领域中的复杂生命活动特征,Artificial Neural Networks，简记作ANN 是对人类大脑系统的

10、一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,人工神经网络,HechtNielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,人工神经网络的概念,HechtNielsen（1988年）（续） 处理单

11、元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,人工神经网络的概念,强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分支，且 大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,人工神经网络的概念,1）一组处理单元（PE或AN）； 2）处理单元的激活状态（ai）； 3）每个处理单元的输出函数（fi）； 4）处理单元之间的联接模式； 5）传递规则（wijoi）； 6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7

12、）通过经验修改联接强度的学习规则； 8）系统运行的环境（样本集合）。,人工神经网络的概念,Rumellhart，McClelland，Hinton,Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,人工神经网络的概念,多学科性,神经生理学：了解结构、信息活动的生理特征 认识科学：物理平面到认识平面的映像表达、编码理论、符号方法等 数理科学：NN运算和状态分析的工具 信息论、计算机科学以及各工程领域：工程应用,人工神经网络,简单单元广泛互连 每个单元和连接具有自适应性 每个单元均具有计算能力 能

13、模拟生物神经系统对客观世界的交互反应 一种复杂的数学映射工具和动力学系统,人脑信息处理的特点,巨量并行性 信息处理和存储单元结合在一起 自组织学习能力 求满意解而不是精确解 有效处理各种模拟的、模糊的、随机的问题,人工神经网络的特点,非线性 输入出映射 适应性 容错性（信息的分布表示） VLSI实现（运算的全局并行） 证据响应（决策置信度）,人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）,人工神经网络的别名,ANN与传统AI

14、技术的比较,人工神经网络可以根据所在的环境去改变它的行为 不同的人工神经网络模型，有不同的学习/训练算法 自相联的网络：（Auto-associative） 异相联的网络：（Hetero-associative）,学习(Learning)能力,由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。 泛化（Generalization）能力与抽象能力,基本特征的自动提取,信息的分布存储提供容错功能 由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。 系统在受到局部损伤时还可以正常工作。 并不是说可以

15、任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。,信息的分布式存放,擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。 目前应用： 人们主要将其用于语音、视觉、知识处理、辅助决策等方面。 在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。,适应性(Applicability)问题,人工神经网络的历史,萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到194

16、9年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,人工神经网络的历史,第一高潮期（19501968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,人工神经网络的历史,反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识实践再认识,人工神经网络的历史,第二高潮期（19