《华中科技大学人工智能神经网络》由会员分享，可在线阅读，更多相关《华中科技大学人工智能神经网络（56页珍藏版）》请在金锄头文库上搜索。
1、2018/9/17,1,神经网络 基于神经网络的知识表示与推理 感知机学习算法 基于反向传播网络的学习,2018/9/17,2,计算智能,信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。 计算智能(CI)涉及神经网络(NN) 、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。,CI-Computational Intelligence NN-Neural Nets,2018/9/17,3,什么是计算智能,把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算
2、、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。 计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledge tidbits）。人工神经网络应当称为计算神经网络。,2018/9/17,4,1960年威德罗和霍夫率先把神经网络用于自动控制研究。 60年代末期至80年代中期，神经网络控制与整个神经网络研究一样，处于低潮。 80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。,人工神经网络研究的进展,20
3、18/9/17,5,ANN的发展史,20世纪40年代：兴起与萧条1943年 M-P model 心理学家W.S.McCulloch和数学家W.Pitts提出：形式神经元的数学描述与构造方法与阈值神经元model基本相同，权值固定1949年 心理学家D.O.Hebb提出突触强度可调的假设：学习过程发生在突触上Hebb规则：,2018/9/17,6,20世纪50年代 , 第一次高潮,1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN基本构成为阀值单元、网络初具并行处理、分布存储、学习等功能用于模式识别、联想记忆引起NN研究的第一次高潮,2018/9
4、/17,7,20世纪60年代,低潮,1969年 Minsky和Papert编写的Perceptron出版使NN的研究进入低潮Problems：仅可解线性问题当时现状：数学机发达，认为可解决一切问题 但工作并未停止,2018/9/17,8,1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory）Kohonen提出自组织映射理论福岛邦彦（K.Fukushima）提出认识机（Neocognitron）模型甘利俊（S.Amari）：
5、NN数学理论,2018/9/17,9,20世纪80年代 第二次高潮 Reasons: 1）Neumann数字计算机取得的巨大成功，从而推动以此为基础的AI 应用技术的同步发展 2）ANN有新成果、脑科学、神经科学 VLSI、光电技术的发展,2018/9/17,10,J.J.Hopfield 1982年 Hopfield网络模型：网络能量数据、网络稳定性判据1984年 HNN用电子线路实现 HNN用途：联想记忆、优化计算机的新途径 1984年 Hilton 引入模拟退火法，提出Boltzmann机网络 1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层 weights 学习问题
6、（error Back-Propagation）,2018/9/17,11,1987年 Nielson提出了对向传播（Counter Propagation）神经网络 1988年 L.O.Chua提出细胞神经网络（CNN）模型 自1958年来已有近40种NN model,2018/9/17,12,NN研究学术机构,1987年 国际神经网络学会 定期召开ICNN会议1988年 IEEE Transaction on Neural Network 创刊1990.12 CCNN（中国）第一次会议1991年 中国神经网络学会,2018/9/17,13,理论研究,利用神经生物和认知科学研究大脑思维及智能
7、的机理 利用上一项成果，用数理方法探索智能水平更高的ANN model1）深入研究网络算法和性能 e.g.稳定性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神经网络动力学、非线性神经场,2018/9/17,14,应用研究,神经网络软件模拟和硬件实现的研究NN在各个技术领域中应用研究e.g.模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等,2018/9/17,15,生理神经元的结构 大多数神经元由一个细胞体(cell body或soma)和突(process)两部分组成。突分两类， 即轴突(axon)和树突(dendrite)，如图所示。轴突是个突出部分，长度可达1m，把本神
8、经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。,神经网络的组成与特性,2018/9/17,16,轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。,2018/9/17,17,脑神经生理学研究结果表明，每个人脑
9、大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。,2018/9/17,18,人工神经元的组成 人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processing element)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。,2018/9/17,1
10、9,图中，来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。 在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。,人工神经网络的组成,2018/9/17,20,人工神经网络的结构,图4.2 神经元模型,2018/9/17,21,图中的神经元单元由多个输入xi，i=1,2,.,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为,式中，j为神经元单元的偏置，wji为连接权系数。 n为输入信号数目，y
11、j为神经元输出，t为时间，f(_)为输出变换函数,2018/9/17,22,输出变换函数的基本作用,控制输入对输出的激活作用； 对输入、输出进行函数转换； 将可能无限域的输入变换成指定的有限范围内的输出。,2018/9/17,23,神经元中的某些变换（激发）函数,(a) 二值函数 (b) S形函数 (c) 双曲正切函数,2018/9/17,24,人工神经网络的基本特性和结构,人工神经网络是具有下列特性的有向图：对于每个节点 i 存在一个状态变量xi ；从节点 j 至节点 i ，存在一个连接权系数wij；对于每个节点 i ，存在一个阈值 i； 对于每个节点 i ，定义一个变换函数fi ；对于最一
12、般的情况，此函数取 形式。,2018/9/17,25,递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络。,有些神经元的输出被反馈至同层或前层神经元,2018/9/17,26,前馈网络:前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成。,2018/9/17,27,前馈网络特点,1. 神经元分层排列，可有多层2. 层间无连接3. 方向由入到出感知网络（perceptron即为此）应用最为广泛,2018/9/17,28,互联网络,结构图,每个元都与其它元相连例： Hopfield Boltzmann机,2018/9/17,29,基于神经网络的知识表示与推理,基于神经网
13、络的知识表示 在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。,2018/9/17,30,基于神经网络的知识表示与推理,对图所示的异或逻辑的神经网络来说，其邻接矩阵为：,异或逻辑的神经网络表示,1,2,3,4,5,1 2 3 4 5,1 2 3 4 5,2018/9/17,31,基于神经网络的知识表示与推理,如果用产生式规则描述，则该网络代表下述四条规则： IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y
14、=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0,2018/9/17,32,基于神经网络的知识表示与推理,医疗诊断例子,2018/9/17,33,基于神经网络的知识表示与推理,假设x1,x2,x10对应的节点分别为节点1,2,10；xa,xb,xc对应的节点为别为节点11,12,13，与x11相连的节点为节点14 1.画出该神经网络对应的学习矩阵，注：此网络为前向网络，so wij=0 if i=jwij=0 if i,j无连接其余为连接弧标示值,2018/9/17,34,基于神经网络的知识表示与推理,Xj=wijxi xj=1 if Xj0xj=0 if Xj=0xj=-1 if Xj Ui 时，未知部分不会影响xi的判别符号So xi=1 if Ii0xi=-1 if Ii0,2018/9/17,36,基于神经网络的推理,基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。 一般来说，正向网络推理的步骤如下： 把已知数据输入网络输入层的各个节点。 利用特性函数分别计算网络中各层的输出。 用阈值函数对输出层的输出进行判定，从而得到输出结果。,2018/9/17,37,人工神经网络的主要学习算法,
