《人工神经网络及其应用 硕士09.11.22》由会员分享，可在线阅读，更多相关《人工神经网络及其应用 硕士09.11.22（183页珍藏版）》请在金锄头文库上搜索。
1、第8章 人工神经网络及其应用,人工神经网络已在模式分类、机器视觉、机器听觉、智能计算、机器人控制、信号处理、组合优化问题求解、联想记忆、编码理论、医学诊断、金融决策和数据挖掘等领域获得了卓有成效的应用。,Char 8 pp. 2,生物神经网络( Natural Neural Network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。 人工神经网络(Artificial Neural Networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。,第8章
2、人工神经网络及其应用,神经网络（Neural Networks，NN）,神经网络方法：隐式的知识表示方法,Char 8 pp. 3,人脑构造:皮层（cortex）中脑（midbrain）脑干（brainstem）小脑（cerebellum）人脑由1011 1014 个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。神经元约有1000种类型，每个神经元大约与103 104个其他神经元相连接，形成错综复杂而又灵活多变的神经网络。,Char 8 pp. 4,Char 8 pp. 5,人脑神经网络系统与计算机处理信息的比较,运行控制：计算机：有
3、一个中央处理单元来控制所有的活动和对所有的信息进行存取操作 ； 人脑神经系统：每个神经元只受与它相连接的一部分神经元的影响。,第8章 人工神经网络及其应用,Char 8 pp. 6,知识存储：计算机：知识静态地存储在编有地址的记忆单元中，新的信息破坏老的信息； 人脑神经系统：知识存储在神经元之间的连接关系中，新的知识用来调整这种连接关系。,人脑神经网络系统与计算机处理信息的比较,第8章 人工神经网络及其应用,Char 8 pp. 7,Char 8 pp. 8,Char 8 pp. 9,Char 8 pp. 10,Char 8 pp. 11,第8章 人工神经网络及其应用,8.1 神经元与神经网络
4、 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其应用 其他神经网络,Char 8 pp. 12,Char 8 pp. 13,8.1.1 神经元模型,1. 生物神经元结构,（输入）,（输出）,轴突,树突,细胞体,突触,Char 8 pp. 14,8.1.1 神经元模型,1. 生物神经元结构,工作状态:兴奋状态：细胞膜电位 动作电位的阈值 神经冲动 抑制状态：细胞膜电位 动作电位的阈值 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱 。,Char 8 pp. 15,8.1.1 神经元模型,2. 人工神经元模型,-1,（突触）,（细
5、胞体）,（阈值）,（神经冲动）,人工神经元 i 的模型图,Char 8 pp. 16,8.1.1 神经元模型,2. 人工神经元模型 非线性激励函数 （传输函数、输出变换函数）,（阶跃函数或硬极限函数）,（对称硬极限函数）,Char 8 pp. 17,8.1.1 神经元模型,2. 人工神经元模型 非线性激励函数 （传输函数、输出变换函数）,（ S型函数或对数- S 形函数）,（双曲正切S形函数）,Char 8 pp. 18,8.1.1 神经元模型,2. 人工神经元模型 非线性激励函数 （传输函数、输出变换函数）,（线性函数）,（高斯或径向基函数）,Char 8 pp. 19,8.1.1 神经元模
6、型,2. 人工神经元模型 非线性激励函数（传输函数、输出变换函数）,（饱和线性函数）,（对称饱和线性函数）,Char 8 pp. 20,8.1.1 神经元模型,2. 人工神经元模型,-1,（突触）,（细胞体）,（阈值）,（神经冲动）,+1,（偏置）,人工神经元 i 的模型图,人工神经元 i 的模型图,Char 8 pp. 21,8.1.1 神经元模型,2. 人工神经元模型,Char 8 pp. 22,8.1.1 神经元模型,标准的统一的神经元模型：,Char 8 pp. 23,工作过程: 从各输入端接收输入信号 uj ( j = 1, 2, , n ) 根据连接权值求出所有输入的加权和用非线性
7、激励函数进行转换，得到输出,8.1.1 神经元模型,2. 人工神经元模型,Char 8 pp. 24,8.1 神经元与神经网络,8.1.1 神经元模型 8.1.2 单神经元学习规则 8.1.3 人工神经网络,Char 8 pp. 25,8.1.2 单神经元学习规则,单神经元的学习：调整单神经元的连接权，使输入输出具有需要的特性。单神经元的连接权修正公式：,Char 8 pp. 26,8.1.2 单神经元学习规则,1. Hebb学习规则（1944）,当某一突触两端的神经元同步激活时，该连接的强度增强，反之减弱 。,2. 误差纠正学习规则 （delta学习规则）,Char 8 pp. 27,8.1
8、.2 单神经元学习规则,3. 竞争学习,以某种内部规则（与外部环境无关）确定竞争层获胜神经元，其输出为1，其它神经元输出为0，对获胜神经元与输入间的连接权值进行调整，其余不变。,Char 8 pp. 28,8.1 神经元与神经网络,8.1.1 神经元模型 8.1.2 单神经元学习规则 8.1.3 人工神经网络,Char 8 pp. 29,8.1.3 人工神经网络,决定人工神经网络性能的3大要素：,神经元的特性； 神经元之间相互连接的形式拓扑结构； 为适应环境而改善性能的学习规则。,Char 8 pp. 30,8.1.3 人工神经网络,1. 神经网络的结构 （1）前馈型（ 前向型）,BP神经网络
9、,Char 8 pp. 31,8.1.3 人工神经网络,1. 神经网络的结构 （2）反馈型,Hopfield神经网络,Char 8 pp. 32,8.1.3 人工神经网络,2. 神经网络的工作方式,同步（synchronous, 或并行）方式：任一时刻神经网络中所有神经元同时调整状态； 异步（asynchronous, 或串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。,Char 8 pp. 33,8.1.3 人工神经网络,3. 神经网络的学习方式,（1）监督学习（Supervised Learning, 有教师学习）,常用学习规则：误差纠正学习规则,Char 8 pp
10、. 34,Char 8 pp. 35,Char 8 pp. 36,Char 8 pp. 37,（2）非监督学习（ Unsupervised Learning, 无教师学习）,8.1.3 人工神经网络,3. 神经网络的学习方式,常用学习规则：竞争学习规则无监督的Hebb学习规则,Char 8 pp. 38,例子：交叉口交通流预测,Char 8 pp. 39,例子：交叉口交通流预测,Input：20个交通流数据,Char 8 pp. 40,8.1.3 人工神经网络,3. 神经网络的学习方式,（3）死记式学习：ANN的连接权值是根据某种特殊的记忆模式设计而成的。,常用学习规则：有监督的Hebb学习规
11、则,Char 8 pp. 41,8.1.3 人工神经网络,（4）再励学习（强化学习或增强学习, Reinforcement Learning）,3. 神经网络的学习方式,Char 8 pp. 42,例子：机器人行动规划,Char 8 pp. 43,8.1.3 人工神经网络,4. 神经网络的发展概况,探索时期（开始于20世纪40年代）：1943年，麦克劳（W. S. McCullocn）和匹茨（W.A.Pitts）首次提出第一个神经网络模型M-P模型（描述脑神经细胞动作的数学模型），标志神经计算时代的开始。 1949年，赫布（D. O. Hebb）在论著“The Organization of
12、Behavior”中实现了对脑细胞之间相互影响的数学描述，提出了改变神经元连接强度的 Hebb学习规则。,Char 8 pp. 44,8.1.3 人工神经网络,4. 神经网络的发展概况,第一次热潮时期：50年代末60年代初 ：1958年，罗森布拉特（F. Rosenblatt）提出了描述信息在人脑中存储和记忆的数学模型感知器模型（Perceptron），第一次把神经网络研究从纯理论的探讨推向工程实现。 1959年，威德罗(B. Widrow)等提出自适应线性元件（Adaline）网络，通过训练后可用于抵消通信中的回波和噪声。 1960年， 他和 M. Hoff 提出LMS （Least Mea
13、n Square 最小方差）算法的学习规则。,Char 8 pp. 45,8.1.3 人工神经网络,4. 神经网络的发展概况,低潮时期：60年代末70年代 ：1969年，明斯基（M.Minsky）等在Perceptron中对感知器功能得出悲观结论。1969年，S. Grossberg 提出ART（自适应谐振理论）神经网络。1972年，T. Kohonen 和 J. Anderson 分别提出能完成记忆的新型神经网络。,Char 8 pp. 46,8.1.3 人工神经网络,4. 神经网络的发展概况,第二次热潮时期：80年代至今1982年-1986年，霍普菲尔德（J.J.Hopfield）陆续提出
14、离散的和连续的全互连神经网络模型，并成功求解旅行商问题（TSP） ； 1986年，鲁姆尔哈特(Rumelhart)和麦克劳（McCelland）等在Parallel Distributed Processing中提出反向传播学习算法（BP算法） 。1987年6月，首届国际神经网络学术会议在美国圣地亚哥召开，成立了国际神经网络学会（INNS）.,Char 8 pp. 47,8.1.3 人工神经网络,4. 神经网络的发展概况,第二次热潮时期：80年代至今美国国防部和航空航天局自1989年以来用于资助神经网络研究的经费大约七千万美元，国防高级研究规划局的投资一亿美元。欧共体1991年投资两千多万美元
15、支持神经网络研究的GALATEA计划。日本1991开始 “软逻辑”的第六代机的研制，投资八亿美元，包括神经计算、模糊计算等信息处理技术。我国实施了攀登计划，支持神经网络研究。,Char 8 pp. 48,8.1.3 人工神经网络,4. 神经网络的发展概况,第二次热潮时期：80年代至今1990年IBM公司推出AS400工作站，提供了一个神经网络仿真开发环境 ;Intel公司的80170N可训练模拟神经网络芯片；Bell实验室推出了用于高速字符识别的模拟神经网络处理器；西门子公司推出了MA16神经信号处理器；日本三菱电机公司推出了集成400个神经元和4万个神经键的模拟神经芯片；美国滨州大学推出了通用神经计算机；我国中科院半导体研究所1995年研制成功基于模拟数字混合的神经网络芯片。,Char 8 pp. 49,Char 8 pp. 50,Char 8 pp. 51,Char 8 pp. 52,Char 8 pp. 53,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其应用 其他神经网络,
