人工神经网络ANN方法简介

《人工神经网络ANN方法简介》由会员分享，可在线阅读，更多相关《人工神经网络ANN方法简介（87页珍藏版）》请在金锄头文库上搜索。

1、1010 人工神经网络（人工神经网络（ ANNANN）方法简介）方法简介 10.110.1从生物神经元到人工神经网络从生物神经元到人工神经网络大脑与神经细胞、神经细胞与神 经细胞构成了庞大天文数字量级的 高度复杂的网络系统。也正是有了 这样的复杂巨系统，大脑才能担负 起人类认识世界和改造世界的任务 。“世界上最大的未开发疆域，是我 们两耳之间的空间。”（美国汉诺威 保险公司总裁比尔奥伯莱恩）1 1、 生物神经系统和大脑的复杂性生物神经系统和大脑的复杂性生物系统是世界上最为复杂的系统。生物神经系统活动和脑的功能，其复杂性是难以想象的。 人大脑平均只有3磅左右。 只占身体重量比例的1/30； 使眼

2、睛可以辨别1000万种细 微的颜色； 使肌肉(如果全部向同一个 方向运动)产生25吨的拉力； 是由100亿个脑细胞和10兆 个神经交汇丛组成。整个大脑 的神经网络足足有10英里长。大脑的有关数据大脑的有关数据“你的大脑就像一个沉睡的巨人。” （英国的心理学家、教育家托 尼布赞）“如果我们迫使头脑开足1/4的马力，我们就会毫不费力地学 会40种语言，把整个百科全书从头到尾背下来，还可以完成十 几个大学的博士学位。”（前苏联学者伊凡）一个正常的大脑记忆容量有大约6亿本书的知识总量，相当于一部大 型电脑储存量的120万倍大脑使你从出生开始每一秒钟可存储1000条信息，直到老死为止全世界的电话线路的运

3、作只相当于大约一粒绿豆体积的脑细胞即使世界上记忆力最好的人，其大脑的使用也没有达到其功能的1%人类的知识与智慧，仍是“低度开发”！人的大脑是个无尽 宝藏，可惜的是每个人终其一生，都忽略了如何有效地发挥它 的“潜能”潜意识中激发出来的能量。大脑复杂性的无限性大脑复杂性的无限性2 2、 人工智能及其三个学派人工智能及其三个学派人类的梦想人类的梦想 重新构造人脑，并让其代替人类完成相应的工作。 （无数科幻故事） 探索智能的奥秘智能（智能（intelligenceintelligence） “观察、学习、理解和认识的能力”(牛津大辞典)“理解和各种适应性行为的能力”(韦氏大辞典)智能是个体有目的的行为

4、、合理的思维、以及有效的适应环境 的综合能力；也可以说是个体认识客观事物和运用知识解决问 题的能力。人类智能的具体含义人类智能的具体含义感知感知与认识客观事物、客观世界和自我的能力；通过学习学习获得经验、积累知识的能力；理解知识、运用运用知识和经验分析、解决问题的能力；联想、推理推理、判断、决策的能力；运用语言语言进行抽象、概括的能力；以上5点是人类智能的基本能力。发现、发明、创造、创新的能力；实时、迅速、合理地应付复杂环境的能力；预测、洞察事物发展、变化的能力。以上3点是前5种能力新的综合表现形式。人工智能人工智能“人工智能（Artificial Intelligence）”1956年初次引

5、入人工智能研究怎样用计算机模仿人脑从事推理、设计、思 考、学习等思维活动，以解决和处理较复杂的问题。目的之一：增加人类探索世界、推动社会前进的能力通过制造和使用工具来加强和延伸人类的生存、发展。目的之二：进一步认识自己。用物化的智能来考察和研究人脑智能的物质过程和规律。人工智能的人工智能的3 3个主要流派个主要流派1991年，人工智能学家D. Krish在Int. J. Artificial Intelligence上提出人工智能的5个基本问题： 知识和概念化是否人工智能的核心？ 认知能力能否与载体分开来研究？ 认知的轨迹是否可以用类自然语言来描述？ 学习能力能否与认知分开来研究？ 所有的认识

6、是否有一种统一的结构？对以上5个基本问题的不同回答已经形成3个主要的学术流派 ： 符号主义（Symbolicisim） 联结主义（connetionism） 行为主义（actionism）人工智能的符号主义流派人工智能的符号主义流派即传统的人工智能，认为人工智能源于数理逻辑，主张以知 识为基础，通过推理来进行问题求解，在研究方法上采用计算 机模拟人类认知系统功能的功能模拟方法Simon、Minsky和Newell等认为，人和计算机都是一个物理 符号系统，因此可用计算机的符号演算来模拟人的认知过程； 作为智能基础的知识是可用符号表示的一种信息形式，因此人 工智能的核心问题是知识表示、知识推理和知

7、识运用的信息处 理过程。符号主义对符号 系统的描述人工智能的联结主义流派人工智能的联结主义流派又称仿生学派，认为人工智能源于仿生学，人思维的基本单 元是神经元，而非符号处理过程，主张用大脑工作模式取代符 号操作的电脑工作模式；智能的本质是联结机制。神经网络是一个由大量简单的处理 单元组成的高度复杂的大规模非线性自适应系统；“结构功能”的研究方法：认为功能、结构和智能行为是密 切相关的；1943年，McCulloch和 Pitts从神经元入手研究神 经网络模型MP模型 。此为人工神经网络研究 之始。人工神经网络（Artificial Neural Network，ANN）从四个方 面刻画人脑的基

8、本特征：（1）、物理结构物理结构 模仿生物神经元的功能，构造人工神经元的联结网络Cell bodyAxonNucleusSynapse 突触Dendrite 树突（2）、计算模拟计算模拟 人脑神经元既有局部的计算和存储功能，又通过联结构成统一 的系统，人脑的计算建立在该系统的大规模并行模拟处理基础 之上。 ANN以具有局部计算能力的神经元为基础，同样实现信息的大 规模并行处理。（3）、存储与操作存储与操作 大脑对信息的记忆是通过改变突触的联结强度来实现并分布存 储。 ANN模拟信息的大规模分布存储。（4）、训练训练 后天的训练使得人脑具有很强的自组织和自适应性。 ANN根据人工神经元网络的结构

9、特性，使用不同的训练过程， 自动从“实践”（即训练样本）中获取相关知识，并存储在系统 中。人工智能的行为主义流派人工智能的行为主义流派“进化主义学派”、“控制论学派”；认为人工智能来源于控制论，智能取决于感知和行动。提出 智能行为的“感知动作”模式，采用行为模拟方法；对符号主义、联结主义采取批判的态度；（智能不需要知识 、表示和推理，只需要与环境交互作用）80年代诞生智能控制和智能机器人系统学科（R. A. Brooks ），为机器人研究开创了新的方法。ANNANN是基于联结主义流派的人工智能是基于联结主义流派的人工智能联结主义学派与高速发展的计算机技术相结合，发展为计计 算智能学派算智能学派

10、，是人工智能在1980年代后的深化和发展计算智能：借助现代计算机技术模拟人的智能控制、生命 演化过程和人的智能行为，从而进行信息获取、处理、应用 的理论和方法计算智能是以数学模型、计算模型为基础，以分布、并行 、仿生计算为特征，包含数据、算法和实现的信息系统计算智能强调模型的建立和构成，强调系统的自组织、自 学习和自适应计算智能的3个主要分支：人工神经网络人工神经网络（模拟智能产生与作用赖以存在的结构）遗传算法遗传算法（模拟生命生成过程与智能进化过程）模糊逻辑模糊逻辑（模拟智能的表现行为）3 3、 人工神经网络概述人工神经网络概述生物神经元系统生物神经元系统人工神经网络是受生物神经网络的启发构

11、造而成。 James（心理学，1890年） ：大脑皮层每一点的活力产生 于其它点势能释放的综合效能，即其它点的兴奋次数、强度和 所接受的能量。大脑含1011个神经元，它们通过 1015个联结构成一个网络。 每个神经元具有独立的接受、处理和传递电化学信号的能力， 这种传递由神经通道来完成。神经元的结构神经元的结构树突从细胞体伸向其它神经元，神经元之间接受信号的联结点 为突触。通过突触输入的信号起着兴奋/抑制作用。当细胞体接 受的累加兴奋作用超过某阈值时，细胞进入兴奋状态，产生冲 动，并由轴突输出。Cell bodyAxonNucleusSynapse 突触Dendrite 树突神经元系统的基本特

12、征神经元系统的基本特征神经元及其联结神经元之间的联结强度决定信号传递的强弱神经元之间的联结强度可以随训练而改变信号分为兴奋型和抑制型一个神经元接受的信号的累计效果决定该神经元的状态每个神经元有一个阈值ANNANN理论及其发展阶段理论及其发展阶段w1Z=wixiw2wnx1x2xny = f(wixi- )轴突突触 树突内核轴突第一阶段 1943年，心理学家McCulloch和数学家Pitts对神经元进行形式化研究，提出 了神经元的数学模型MP模型。1944年，D. O. Hebb提出改变神经元联结强度的Hebb学习规则，至今仍然 是人工神经网络学习算法的一个基本原则。1957年，Rosenbl

13、att首次引进感知器(Perceptron)概念来模拟生物的感知、 学习能力。1962年，Widros提出用于自适应系统的连续取值的线性网络。第二阶段1969年，M. L. Minsky和S. Papert从理论上证明了当时单隐含层感知器网络 模型无法解决的许多简单问题，包括最基本的“异或(XOR)”问题。使ANN理 论的发展进入一个低谷；1974年，Webos提出BP学习理论；S. Grossberg提出自适应共振理论（ART）。第三阶段突破性进展：1982年，CalTech的物理学家J. Hopfield提出Hopfield神经网络 系统(HNNS)模型，提出能量函数的概念，用非线性动力学

14、方法来研究ANN ，开拓了ANN用于联想记忆和优化计算的新途径；1988年，McClelland和Rumelhart利用多层反馈学习算法解决了“异或（XOR ）”问题。人工神经网络的几种形式人工神经网络的几种形式无反馈前向网无反馈前向网多输入、多输出的多层无环图，同一层间无联结。 神经元分层排列，组成输入层、中间层（隐层）、输出层有反馈前向网有反馈前向网从输出层到输入层存在反馈的前向网。层内有联结的前向网层内有联结的前向网在无反馈前向网中同一层内存在神经元间的联结回路。有向网有向网任意两个神经元间都可能存在有向联结。 网络处在动态中，直至达到某一平衡态、周期态或者混沌状态 。 10.210.2

15、感知器（感知器（PerceptronPerceptron） 人工神经网络的基本构件人工神经网络的基本构件感知器（Perceptron）：最早被设计并实现的人工神经网络。W. McCulloch和W. Pitts总结生物神经元的基本生理特征，提出 一种简单的数学模型与构造方法，建立了阈值加权和模型，简 称M-P模型(“A Logical Calculus Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics, 1943(5): 115133）。人工神经元模型是M-P模型的基础。1 1、 感知器的数学模型感知器的数学模

16、型MPMP模型模型Warren McCulloch （18981969）Walter Pitts (19231969)生物神经元的基本特征生物神经元的基本特征神经元及其联结神经元之间的联结强度决定信号传递的强弱神经元之间的联结强度可以随训练而改变信号分为兴奋型和抑制型一个神经元接受的信号的累计效果决定该神经元的状态每个神经元有一个阈值突触树突 轴突轴突突触树突内核轴突模拟神经元的首要目标：输入信号的加权和（生物神经元的一阶特征）人工神经元可以接受一组来自系统中其它神经元的输入信号， 每个输入对应一个权重，所有输入的加权和决定该神经元的激 活状态。每个权就相当于突触的联结强度。w1wi xiw2wnx1x2xn数学模型数学模型 多输入、单输出的加权和结构设X = (x1, x2, , xn)表示n个输入，W = (w1, w2, , wn)表示它 们对应的联结权重。故神经元所获得的输入信号累计效果为：称u(X)为