数学建模神经网络讲稿

《数学建模神经网络讲稿》由会员分享，可在线阅读，更多相关《数学建模神经网络讲稿（72页珍藏版）》请在金锄头文库上搜索。

1、人工神经网络ArtificialNeural Network目录第1章 概述11 人工神经网络研究与发展12 生物神经元13 人工神经网络的构成 第2章人工神经网络基本模型21 MP模型22 感知器模型23 自适应线性神经元 第3章 EBP网络(反向传播算法）31 含隐层的前馈网络的学习规则32 Sigmoid激发函数下的BP算法33 BP网络的训练与测试34 BP算法的改进35 多层网络BP算法的程序设计多层前向网络BP算法源程序第4章 Hopfield网络模型41 离散型Hopfield神经网络42 连续型Hopfield神经网络Hopfield网络模型源程序43 旅行商问题(TSP)的H

2、NN求解Hopfield模型求解TSP源程序 第5章 随机型神经网络51 模拟退火算法52 Boltzmann机Boltzmann机模型源程序53 Gaussian机 第6章自组织神经网络61 竞争型学习62 自适应共振理论(ART)模型63 自组织特征映射(SOM)模型64 CPN模型目录第7章 联想记忆神经网络71 联想记忆基本特点72 线性联想记忆LAM模型73 双向联想记忆BAM模型74 时间联想记忆TAM模型Hopfield模型联想记忆源程序 第8章 CMAC模型81 CMAC模型82 CMAC映射算法83 CMAC的输出计算84 CMAC控制器模型目录神经网络研究与发展40年代初，

3、美国Mc Culloch和PiMs从 信息处理的角度，研究神经细胞行为 的数学模型表达提出了二值神经元 模型。MP模型的提出开始了对神经网 络的研究进程。1949年心理学家Hebb 提出著名的Hebb学习规则，即由神经 元之间结合强度的改变来实现神经学 习的方法。虽然Hebb学习规则在人们 研究神经网络的初期就已提出，但是 其基本思想至今在神经网络的研究中 仍发挥着重要作用。 50年代末期，Rosenblatt提出感知机模型 (Perceptron)，首先从工程角度出发，研究了用 于信息处理的神经网络模型.这是一种学习和自 组织的心理学模型，它基本符合神经生理学的 原理。感知机虽然比较简单，却

4、已具有神经网 络的一些基本性质，如分布式存贮、并行处理 、可学习性、连续计算等。这些神经网络的特 性与当时流行串行的、离散的、符号处理的电 子计算机及其相应的人工智能技术有本质上的 不同，由此引起许多研究者的兴趣，在60代掀 起了神经网络研究的第一次高潮。但是，当时 人们对神经网络研究过于乐观，认为只要将这 种神经元互连成一个网络，就可以解决人脑思 维的模拟问题，然而，后来的研究结果却又使 人们走到另一个极端上。 在60年代末，美国著名人工智能专家Minsky和Papert对 Rosenblatt的工作进行了深人研究，出版了有较大影响的 (Perceptron)一书，指出感知机的功能和处理能力

5、的局限性 ，甚至连XOR(异或)这样的问题也不能解决，同时也指出 如果在感知器中引入隐含神经元，增加神经网络的层次， 可以提高神经网络的处理能力，但是却无法给出相应的网 络学习算法。因此Minsky的结论是悲观的。另一方面，由 于60年代以来集成电路和微电子技术日新月异的发展，使 得电子计算机的计算速度飞速提高，加上那时以功能模拟 为目标、以知识信息处理为基础的知识工程等研究成果， 给人工智能从实验室走向实用带来了希望，这些技术进步 给人们造成这样的认识：以为串行信息处理及以它为基础 的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发 展新型计算机和寻找新的人工智能途径的必要性和迫切性 。另外

6、，当时对大脑的计算原理、对神经网络计算的优点 、缺点、可能性及其局限性等还很不清楚。总之，认识上 的局限性使对神经网络的研究进入了低潮。 在这一低潮时期，仍有一些学者扎扎实实地继续 着神经网络模型和学习算法的基础理论研究，提出了 许多有意义的理论和方法。其中，主要有自适应共振 理论，自组织映射，认知机网络模型理论，BSB模型等 等，为神经网络的发展奠定了理论基础。进入80年代，首先是基于“知识库”的专家系统的研 究和运用，在许多方面取得了较大成功。但在一段时 间以后，实际情况表明专家系统并不像人们所希望的 那样高明，特别是在处理视觉、听觉、形象思维、联 想记忆以及运动控制等方面，传统的计算机和

7、人工智 能技术面临着重重困难。模拟人脑的智能信息处理过 程，如果仅靠串行逻辑和符号处理等传统的方法来济 决复杂的问题，会产生计算量的组合爆炸。因此，具 有并行分布处理模式的神经网络理论又重新受到人们 的重视。对神经网络的研究又开始复兴，掀起了第二 次研究高潮。 1982年，美国加州理工学院物理学家JJHopfield提 出了一种新的神经网络HNN。他引入了“能量函数”的概 念，使得网络稳定性研究有了明确的判据。HNN的电 子电路物理实现为神经计算机的研究奠定了基础，并将 其应用于目前电子计算机尚难解决的计算复杂度为NP 完全型的问题，例如著名的“巡回推销员问”(TSP)，取 得很好的效果。从事

8、并行分布处理研究的学者，于1985 年对Hopfield模型引入随机机制，提出了Boltzmann机。 1986年Rumelhart等人在多层神经网络模型的基础上， 提出了多层神经网络模型的反向传播学习算法(BP算法) ，解决了多层前向神经网络的学习问题，证明了多层神 经网络具有很强的学习能力，它可以完成许多学习任务 ，解决许多实际问题。 近十几年来，许多具备不同信息处理能力的神经网络 已被提出来并应用于许多信息处理领域，如模式识别 、自动控制、信号处理、决策辅助、人工智能等方面 。神经计算机的研究也为神经网络的理论研究提供了 许多有利条件，各种神经网络模拟软件包、神经网络 芯片以及电子神经计

9、算机的出现，体现了神经网络领 域的各项研究均取得了长足进展。同时，相应的神经 网络学术会议和神经网络学术刊物的大量出现，给神 经网络的研究者们提供了许多讨论交流的机会。 虽然人们已对神经网络在人工智能领域的研究达成了 共识，对其巨大潜力也毋庸置疑，但是须知，人类对 自身大脑的研究，尤其是对其中智能信息处理机制的 了解，还十分肤浅。因而现有的研究成果仅仅处于起 步阶段，还需许多有识之士长期的艰苦努力。概括以上的简要介绍，可以看出，当前又处于神经 网络理论的研究高潮，不仅给新一代智能计算机的研 究带来巨大影响，而且将推动整个人工智能领域的发 展。但另一方面，由于问题本身的复杂性，不论是神 经网络原

10、理自身，还是正在努力进行探索和研究的神 经计算机，目前,都还处于起步发展阶段。为了了解ANN，我们首先分析一下现行计算机所 存在的问题。尽管冯诺依曼型计算机在当今世界发挥 着巨大的作用，但它在智能化信息处理过程中存在着 许多局限性。我们简单分析一下冯诺依曼型计算机求 解某个问题所采用的方法。 (1)根据该问题的特点，建立合适的数学模型。(2)根据所建立的数学模型的原始数据资料，生成适 合于输入计算机的程序和数据。(3)计算机的控制器命令输入器将计算步骤的初始数 据记录到存贮器中。(4) 控制器根据计算步骤的顺序，依次按存贮器地 址读出第一个计算步骤，然后根据读出步骤的规定， 控制运算器对相应数

11、据执行规定的运算操作。(5)反馈器从反馈信号中得知运算器操作完毕，把所 得的中间结果记录到存贮器某个确定位置存贮好。(6)反馈信号通知控制器再取第二个计算步骡，然后 重复上述的执行过程。一直到整个运算完成后，控制 器就命令输出器把存贮器中存放的最终结果用打印、 显示或绘图等方式输出。将以上整个计算过程概括起来，可以看出现行冯诺 依曼计算机有以下三个主要特点：(1)它必须不折不如地按照人们已经编制好的程序步 骤来进行相应的数值计算或逻辑运算，它没有主动学 习的能力和自适应能力，因此它是被动的。(2)所有的程序指令都要调入CPU一条接一条地顺序 执行。因此它的处理信息方式是集中的、串行的。(3)存

12、贮器的位置(即地址)和其中历存贮的具体内容 无关。因此，在调用操作的指令或数据时，总是先找 它所在存贮器的地址，然后再查出所存贮的内容。这 就是说，存贮内容和存贮地址是不相关的。由于现行计算机的上述特点，一方面它在像数值计 算或逻辑运算这类属于顺序性(串行性)信息处理中， 表现出远非人所能及的速度；另一方面，在涉及人类 日常的信息活动，例如识别图形、听懂语言等，却又 显得那样低能和笨拙。实际上脑对外界世界时空客体 的描述和识别，乃是认知的基础。认 知问题离不开对低层次信息处理的研 究和认识。虽然符号处理在脑的思维 功能模拟等方面取得了很大进展，但 它对诸如视觉、听觉、联想记忆和形 象思维等问题

13、的处理往往感到力不从 心。所以符号处理不可能全面解决认 知问题和机器智能化问题它对高层 次脑功能的宏观模拟很有效，而对一 些低层次的模式处理则至今还有许多 困难。正是由于认识到传统的冯诺依曼计算机在智能信 息处理中的这种难以逾越的局限性使得人们考虑到 有必要进一步了解分析人脑神经系统信息处理和存贮 的机理特征以便寻求一条新的人工神经网络智能信 息处理途径。人工神经网络研究是采用自下而上的方法，从脑的 神经系统结构出发来研究脑的功能，研究大量简单的 神经元的集团信息处理能力及其动态行为。目前，神 经网络的研究使得对多年来困扰计算机科学和符号处 理的一些难题可以得到比较令人满意的解答，特别是 对那

14、些时空信息存贮及并行搜索、自组织联想记亿、 时空数据统计描述的自组织以及从一些相互关联的活 动中自动获取知识等一般性问题的求解，更显示出独 特的能力。由此引起了智能研究者们的广泛关注，并 普遍认为神经网络方法适合于低层次的模式处理。人脑信息处理机制生物神经系统是一个有高度组织和相互作 用的数量巨大的细胞组织群体。人类大脑的神 经细胞大约在1011一1013个左右。神经细胞也 称神经元，是神经系统的基本单元，它们按不 同的结合方式构成了复杂的神经网络。通过神 经元及其联接的可塑性，使得大脑具有学习、 记忆和认知等各种智能。 人工神经网络的研究出发点是以生物神经元学 说为基础的。生物神经元学说认为

15、，神经细胞即神经 元是神经系统中独立的营养和功能单元。生物神经系 统包括中枢神经系统和大脑，均是由各类神经元组 成。其独立性是指每一个神经元均有自己的核和自己 的分界线或原生质膜。生物神经元之间的相互连接从而让信息传递的部位 披称为突触(Synapse)。突触按其传递信息的不同机 制，可分为化学突触和电突触、其中化学突触占大 多数，其神经冲动传递借助于化学递质的作用。生 物神经元的结构大致描述如下图所示。神经元由细胞体和延伸部分组成。延伸部分按功能分 有两类，一种称为树突，占延伸部分的大多数，用来 接受来自其他神经元的信息；另一种用来传递和输出 信息，称为轴突。神经元对信息的接受和传递都是通

16、过突触来进行的。单个神经元可以从别的细胞接受多 达上千个的突触输入。这些输入可达到神经元的树突 、胞体和轴突等不同部位，但其分布各不相同对神 经元的影响也不同。人类大脑皮质的全部表面积约有20104mm2，平均 厚度约25mm，皮质的体积则约为50 104mm3。如 果皮质中突触的平均密度是6 l09mm3左右，则可 认为皮质中的全部突触数为3 1015个。如果再按上述 人脑所含的全部神经元数目计算，则每个神经元平均 的突触数目可能就有1530万个左右。 神经元之间的联系主要依赖其突触的联接作用。这种突触的 联接是可塑的，也就是说突触特性的变化是受到外界信息的影响 或自身生长过程的影响。生理学的研究归纳有以下几个方面的变 化：(1)突触传递效率的变化。首先是突触的膨胀以及由此产生的 突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得 突触的传递效率提高。其次是突触传递物质质量的变化，包括比 例