《人工神经网络综述》由会员分享，可在线阅读，更多相关《人工神经网络综述（4页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络综述摘要本文使用通谷易懂的语言从物理概念上深入浅出地介绍了人工神经网络的工作原理、特点及几种典型神经网络，避免出现繁琐的公式及数学推导。希望能通过本文引起广大科研工作者对人工神经网络的认识和重视。1 神经元模型的提出“人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称 A.N.N.)是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪 40 年代初期，心理学家 McCulloch、数学家 Pitts 就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，F.Rosenblatt、Widrow 和
2、Hopf、J.J.Hopfield 等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。据神经生物学家研究的结果表明，人的一个大脑一般有 10101011个神经元。如图 1 所示，每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理(如：加权求和，即对所有的输入信号都加以
3、考虑且对每个信号的重视程度体现在权值上有所不同)后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。图 1 神经元结构图图 2 神经元模型对应于图 1，可以很容易的建立起神经元的模型，如图 2 所示。大脑之所以能够处理极其复杂的分析、推理工作，一方面是因为其神经元个数的庞大，另一方面还在于神经元能够对输入信号进行非线性处理。因此，对图 2 可进一步建立起更接近于工程的数学模型，如图 3 所示，它是一个多输入单输出的非线性器件。其中的权值 W 即代表神经元之间的连接强度，f(x)为非线性函数。图 3 神经元的数学模型2 人工神经网络的工作原理人工神经网络首先要以一定的学习准则进
4、行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为 50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能
5、作出正确的判断。如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。3 人工神经网络的特点人工神经网络是由大量的神经元广泛互连而成的系统，它的
6、这一结构特点决定着人工神经网络具有高速信息处理的能力。人脑的每个神经元大约有 103104 个树突及相应的突触，一个人的大脑总计约形成10141015个突触。用神经网络的术语来说，即是人脑具有 10141015个互相连接的存储潜力。虽然每个神经元的运算功能十分简单，且信号传输速率也较低(大约 100 次/秒)，但由于各神经元之间的极度并行互连功能，最终使得一个普通人的大脑在约 1 秒内就能完成现行计算机至少需要数 10 亿次处理步骤才能完成的任务。人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。
7、每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如：专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意
8、外事故受轻微损伤之后，并不会失去原有事物的全部记忆。人工神经网络也有类似的情况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。4 几种典型神经网络简介(1)多层感知网络(误差逆传播神经网络)：在 1986 年以 Rumelhart 和 McCel
9、land 为首的科学家出版的Parallel Distributed Processing一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络，即：输入层 I、隐含层(也称中间层)J、输出层 K，如图 4。相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接。图 4 多层感知网络结构图学习规则及过程：它以一种有教师示教的方式进行学习。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层
10、传播(称为“模式顺传播”)。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”。所以误差逆传播神经网络也简称 BP(Back Propagation)网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下来各层间的连接权值之后就可以工作了。由于 BP 网及误差逆传播算法具有中间隐含层并有相应的学习规则可寻，使得它具有对非线性模式的识别能力。特别是其数学意义明确、步骤分明的学习算法，更使其具有广泛的应用前景。目前，在手写
11、字体的识别、语音识别、文本语言转换、图象识别以及生物医学信号处理方面已有实际的应用。但 BP 网并不是十分的完善，它存在以下一些主要缺陷：学习收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一个训练好的网提供新的学习记忆模式时，将使已有的连接权值被打乱，导致已记忆的学习模式的信息的消失。(2)竞争型(KOHONEN)神经网络：它是基于人的视网膜及大脑皮层对剌激的反应而引出的。神经生物学的研究结果表明：生物视网膜中，有许多特定的细胞，对特定的图形(输入模式)比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋程度被抑制。对于某一个输入模式，通过竞争在输出层中只激活一个相应
12、的输出神经元。许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据的“特征图形”。竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动对输入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则相比，有其自己的鲜明特点。在网络结构上，它既不象阶层型神经网络那样各层神经元之间只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一般是由输入层(模拟视网膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成的两层网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层，如图 5。有时竞争层各神经元之间还存在横向连接。竞争型神
13、经网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实际上也就是网络回忆联想的过程。图 5 KOHONEN 神经网络结构图除了竞争的方法外，还有通过抑制手段获取胜利的方法，即网络竞争层各神经元抑制所有其它神经元对输入模式的响应机会，从而使自己“脱颖而出”，成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每
14、个神经元只抑制与自己邻近的神经元，而对远离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图象边缘的缺陷问题。竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失。(3)Hopfield 神经网络：1986 年美国物理学家 J.J.Hopfield 陆续发表几篇论文，提出了 Hopfield 神经网络。他利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，并利用此方法建立求解优化计算问题的系统方程式。基本的 Hopfield 神经网络是一个由非线性元件构成的全连接型单层反
15、馈系统，如图 6。图 6 含有四个神经元的 Hopfield 网络结构图图 7 Hopfield 网络神经元结构图网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元 t 时刻的输出状态实际上间接地与自己的 t-1 时刻的输出状态有关。所以 Hopfield 神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化
16、趋势，并可以依据 Hopfield 工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么 Hopfield 神经网络就能够用于解决优化组合问题。Hopfield 工作时其各个神经元的连接权值是固定的，更新的只是神经元的输出状态。Hopfield 神经网络的运行规则为：首先从网络中随机选取一个神经元 ui，按照公式(1)进行加权求和，再按公式(2)计算ui 的第 t+1 时刻的输出值。除 ui 以外的所有神经元的输出值保持不变，返回至第一步，直至网络进入稳定状态。对于同样结构的网络，当网络参数(指连接权值和阀值)有所变化时，网络能量函数的极小点(称为网络的稳定平衡点)的个数和极小值的大小也将变化。因此，可以把所需记忆的模式设计成某个确定网络状态的一个稳定平衡点。若网络有 M 个平衡点，则可以记忆 M 个记忆模式。当网络从与记忆模式较靠近的某个初始状态(相当于发生了某些变形或
