《行敏锋—DLVQ应用.doc》由会员分享，可在线阅读，更多相关《行敏锋—DLVQ应用.doc（16页珍藏版）》请在金锄头文库上搜索。
1、目录目录（1）摘要（2）引言（3）1 LVQ基本原理.（4）11 竞争学习网络及学习算法（4）12 学习向量量化（5）121 LVQ的学习（6） 122 改进的LVQ网络（9） 123 DLVQ网络.（9）2DLVQ应用（9）21 建立模型（10）22 训练模型（10）23 调用文件（13）24 观察容错性（15）3 结论（15）致谢（15）参考文献（15）附页（15）DLVQ模型应用研究（云南大学 物理系 电子科学与技术 行敏锋）摘要：人工神经网络是模拟人脑活动的一门新学科,它在信息处理等领域有相当广泛的应用。神经网络模式识别技术因具有很强的非线性处理能力和容错能力而得到广泛的应用。本文概括
2、神经网络的应用。主要研究学习矢量量化网络的在实际中的一些应用效果，本文给出利用SNNS模拟器构造LVQ、训练LVQ神经网络的方法和详细步骤；将网络参数转化为子程序以供推广应用；总结了应用的实际效果。关键词：人工神经网络，学习矢量量化，学习算法Abstract：Artificial neural network is new technology developing from simulation of human brains activity, has extensive and practical application in information processing. The pa
3、ttern recognition of artificial neural network is special application with strong capability of nonlinear approximation and correcting. In this paper, we introduce the algorithm and practical effect of the learning vector quantization (LVQ) neural network. The basic way and detail step of applicatio
4、n in SNNS simulator, including constructing and training LVQ neural network, are presented. The learned parameters are converted into a subroutine for extensive application. The practical effect is summarized in application. Keywords：Artificial Neural Networks，Learning Vector Quantization，Learning A
5、lgorithm引言人工神经网络(Artificial Neural Networks，简称ANN)是模仿脑细胞结构和功能，脑神经结构以及思维处理问题等脑功能的新型信息处理系统。由于ANN具有复杂的动力学特性，并行处理机制，学习，联想和记忆等功能,以及它的高度自组织，自适应能力和灵活性而受自然科学领域学者的广泛重视。20世纪80年代中期与90年代初期，ANN的研究工作发展迅速，许多理论与应用方面都有突破性进展，也提出了一系列迫切需要解决的问题，形成多学科的交叉研究局面。就ANN应用的领域而言有计算机视觉，语言的识别，理解与合成，优化计算，智能控制及复杂系统分析，模式识别，神经计算机的研制，知识
6、处理，专家系统与人工智能，涉及的学科有神经生理学，微电子学，光学，生物电子等。可以看出，在许多方面都取得了丰硕的成果， ANN的发展具有强大的生命力，将来一定会在科学领域发挥更大的作用。针对当前ANN存在的问题，今后的研究方向主要为理论研究和应用研究两个方面。在理论研究方面有：利用神经生理与认识科学研究多维及智能的机理；利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能。例如：稳定性，收敛性，容错性等，开发新的网络数理理论，例如神经网络动力学，非线性神经场等。在应用研究方面有：神经网络软件模拟和硬件实现的研究；神经网络在各个科学技术领域应用的
7、研究，它涉及的领域很广，包括模式识别，信号处理，知识工程，专家系统，优化组合，智能控制等。在神经网络应用中很重要的一个环节是训练学习过程，通过该过程使网络能对外界有正确的响应。把要教给网络的信息(外部输入)和正确的结论（或期望值）作为网络的输入和要求的输出，使网络按某种规则(称训练算法)调节各处理单元间的连接权值，直到加上给定输入，网络就能产生给定输出为止。这时，各连接权已调节好，则网络的学习训练完成了。人工神经网络的学习方式分为三种：1监督学习（有教师学习）：这种学习方式需要外界存在一个“教师”，他可以对一组给定输入提供应有的输出结果（正确答案）。2非监督学习（无教师学习）：非监督学习时不存
8、在外部教师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某种固有特性（如聚类，或某种统计上的分布特征）。3二者结合：这种学习结合上述两种情况，在网络的局部如竞争层按无导师学习算法调整权值，而在输出层按监督学习算法调整权值。学习算法有以下几类：1误差纠正学习：令为输入时神经元k在n时刻的实际输出，表示相应的应有输出（可由训练样本给出），则误差信号可写为： =误差纠正学习的最终目的是使某一基于的目标函数达到最小，以使网络中的每一个输出单元的实际输出在某种统计意义上最逼近于应有输出。2Hebb学习：神经心理学家Hebb提出的学习规则可归结为：“当某一突触（连接）
9、两端的神经元的激活同步（同为激活或同为抑制）时，该连接的强度应增加，反之则应减弱”，用数学方式可描述为： =F(,)式中，分别为两端神经元的状态，其中最常见的一种情况为： =由于与，的相关成比例，有时称之为相关学习规则。3竞争（Competitive）学习：顾名思义，在竞争学习时网络各输出单元互相竞争，最后达到只有一个最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，这样众多输出单元中如有某一单元比较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状态。其规则可写为： =ANN发展至今，已有数十种模型，它们从不同角度对人脑神经系统不同层次进行模拟，其中反馈传播神经网络(BP网
10、络)应用最为广泛。在文中我们引进了以竞争神经网络为基础的LVQ网络，尝试用该方法在一些实际中的应用。本文中，我们主要介绍的是对手写体数字的识别。1 LVQ基本原理学习矢量量化（Learning Vector Quantization ，简称LVQ ）是在监督状态下对竞争层进行训练的一种算法，而竞争层采用竞争学习算法。所以在介绍 LVQ 之前，我们有必要先了解竞争神经网络算法。1.1 竞争神经网络及学习算法实际的神经网络中, 存在着一种“侧抑制”现象。即一个神经细胞兴奋后, 通过它的分支会对周围其他神经细胞产生抑制作用。这种“侧抑制”使神经细胞之间出现了竞争, 当受到某种刺激时, 在开始阶段各个
11、神经细胞都处于不同程度的兴奋状态, 但由于“侧抑制”作用, 其中兴奋最强的神经细胞对周围神经细胞产生的抑制作用也最强, 最后, 它战胜其他神经细胞“赢”了, 而其周围的其他神经细胞则全“输”了。竞争神经网络就是对实际神经细胞这种“侧抑制”现象的模拟。基本的竞争学习网络由两层组成: 即输入层和竞争层。输入层接收输入样本; 竞争层对输入样本进行分类。这两层神经元是全互联接的, 即每一层的每个神经元与另一层的每个神经元均联接(图1)。用于识别的竞争网络的学习规则是, 假设输出为a = F (|P W |)其中, P 是输入向量; W 是任一神经元的权向量; F 表示当P 与W 之间的距离最小时, 神
12、经元的输出为1, 否则为0。训练开始时, 随机设置每一神经元的W , 当P 与W 之间的距离最小, 这一神经元激活, 其输出值为1, 其余神经元则被抑制, 输出值为0。权向量调整按下式W = lr . a .(P W ) 图1：竞争神经网络结构lr 是学习率。每进行一步竞争学习, 就是对竞争层中竞争获胜的神经元相联接的输入权值作一次调整, 只有竞争胜利的神经元才修改对应的权值。调整权植的目的是为了使权值与其输入矢量之间的差别越来越小, 从而使训练后的竞争网络的权值能够代表所对应输入矢量的特征, 把相似的输入矢量分成同一类, 并由输出来指示所代表的类别。1.2 学习向量量化如图2所示，LVQ神经
13、网络是一种混合网络。通过有监督及无监督的学习来形成分类。 图2：LVQ网络在LVQ网络中，第一层的每个神经元都指定给某个类，常常几个神经元被指定给同一类。每类在被指定给第二层的一个神经元，第一层神经元的个数与第二层的神经元的个数至少相同，并且通常要大一些。和竞争网络一样，LVQ 网络的第一层的每个神经元学习原型向量，它可以对输入空间的区域分类。然而，不是通过计算内积得到输入和权值中最接近值，而是通过直接计算距离的方法来模拟LVQ网络。直接计算距离的一个优点是不必先规格化，当向量规格化了，无论是采取计算内积的方法还是直接计算距离，网络的响应是相同的。LVQ网络的第一层净输入是： =-|-p|或者，用向量形式： =-LVQ网络第一层的输出是： =compet(n)因此那种权值向量最为接近的神经元的输出为将为1，而其它神经元的输出为0。迄今，LVQ网络与竞争网络的特性几乎相同（至少对规格化向量）。然而，对其解释方面有区别。对于竞争网络，有非零输出的神经元表示输入向量属于那个类。而对与LVQ网络，竞争获胜的神经元表示的是一个子类，而不是一个类。一个类可能由几个不同的神经元（子类）组成。LVQ的第二层将子类组合成一个类。这是通过矩阵
