《非对称神经网络动力学研究》由会员分享，可在线阅读，更多相关《非对称神经网络动力学研究（108页珍藏版）》请在金锄头文库上搜索。
1、周庆国：博士学位论文原创性声明本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进行研究所取得的成果。学位论文中凡引用他人已经发表或未发表的成果、数据、观点等，均已明确注明出处。除文中已经注明引用的内容外，不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究成果做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：衄日期：k 乒斗周庆国：博士学位论文关于学位论文使用授权的声明本人在导师指导下所完成的论文及相关的职务作品，知识产权归属兰州大学。本人完全了解兰州大学有关保存、使用学位论文的规定，同意学校保存或向国家有关部门或机构送交论文的纸
2、质版和电子版，允许论文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用任何复制手段保存和汇编本学位论文。本人离校后发表、使用学位论文或与该论文直接相关的学术论文或成果时，第一署名单位仍然为兰州大学。保密论文在解密后应遵守此规定。j夕 论文作者签名：衄翩签名张日期：疋J _ b周庆国：博士学位论文摘要本文推广蒙特卡罗变异优化规则以适应一般非对称反馈神经网络的设计，同时对非对称反馈神经网络的动力学特性进行了详细研究，首次建立了神经网络权值矩阵的本征值谱与网络性能的直接联系。具有联想记忆功能的神经网络一直以来是神经网络研究的热点问题。赵鸿教授针对传统反馈
3、神经网络存在的三个问题：具有任意对称度的神经网络的设计方法以及这类网络的性能；大量伪吸引子与记忆模式共存的问题；记忆模式吸引域的控制问题，提出了一套神经网络设计方法，即非对称神经网络设计规则，又称蒙特卡罗变异优化设计规则。这套方法全面地解决了上述问题，但是此设计方法主要考虑的是一种简单情况，即神经元的连接系数或连接权值只取两种状态( J 沪- 1 ) 的模型，对于真正实际应用还有一定的距离。为此本篇论文的第一部分内容是推广蒙特卡罗变异优化设计规则，使之适用于一般化的非对称反馈神经网络( J ，i = - d ，d 是任意实数) 的设计，同时我们应用推广的设计方法具体设计两种典型的离散非对称神经
4、网络，即全连接离散神经网络和稀疏连接的离散神经网络，并详细研究它们的动力学行为和统计性质，给出了参数空间中的基本“相图”，通过比较这两种类型网络的异同，提出我们对“稀疏”作用的不同于传统观念的看法。我们的周庆国：博士学位论文研究结果表明，一般全连接网络和稀疏连接网络的动力学特性与原来二值权重非对称网络基本一致，都存在三个相区，同样存在没有伪吸引子的记忆相：然而与二值权重非对称网络相比，网络的存储能力和其他功能都有非常大的提高和改善，从而表明非对称神经网络的确具有超越传统联想记忆对称神经网络的许多优点，可以在实际应用中取代传统网络。另外我们还发现单纯从网络的存储能力上看，全连接网络的性能要明显高
5、于稀疏网络，这点与传统看法有着明显的区别。本文的另一部分工作是基于随机矩阵理论来研究网络的本征值谱，发现网络的本征值谱与网络的性能紧密相关。应用蒙特卡罗变异优化规则设计的网络，其本征值谱分为两个部分，一部分表征网络的随机特性仍然遵守W i g n e r 半圆律，另外一部分表征网络偏离随机情况的信息，即网络存储模式的信息，而且网络偏离部分的本征值个数严格的等于网络要存储的模式个数。同时我们发现本征值谱的分布在第一相变点发生突变：两部分特征值刚好在这一点发生分离。这样特征值谱与网络性质的对应关系同样在两种典型的对称网络上得到验证。本文组织如下：第一章绪论介绍神经网络研究的基础和背景，同时还介绍了
6、一些典型神经网络模型。第二章详细分析这些神经网络的动力学行为和统计性质，从我们的观点和我们对神经网络的理解对它们的优缺点进行了讨论，从而为以后各章作准备。第三章介绍赵鸿教授提出的蒙特卡罗变异优化设计规则的基本原理和由此设计的二值神经网络的基本动力学特点。第四章提出本文的主要工作，也就是推广蒙特卡罗变异优化设计规则使之适用于一般连接权值的非对称神经网络的设计，并具体应用推J 一的规则设计了两种典型的神经网络，也就是全连接非对称离散神经网络和稀疏连接非对称神经网络。第五章对这两种典型非对称神经网络的特性进行比较研究。第六章建立神经网络权值矩阵本征值谱与网络性能的联系。第七章对非对称神经网络的研究进
7、行总结。第八章介绍互联网络应用于数据采集的一个具体应用实例，这一章是作者在博士期间完成的与神经网络有一定关系的一项工作。周庆国：博士学位论文A b s t r a c tW ee x t e n dar e c e n t l yp r e s e n t e dm e t h o do fd e s i g n i n ga s y m m e t r yn e u r a ln e t w o r k sw i t ha s s o c i a t em e m o r y ，w h i c hi se v a l u a t e di nt h ec a s eo fb i n a r
8、yc o n n e c t i o ns y n a p s e s ，a l l o w i n gt h ea d j u s t m e n to ft h ew e i g h t so ft h ec o n n e c t i o ns y n a p s e s T h ea s y m m e t r yn e u r a ln e t w o r k sd e s i g n e db yt h ee x t e n d e dm e t h o ds h o wp o w e r f u lp e r f o r m a n c e T h e s en e t w o
9、r k sh a v ep l e n t i f u ld y n a m i c s ，i e ，t h e yc a ns h o wc h a o t i c ，m e m o r ya n dm i x t u r ep h a s e sw h e nt h ed e g r e eo fs y m m e t r yo ft h es y n a p s em a t r i xv a r i e s A p p l y i n gt h ee x t e n d e dr u l et ot h eg e n e r a lc a s eo fJ ，o n eh a sm u
10、c hm o r ef r e e d o mt h a nt h ep r i m a r yo n e ( Z h a o ，2 0 0 4 )t oc o n t r o lt h ea t t r a c t i o nb a s i n so fm e m o r yp a t t e r n s ，t oc o n t r o lt h ed e g r e eo ft h es y m m e t r yo ft h en e t w o r k s ，t os u p p r e s st h es p u r i o u sm e m o r i e sa n d ，m o
11、r ee s s e n t i a l l y ，t od r a m a t i c a l l yi m p r o v et h ee f f i c i e n ts t o r a g ec a p a c i t yo ft h en e t w o r k s T h ee f f i c i e n ts t o r a g ec a p a c i t yi si m p r o v e dd r a m a t i c a l l y ，t h u so fg r e a ti m p o r t a n c ef o rp r a c t i c a la p p l
12、i c a t i o n s T h ep a r a m e t e rr e g i o n ( s ) i nw h i c ht h en e t w o r k sc a nb ed e s i g n e dw i t h o u ta n ys p u r i o u sm e m o r yi se n l a r g e ds u f f i c i e n t l y E x a m p l e so fb o t hf u l1 一c o n n e c t i o na n dd i l u t i o nn e t w o r k ，a r ei n v e s t
13、 i g a t e di nd e t a i l R e s u l t si n d i c a t et h a ta s y m m e t r i cn e u r a ln e t w o r k sd oh a v es i g n i f i c a n ta d v a n t a g e so v e rt h es y m m e t r i cc o u n t e r p a r t s ，9周庆国：博士学位论文a n dt h ef u l l c o n n e c t i o nn e t w o r k sa r ei ng e n e r a ls u p
14、 e r i o rt ot h ed i l u t i o no n e s F i n a l l yw ed e m o n s t r a t et h a tt h ee i g e n v a l u es p e c t r u mo ft h es y n a p s em a t r i xm a yp r o v i d ee s s e n t i a li n f o r m a t i o nf o ru n d e r s t a n d i n gt h ed y n a m i c a lp r o p e r t i e so fn e u r a ln e
15、 t w o r k s ，b o t ha s y m m e t r i ca n ds y m m e t r i c1 t )周庆国：博士学位论文第1 章绪论人通过视觉、听觉、嗅觉以及触觉等器官感知外部世界，形成直觉和表象，并能够在此基础上进行判断和推理，完成了由感性认识到理性认识的质的飞越。人的思维活动是依托大脑( 见图1 1 ) 来进行的，人的大脑由约1 0 “( 1 0 0 0亿) 个神经细胞组成的巨大网络，其中大脑皮层是完成感知和思维等高级功能的的最重要神经系统，它虽然只有0 2平方米见方，1 毫米厚，却包含有大约1 0 “个神经元和1 0 “个突触，构成一序列的功能区。神经元
16、之间的的连接速度，也就是神经脉冲是毫秒量级的，与传统计算机1 0 9 秒量级的计算速度比较相差巨大，但却能在很短的时间内完成诸如说话人的识别、语音语义的识别、自然语言的理解等对于传统计算机实现起来很困难的功能，这是由两者的运行机制不同所决定的 1 。图1 。1 、大脑周庆国：博士学位论文传统计算机通常具有一个或少量复杂的中央处理器，该处理器具有极高的运算速度，其运算规则是按照事先设定好的流程进行计算。然而神经系统的响应速度尽管比较慢，但是它的“运算”是由大量的并行连接的简单处理单元( 即神经元，见图I 2 ) 共同承担，因此对于简单的识别任务只需要很少的几步就可以完成。图1 2 、几种神经元示意图：神经7 C 细胞主要由细胞体、树突、轴突组成考虑到生物神经系统和人脑在许多模式识别等领域的卓越的性能，因此如何模拟生物神经系统的行为，如何构造和设计仿真的人工神经网络( A N N ，A R T I F I C I A LN E U R A LN E T W O R K ) 模型，并且将其应用到实际工作中去，如汉字识别，语音识别等，越来越受到科研
