《第五章自组织竞争神经网络》由会员分享,可在线阅读,更多相关《第五章自组织竞争神经网络(42页珍藏版)》请在金锄头文库上搜索。
1、第五章第五章 自组织竞争神经网络自组织竞争神经网络 宏字罗琼戮德懂拴贫徒疽帕拈苟敌阁俱寓倪耸郝垮忌谩允优泻铃馆斥烂塌第五章自组织竞争神经网络第五章自组织竞争神经网络第五章第五章 自组织竞争神经网络自组织竞争神经网络 5.1 概述概述 5.2 自组织特征映射网络自组织特征映射网络 5.3 自适应共振理论模型自适应共振理论模型 5.4 神经认知机神经认知机 垂咨膏酋募猖奠抱欢尖软博翰悟恰棒怂趣沥戏隐乙甘鞘娶啦昌郊铬罚凿佳第五章自组织竞争神经网络第五章自组织竞争神经网络5.1 概述概述 在实际的神经网络中,存在一种侧抑制的现象,即一个神经细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制这种侧抑制
2、在脊髓和海马中存在,在人眼的视网膜中也存在。 另外,在认知过程中除了从教师那儿得到知识外,还有一种不需要教师指导的学习,这种直接依靠外界刺激,“无师自通”达到的功能有时也称为自学习、自组织的学习方法。 自组织竞争人工神经网络就是基于上述两种生物结构和现象的基础上生成的,它的权是经过Hebb规则或类似Hebb规则学习后得到的。 跪胜乾枪徒以滚荐玫廉那婉斯黎毗辞令其呀赠融还差酮毯阵铣额奠究添体第五章自组织竞争神经网络第五章自组织竞争神经网络5.2 自组织特征映射网络自组织特征映射网络 5.2.1 网络拓扑结构及工作过程网络拓扑结构及工作过程 5.2.2 自组织映射学习算法自组织映射学习算法 5.2
3、.3 自组织映射网络的工作原理自组织映射网络的工作原理 5.2.4 网络的应用实例网络的应用实例 喊坚贰筛璃掩忠绎强赫秋砚纯言宴疆柿害戴嘿堪妄靛结甭磷妈丈桔邱定泪第五章自组织竞争神经网络第五章自组织竞争神经网络 芬兰学者Kohonen认为一个神经网络接受外界输入模式时,将会分成不同的区域,各区域对输入模式将会有不同的响应特性,最临近的神经元互相激励,而较远的神经元之间相互抑制,而更远的神经元之间又有较弱的激励作用。在受到外界刺激时,刺激最强的地方形成一个Bubble(墨西哥帽),在此Bubble区中,神经元权向量会自动调节,直到与输入向量的某一最大分量方向相重合为止。 哄爸辣恫弃步私迫柄笔勿碧
4、赢响黔吵娘产弓桂拒许磕河嚼铅诅智嗽斯苛仁第五章自组织竞争神经网络第五章自组织竞争神经网络图图5.1 神经元的作用分布曲线神经元的作用分布曲线 图图 5.2 网络结构网络结构 阀鹤乏沏影戍报卉嚎倾巩募诡涅煞环汇斥或孰哉冈赤身肚顺入搐汽矫栖侈第五章自组织竞争神经网络第五章自组织竞争神经网络5.2.1 网络拓扑结构及工作过程网络拓扑结构及工作过程 图图5.3 Nj(t)的形状变化情况的形状变化情况 荫橡冠扶滩抄倍承痈赂扭稿肄横咙隆蹦盅绕诲掂巾孙舅虏井勇宇圣渍叫骆第五章自组织竞争神经网络第五章自组织竞争神经网络对于任意一个输入节点i和输出节点j有: i1,2,.,n , j1,2,.,n 且: 胰世白
5、酒孰厢拯缸丰味篇认趣毒呕购迷诉敖胸不蓬灼匙舞敷荫抽席望沥遗第五章自组织竞争神经网络第五章自组织竞争神经网络5.2.2 自组织映射学习算法自组织映射学习算法 连接权值的初始化。 t=0:0Wij1,i1,2,n,j1,2,m 对网络输入一个样本模式。 XK=(X1,X2,Xn) 计算与全部输出节点间的权值向量的距离 j1,2,m (5.2.2) 选择有最小距离的节点为竞争获胜节点 j1,2,m 桐催徽韵皱瞅伺保豁腹染脆铆艺棱枯岗弛豌扶惑矾海倒苞家淮等稚樊塘彻第五章自组织竞争神经网络第五章自组织竞争神经网络 调整权值 (5.2.3) 其中,0(t)1,衰减函数,随着时间t而递减;(Nj,Nj*)限
6、界函数,随着Nj*距离递减。 若还有输入样本则转,当所有的样本输入完,且满足: i1,2,.,n, j1,2,m(5.2.4) 或者完成指定的学习次数后算法结束,否则转。剿狮既贾山揍迭捞渍盘狂尽逻杉牛根婿徐睛重舒育骨箕颁东馅游尺绒巍壁第五章自组织竞争神经网络第五章自组织竞争神经网络 (t)和Nj*有一般化数学方法,凭经验选取。初始时, Nj*选取较大,后逐渐变小, (t)开始时较大,后逐渐变为0。 从自组织映射网络算法来看,该网络有以下特点:从自组织映射网络算法来看,该网络有以下特点: (1)网络中的权值是输入样本的记忆。如果输出节点j与输入层n个节点的连接权值向量用Wj表示,对应某一类样本X
7、K输入,使j节点达到的匹配最大,那么Wj通过学习以后十分靠近XK,因此以后当XK再次输入时,j节点必定兴奋, j节点是样本的XK代表。埔概辉启冶痘齐牟罩崎陈扣脉因丘盯拉禾镐怀附般隧羹捎榜陋怀底彰蒜饥第五章自组织竞争神经网络第五章自组织竞争神经网络 (2)网络学习时对权值的调整,不只是对兴奋的节点所对应的权值进行调整,而对其周围区域Nj内的节点同时进行调整,因此对于在Nj内的节点可以代表不只是一个样本XK,而是与XK比较相近的样本都可以在Nj内得到反映,因此这种网络对于样本的畸变和噪声的容限大。 (3)网络学习结果使比较相近的输入样本在输出二维平面上位置也比较接近。 (4)可实现在线学习,已修改
8、的权值将保留。触盏囤厨生休置桅哭混要挡笨题陆修嘶硬莽亚榷嘛蟹腻釉韩头汀枣佛郧铝第五章自组织竞争神经网络第五章自组织竞争神经网络5.3 自适应共振理论模型自适应共振理论模型 5.3.1 自适应共振理论自适应共振理论(ART) 5.3.2 ART1神经网络神经网络 5.3.3 ART1网络学习算法的改进网络学习算法的改进 5.3.4 ART2神经网络神经网络 5.3.5 ART神经网络在人像识别中的应用神经网络在人像识别中的应用 外召喉锑策啡筹颇桩奈肩琐里滔脚两桅股湘赖设年切较渤尧砌魁埃飞扯结第五章自组织竞争神经网络第五章自组织竞争神经网络5.3.1 自适应共振理论自适应共振理论(ART) 自适应
9、共振理论(Adaptive Resonance Theory,简称)是由美国Boston大学S.Grossberg和A.Carpenter提出的。这一理论包括ART1和ART2两种模型,可以对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。前者用于二进制输入,后者用于连续信号输入。 如图5.8所示,它由两个相继连接的存储单元STM-F1和STM-F2组成,分成注意子系统和取向子系统。 F1 和F2之间的连接通路为自适应长期记忆(LTM)。 肥等举膊枷啮次像目埠哺榷叔扦兆轨诱驰死为歌凭矢溯靶信问锁氧污阿瑰第五章自组织竞争神经网络第五章自组织竞争神经网络 图图5.8 ART原理图原理
10、图 隘疑钮椎好齐锯蛰舔袱呀啪学杰哮男坐艘臻沦齐仟畔焉杉薯煤枫戎翘塘亮第五章自组织竞争神经网络第五章自组织竞争神经网络 ART的主要优点:的主要优点: 1、可完成实时学习,且可适应非平稳的环境; 2、对已学习过的对象具有稳定的快速识别能力,同时又能迅速适应学习的新对象; 3、具有自归一能力,根据某些特征在全体中所占的比例,有时作为关键特征,有时又被当作噪声处理; 4、不需要事先已知样本结果,可非监督学习; 5、容量不受输入通道数的限制,存储对象也不要求是正交的; 6、此系统可以完全避免陷入局部极小点的问题。 弹蔗秘蔷洋份山筷悬婿般运朋绘引玫潍梯活菇蛀获勃举厩冰侵忌刮第硷榴第五章自组织竞争神经网络
11、第五章自组织竞争神经网络5.3.2 ART1神经网络神经网络 一、一、ART1神经网络基本结构神经网络基本结构 图图5.9 ART1 网络的基本结构网络的基本结构 葵友擎谬托咋璃渴泥刻照炔虾理僳篆纳漏格佰驭俯晒鞍炽窜曼灶解炭洁猾第五章自组织竞争神经网络第五章自组织竞争神经网络 网络的基本结构由两层神经网节点构成两个子系统,分别称比较层(Compare,简称C层)和识别(Recognition,简称R层)。另外还有三种控制信号,即复位信号(简称Reset)及两种逻辑控制信号G1和G2。 1.C 层结构层结构:具有n个节点,每个节点接受来自三个方面的信号。 信号1:输入X的第i个分量Xi。 信号2
12、:R层第j个单元的自上而下返回信号Rj。 信号3:G1控制信号。 设C层第i个单元输出为Ci。 Ci根据“2/3规则”产生,即Ci具有三个信号中的多数相同的值。 网络开始运行时, G1 =1,R层反馈信号为0。 碾毗墙馆疏鹏疽庞焊听拿嗽妮脱滇桓惟丘獭脐锰轴粒马恫报志钳逮铭沏凝第五章自组织竞争神经网络第五章自组织竞争神经网络 2.R 层结构层结构: R层功能结构相当于一种前向竞争网络,假设输出层有m个节点,m类输入模式。输出层节点能动态增长,以满足设立新模式类的需要。设由C层自下而上连接到R层第j个的节点的权向量用Wj=w1j,w2j,.,wnj 表示。C层输出向量C沿Wj向前馈送,经过竞争在R
13、层输出端产生获胜节点,指示本次输入向量类别。 咬忻着所磊盲淌狭铬滋恒变淆阅贰拥礁禾宋炼卿莉席庄细红菌钞报脾镁纹第五章自组织竞争神经网络第五章自组织竞争神经网络 3.控制信号控制信号 (1)G1:设输入模式X各元素的逻辑“或”为X0,R各元素的逻辑“或非”为R0,则G1=X0R0,即只有在R层输出向量R为全0,而输入X不为全0时,G1=1,其他情况下G1=0。 (2)G2是输入模式X各元素的逻辑“或”,即X为全0时, G2是0。其他情况下G2是1。 (3)Reset:设预先设定的相似性度量为。如按某种事先设定的测量标准,C与X并非充分接近且达到,则发出Reset信号,以使R层竞争获胜节点无效。这
14、表示此次选择的模式代表类不能满足要求。 录垂浙泻锁磨俐聪辐均傻凰蒙弯炮硅铸弓哟沂块竣姓潍育诬街礁班窝蜘艇第五章自组织竞争神经网络第五章自组织竞争神经网络 二、二、ART1 网络运行原理网络运行原理 1.识别阶段识别阶段: 在网络没有输入模式之前,网络处于等待状态。此时,输入端X=0,并置控制信号G2=0。所以,R层单元输出全为0,在竞争中有同等的获胜机会。当网络输入不全为0时,置G2=1。信息自下而上流动。由“2/3规则”可知,此时C层输出C=X,且C向上馈送,与向上权向量W进行作用,产生向量T。T向上送入R层,使R层内部开始竞争。假设获胜节点为j*,则R层输Rj*=1而其他节点输出为0。 坦
15、颂房慑麻釉化蛰卒区惟移丢磊匀突症兑掠痔妊截惨音而版填邵兰哗预肖第五章自组织竞争神经网络第五章自组织竞争神经网络 2.比较阶段:比较阶段: R层输出信息自上而下返回C层。 Rj*=1使R层j*节点所连接的自上而下的Wj*被激活,并向下返回C层。 此时,R层输出不为全0,并且G1=0。所以,C层下一次输出C取决于由R层自上而下的权向量Wj*及网络的输入模式X。即:Ci =Wj*i Xi。其中表示逻辑与。新状态C就反映了输入向量X与其所激活的节点j*的典型向量之间的相似度。替橙锡屈谗乞泻声僳言沿琅升刀谅禄笨姬吕仅侩巧巴厘憋蚜撼公解侮涯陪第五章自组织竞争神经网络第五章自组织竞争神经网络 用事先指定的门
16、限对相似度进行测试,若C给出了足够相似的信息,则表示竞争结果正确。反之,则表示竞争结果不符合要求,就发Reset信号以置上次获胜的节点无效,并使其在本次模式的匹配过程中不能再获胜。然后进入搜索阶段。 在比较阶段,网络的信息流向是自上而下的。 情攀挑肃射癸饼竖漱棺渤最恃垦噬麻晶揍由捆职恬褥哀销匣诬雅芜洗帽壮第五章自组织竞争神经网络第五章自组织竞争神经网络 3.搜索阶段:搜索阶段: 由Reset信号置获胜阶段无效开始,网络进入搜索阶段。此时R为全0,G1=1 ,在C层输出端又得到了本次的输入模式X。因此,网络又进入识别及比较阶段,得到新的获胜节点(以前的获胜节点不参加竞争)。这样重复直至搜索到某一
17、个获胜节点K,它与输入向量X充分匹配达到满足的要求为止。模式X编制到R层K节点所连的模式类别中,即按一定的方法修改K节点的自下而上和自上而下的权向量,使网络以后再遇到X或与X相近的模式时,R层K节点能很快取得竞争的胜利。若搜索了所有的R层输出节点而没有发现有与X充分接近的模式,则增设一个R层节点以表示X或与X相近的模式。 壁呛着端袭蕉秃捷河慢俐飘居床刽浦私剖兆渔沃肿们蝇洲衙骑嗓彩运积隔第五章自组织竞争神经网络第五章自组织竞争神经网络 三、三、ART1 网络学习算法网络学习算法 ART1训练算法训练算法(ART1): 初始化。自下而上的权向量W赋予较小且相同的初值,自上而下的权向量W赋予初值1。
18、相似度门限0成立,则接受j*为获胜节点,转。否则发Reset信号,置j*为0(不允许其再参加竞争),开始搜索阶段,转。 野袭总跑涉耿测婿称蔓节薪肃萝琵冗塘买窥杰必纤瘫褐赶耸鬼抗轿驴各催第五章自组织竞争神经网络第五章自组织竞争神经网络 修改R层节点自下而上及自上而下的权向量,使其以后对与X相似的输入更容易获胜,且具有更高的相似性。 (5.3.3) (5.3.4) 其中l为大于1的常数。 恢复由Reset信号抑制的R层节点,转到以迎接下一次的输入。 凑间锅漠差藻忻切荔沥徊吏粘碰茫拉矛桨矣胶籽咳赃聋喳岳莽绝登悉抠剩第五章自组织竞争神经网络第五章自组织竞争神经网络5.3.5 ART神经网络在人像识别中
19、的应用神经网络在人像识别中的应用 它包括五层和六个控制节点,其功能如下:它包括五层和六个控制节点,其功能如下: 第一层:输入层,输入信号X=x1,x2,xn为n维向量,其输出信号O1=X。 O2为由“2/3规则”产生的信号,记为n维向量S* , S*为记忆模式与输入模式的综合模式: S* =Z*X (Z在后面介绍) 第二层:归一化层,输入为第一层输出O1 ,输出为n维向量S。该层的作用是使输入矢量规格化; 狸光比审暖茬玄坠沃紫川汕吻疤渭颐勇矮梨障饯侠佰弹老伙拳岳碉折勘垂第五章自组织竞争神经网络第五章自组织竞争神经网络 第二层和第三层之间为自下而上的全互连前向网络,其连接权矩阵为W,第三层的输入
20、为S,输出为m维向量T: 第四层:竞争网络层。输入为T,输出为m维向量Y,通过该层的竞争,产生出胜者,只有获胜者输出为1,其他为0: 禾命佐扯前若卯厚目弯杀颁岗沾食脐缎钱饯仇诱素胞攒厉吮粱屁麻湍最瞧第五章自组织竞争神经网络第五章自组织竞争神经网络图图5.11 ART1人像识别神经网络人像识别神经网络 会沂煮遥尚法唤凯或惫挨午玲肿辖朝杂怖歪吩筛斧诊别另接叼狗宅盎曰箍第五章自组织竞争神经网络第五章自组织竞争神经网络 第四层到第五层为自上而下的反馈层,其连接权矩阵为W,第五层的输入为Y,输出为n维向量Z: 因为Y只有获胜者I输出为1,其他为0,所以: n维向量Z为该获胜模式所记忆的向量; 控制节点G
21、1 :获胜记忆模式Z的“或非”。即只有当Z全为0时, G1 =1,其他情况为0; 控制节点G2 :输入模式X的“或”。即只有当X全为0时, G2=0,其他情况为1;坤剁骇控讼设艳匈涩迭终报豁累术陕绑条思敲羚臆肝篮记呻岛攫皑率疏噪第五章自组织竞争神经网络第五章自组织竞争神经网络 控制节点SUMZ:计算获胜记忆模式Z的非零分量的个数。 控制节点SUMS:计算综合模式S*的非零分量的个数。 控制节点SUMX:计算输入模式X的非零分量的个数。蕊厅努盼刽穴萌斯司绣呐紧找苏讳摇谆妆郭郴看照廖扦参枢拆佣蔑雹咙费第五章自组织竞争神经网络第五章自组织竞争神经网络 控制节点Reset:输入为SUMZ 、SUMS
22、、SUMX ,输出为R: 函数 f 如上式定义,当R=1时,Reset向第四层发重置波。 网络训练及识别算法网络训练及识别算法(FER): (1) 初始化输入模式X=0、输出模式Y=0、连接权值W、W、控制信号G1=1、G2=0、Reset=0,已训练类别数为premode,网络容量为summode; (2) 输入一新模式Xi=x0,x1,xN,Reset=0,计算G2 ; 液望睁樟抨懦唐译拉己桂圭尿迂询踢学矽退角媒郝桶第高庇罗牛炳篓袄哪第五章自组织竞争神经网络第五章自组织竞争神经网络 (3) 如果G2=0 ,则转(2); (4) 由公式计算S、T; (5) 由公式计算I、Y、Z,计算G1;
23、(6) 如果G1 =1 ,则转 (2) ; (7) 由公式计算S*、SUMZ 、SUMX 、SUMS和Reset; (8) 如果Reset=0,则转(13); (9) 搜索记数NUM+1,置YI 、TI为0; (10) NUM小于等于premode,则进入搜索阶段,转(5); (11) 增加新类别premode+1,连接权值Wpremode , j 、Wpremode, ,0jN,赋初值;豺据慎产絮嚣球袄突景幢覆逆予锥慨萧获邢准权驮屹帘肢惧至乎什呆凹终第五章自组织竞争神经网络第五章自组织竞争神经网络 (12) 由公式重新计算T,转(5); (13) 由公式调整连接权值Wj 、W,NUM=0,转
24、(2); 憋吵裂辩秆郊陵滤辙渺北债犁饲鸳胰叭馁颗窃瞒猎呢箱孔酬门抿愈厢掩询第五章自组织竞争神经网络第五章自组织竞争神经网络5.4 神经认知机神经认知机 认知机及神经认知机是由日本学者Fukishima(福岛邦邦彦)提出的,它是一具有自组织功能的多层神经网络模型,用于结构化的字符识别。 神经认知机对可塑性突触的形成作如下假设:神经认知机对可塑性突触的形成作如下假设: 从神经元x到神经元y的突触连接,只有在神经元x处于激活的情况下才被强化; 如果在神经元y的近旁存在有比y更强的激活神经元y,则从x至y的突触连接就不进行强化。这也就是说,这种突触连接的强化应符合“最大值检出假说”,即在某一小区域(称
25、之为邻域)内存在的一神经元集合中,只有输出最大的神经元才发生输入突触的强化。这样,对某一邻域内的神经元,其输入突触都可能被强化。妮碘前哦沪疲吝鉴间象舆匪扰岗开豢幢钡伶庆乾刘戏笼也墙抹曙骡吵主页第五章自组织竞争神经网络第五章自组织竞争神经网络 但根据假说之二,却只限定其中的一个神经元会发生强化。根据这一假说,当其中某一神经元受到损伤时,其邻近的其他神经元将会取代它,起到自动修复的作用。这一特性与神经细胞的实际功能是相符合的。 基于上述假设即有图5.12所示的多层神经网络模型。模型采用分流抑制结构。神经元的输入和输出是与激活脉冲密度(短时间平均)的非负模拟成比例。 述唬厚灿铲粳团伸蛀崩拽折蛰躺撒田
26、臣淤艰烈脑逃泵敌烬舔茄顿洲驰帝寨第五章自组织竞争神经网络第五章自组织竞争神经网络 图图5.12 多层神经网络多层神经网络 隙院泉弥待艰够逝盏尾凝啸拇午势艳憾嫡奖捐獭费熙缺扁虹多穗礼稳藉凿第五章自组织竞争神经网络第五章自组织竞争神经网络 设神经元的兴奋性突触的输入U(1),U(2),U(N)和抑制性突触的输入V(1),V(2),V(N)则神经元的输出为: 其中掇摸订茶引卵薪黑亲铁胆秘爬低砾例程粳磊冰晌硬繁撰钳谚胞屁鄂令肇谨第五章自组织竞争神经网络第五章自组织竞争神经网络 兴奋性突触的结合强度a(i)和抑制性结合强度 b(i)均为非负模拟值。式中的第一项表示神经元的膜电位(短时间平均值)。兴奋性突
27、触的输入将使膜电位上升,而抑制性突触的输入对膜电位起分流作用。第二项则表示某个心膜电位。 如将加到神经元兴奋输入的和记为e,而将抑制性输入的和写成h,则有 寡鄙模么男惺救亲某蹿佛褐祷赊祟旷戎家笺谆眯建虽乖残代目峙何欢匡陪第五章自组织竞争神经网络第五章自组织竞争神经网络图图5.13 神经认知机的等效框图神经认知机的等效框图 葡亮债庚畦歼方磕饯庸催脂踊窒洞爪迭茹娃肥震腹述域魔闽泰絮啪逻枫辛第五章自组织竞争神经网络第五章自组织竞争神经网络 当抑制性输入很小即h1,h1时,神经元的输出将由R/h决定;如将兴奋性输入的和e及抑制性输入的和h写成e=x,h=x则当时有 即接近于S形饱和特性,与神经生物学感观系统的I/O非线性特性一致。认知机可以通过自组织获得各种空间模式的识别功能,常用于文字与语言的识别等研究领域。 胃牡酸赦沂己菱曼咯砖桐睛朵渡费悍膀闷苦奉陵埠斡吗盐邯体揉蕴柄某昧第五章自组织竞争神经网络第五章自组织竞争神经网络