《《精编》人工神经网络及其应用之自组织网络》由会员分享，可在线阅读，更多相关《《精编》人工神经网络及其应用之自组织网络（37页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络及其应用第6讲自组织网络 一 自组织神经网络二 自组织竞争网络三 科荷伦网络四 自适应共振网络五 内容小结六 考试事宜 内容安排 1 1自组织网络特点1 2网络类型1 3网络学习规则 一 自组织神经网络 1 1自组织网络特点 特点自组织神经网络可以自动向环境学习 不需要教师指导 而前面所讲到的前向网络 反馈网络均需要教师指导学习与BP网络相比 这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别 分类方面的应用思想基础生物的神经网络中 如人的视网膜中 存在着一种 侧抑制 现象 即一个神经细胞兴奋后 通过它的分支会对周围其他神经细胞产生抑制借鉴上述思想 自组织网络能够对输入模
2、式进行自组织训练和判断 并将输入模式分为不同的类型 1 2网络类型 需要训练自组织竞争网络适用与具有典型聚类特性的大量数据的辨识Kohunen网络训练学习后使网络权值分布与输入样本概率密度分布相似可以作为样本特征检测仪 在样本排序 样本分类及样本检测方面有广泛应用对传网络 CounterPropagationNetwork 在功能上用作统计最优化和概率密度函数分析可用于图像处理和统计分析神经认知机等不需要训练自适应共振理论 ART 分类的类型数目可自适应增加 1 3网络学习规则 格劳斯贝格 S Grossberg 提出了两种类型的神经元模型 内星与外星 用以来解释人类及动物的学习现象内星可以被
3、训练来识别矢量外星可以被训练来产生矢量基本学习规则内星学习规则外星学习规则科荷伦学习规则 1 3 1内星与外星 外星通过联接权矢量向外输出一组信号A 内星通过联接权矢量W接受一组输入信号P 1 3 2内星学习规则 可以通过内星及其学习规则可训练某一神经元节点只响应特定的输入矢量P 它借助于调节网络权矢量W近似于输入矢量P来实现的单内星中对权值修正的格劳斯贝格内星学习规则为内星神经元联接强度的变化 w1j与输出成正比的 如果内星输出a被某一外部方式而维护高值时 通过不断反复地学习 趋使 w1j逐渐减少 直至最终达到w1j pj 从而使内星权矢量学习了输入矢量P 达到了用内星来识别一个矢量的目的另
4、一方面 如果内星输出保持为低值时 网络权矢量被学习的可能性较小 甚至不能被学习 1 3 3外星学习规则 外星网络的激活函数是线性函数 它被用来学习回忆一个矢量 其网络输入P也可以是另一个神经元模型的输出外星被训练来在一层s个线性神经元的输出端产生一个特别的矢量A对于一个外星 其学习规则为与内星不同 外星联接强度的变化 w是与输入矢量P成正比的当输入矢量被保持高值 比如接近1时 每个权值wij将趋于输出ai值 若pj 1 则外星使权值产生输出矢量当输入矢量pj为0时 网络权值得不到任何学习与修正 1 3 3外星学习规则 当有r个外星相并联 每个外星与s个线性神经元相连组成一层外星时 其权值修正方
5、式为W s r权值列矢量lr 学习速率A s q外星输出P r q外星输入 1 3 4科荷伦学习规则 科荷伦学习规则是由内星规则发展而来的科荷伦规则科荷伦学习规则实际上是内星学习规则的一个特例 但它比采用内星规则进行网络设计要节省更多的学习 因而常常用来替代内星学习规则 二 自组织网络 2 1网络模型2 2竞争网络原理2 3网络训练 2 1网络模型 网络结构竞争网络由单层神经元网络组成 其输入节点与输出节点之间为全互联结 因为网络在学习中的竞争特性也表现在输出层上 所以在竞争网络中把输出层又称为竞争层 而与输入节点相连的权值及其输入合称为输入层 2 1网络模型 网络权值的类型输入节点j到i的权
6、值wij i 1 2 s j 1 2 r 这些权值是通过训练可以被调整的竞争层中互相抑制的权值wik k 1 2 s 这类权值固定不变 且满足一定的分布关系是一种对称权值 即有wik wki相同神经元之间的权值起加强的作用 即满足w11 w11 wkk 0 而不同神经元之间的权值相互抑制 对于k i有wij 0 2 1网络模型 网络工作方式输入矢量经过网络前向传递网络竞争激活函数为硬限制二值函数竞争网络的激活函数使加权输入和为最大的节点赢得输出为1 而其他神经元的输出皆为0 权值调整 可以处于训练与工作期间 竞争网络在经过竞争而求得获胜节点后 则对与获胜节点相连的权值进行调整调整权值的目的是为
7、了使权值与其输入矢量之间的差别越来越小 从而使训练后的竞争网络的权值能够代表对应输入矢量的特征 2 2竞争网络原理 竞争网络解释设网络的输入矢量为 P p1p2 pr T对应网络的输出矢量为 A a1a2 as T由于竞争网络中含有两种权值 所以其激活函数的加权输入和也分为两部分 来自输入节点的加权输入和N与来自竞争层内互相抑制的加权输入和G 对于第i个神经元有来自输入节点的加权输入和为来自竞争层内互相抑制的加权输入和为 2 2竞争网络原理 对于第i个输出神经元假设竞争获胜 则有从而如果竞争后第i个节点 输 了 而 赢 的节点为l 则有 2 2竞争网络原理 所以对整个网络的加权输入总和有下式成
8、立sl nl wll对于 赢 的节点lsi ni wii 对于所有 输 的节点i 1 2 s i l由此可以看出 经过竞争后只有获胜的那个节点的加权输入总和为最大竞争网络的输出为因此判断竞争网络节点胜负的结果时 可直接采用ni 2 3网络训练 竞争网络修正权值的公式为式中lr为学习速率 且0 lr 1 一般的取值范围为0 01 0 3 pj为经过归一化处理后的输入层中每个最接近输入矢量的神经元 通过每次权值调整而使权值矢量逐渐趋于这些输入矢量 从而竞争网络通过学习而识别了在网络输入端所出现的矢量 并将其分为某一类 2 3网络训练 举例考虑当不同的输入矢量p1和p2分别出现在同一内星时的情况为了
9、训练的需要 必须将每一输入矢量都进行单位归一化处理当第一个矢量p1输入给内星后 网络经过训练 最终达到W p1 T 给内星输入另一个输入矢量p2 此时内星的加权输入和为新矢量p2与已学习过矢量p1的点积输入矢量的模已被单位化为1 所以内星的加权输入和等于输入矢量p1和p2之间夹角的余弦 2 3网络训练 根据不同的情况 内星的加权输入和可分为如下几种情况p2等于p1 即有 12 0 此时 内星加权输入和为1p2不等于p1 内星加权输入和为 1p2 p1 即 12 180 时 内星加权输入和达到最小值 1训练结果当多个相似输入矢量输入内星 网络的权矢量趋向于相似输入矢量的平均值对于一个已训练过的内
10、星网络 当输入端再次出现该学习过的输入矢量时 内星产生1的加权输入和而与学习过的矢量不相同的输入出现时 所产生的加权输入和总是小于1 2 3网络训练 竞争网络的学习和训练过程 实际上是对输入矢量的划分聚类过程 使得获胜节点与输入矢量之间的权矢量代表获胜输入矢量竞争网络的输入层节点r由已知输入矢量决定的 但竞争层的神经元数s由设计者确定 一般情况下 可根据输入矢量的维数及估计 再适当地增加些数目来确定 2 4局限性 竞争网络比较适合用于具有大批相似数组的分类问题竞争学习网络的局限性竞争网络适用于当具有典型聚类特性的大量数据的辨识当遇到大量的具有概率分布的输入矢量时 竞争网络就无能为力了 这时可采
11、用科荷伦网络来解决此类问题 三 科荷伦网络 3 1设计思想3 2网络模型3 3网络训练 3 1设计动机 神经细胞模型中还存在着一种细胞聚类的功能柱 一个功能柱中的细胞完成同一种功能 它由多个细胞聚合而成的 在接受外界刺激后 它们会自动形成功能柱当外界输入不同的样本到科荷伦自组织映射网络中 一开始时输入样本引起输出兴奋的位置各不相同 但通过网络自组织后会形成一些输出群 它们分别代表了输入样本的分布 反映了输入样本的图形分布特征 所以科荷伦网络常常被称为特性图通常科荷伦网络的权矢量收敛到所代表的输入矢量的平均值 反映输入数据的统计特性 3 2网络模型 科荷伦网络结构也是两层 输入层和竞争层竞争层可
12、以由一维或二维网络矩阵方式组成 且权值修正的策略也不同一维网络结构与基本竞争学习网络相同二维网络结构 3 3网络训练 神经元领域概念权值调整范围逐层递减 四 ART神经网络 4 1网络简介4 2网络结构4 3工作过程 4 1网络简介 传统神经网络遇到的问题在样本数据训练的过程中 无论是监督式还是无监督式的训练 均会出现对新模式的学习 时刻面临着新知识的学习记忆荷对旧知识的退化忘却的问题在监督式的训练情况下 使网络逐渐达到稳定的记忆需要通过反复训练 从而对已学习过的模式的部分甚至是全部的忘却在无监督情况下 对新的数据的学习同样会产生对某种已经记忆的典型矢量的修改 造成对已学习数据的部分忘却理想情
13、况能够学会新的知识 同时对已学过的知识没有不利影响在输入矢量特别大的情况下 很难实现 通常只能在新旧知识的取舍上进行某种折衷 最大可能地接受新的知识并较少地影响原有知识 4 1网络简介 自适应共振理论 AdaptiveResonanceTheory ART 网络可以较好地解决前述问题网络和算法具有较大地灵活性 以适应新输入的模式 同时极力避免对网络先前学习过地模式的修改记忆容量可以随样本的增加而自动增加 可以在不破坏原记忆样本的情况下学习新的样本ART是美国波士顿大学的A Carpenter和Grossberg提出 具有两种形式ART1处理双极性 或二进制 数据ART2处理连续数据 4 2AR
14、T1网络结构 ART1由两层神经元以及一些控制信号相互结合而成 4 2网络结构 从输入矢量到输出矢量的作用部分被称为识别层或R层 R Recognition 从输出A作为输入返回到输入的层称为比较层或C层 C Comparison 从结构上讲R层为一个竞争网络 具有s个节点 它代表了对输入模式的分类 该节点数能够动态地增长 以满足设立新模式地需要 C层为一个Grossberg网络 4 3运行过程 将网络的训练与工作与工作过程有机技结合在一起自C层流向R层的识别阶段 输入新的矢量P 通过竞争得出输出A自R层流向C层的比较阶段按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模式类别 判别标准
15、为新输入模式与所有已记忆模式之间相似程度R F WP B 如果R 0 按照科荷伦学习规则修改竞争层权值以使该类权值更加接近于新输入模式如果R 0 在网络中设立一个新模式 用以代表和记忆新模式 并将其归结为已有的代表类别 成为R层的一个新的输出节点 作为以后可能输入的代表模式权值修正阶段当外界输入P与所激活的外星权矢量充分相似时 网络发生共振 本次学习与训练结束否则 进行特别的处理 直到共振现象发生时对本次输入的训练过程才最终结束 五 内容小结 本次课程简单介绍自组织神经网络的特点以及与其它类型神经网络的区别介绍了自组织神经网络的三种学习规则 四种神经网络类型对自组织竞争网络 科荷伦网络和ART
16、网络的原理 网络结构和训练与工作方式进行了介绍ART网络相对其它自组织网络之间有较大的优势 将学习与工作过程结合在一起 并较好地解决了学习与记忆的问题 五 内容小结 本学期 神经网络 课程的全部内容至此结束主要的内容包括简单介绍人工神经网络与生物神经系统 人工智能学科之间关系介绍了神经网络的基本网络结构和学习规则以典型网络模型为代表分别介绍了三种主要的神经网络 前向神经网络 反馈神经网络和自组织神经网络介绍了学习和应用神经网络的基本方法网络设计思想网络结构和应用设计学习与训练算法简单分析了神经网络的稳定性问题及理论BP网络的收敛速度和稳定问题反馈网络和Hopfield网络的稳定性问题神经网络更多精彩之处需要大家在今后的学习与应用中去发掘 包括稳定性 随机神经网络 VLSI设计等 六 考试事宜 考试内容 以上课所讲内容为主考试方式 闭卷考试时间 课程结束后四周ResearchReport上交时间 课程结束后八周可以以个人或者小组方式提交ResearchReport内容可以包括各种神经网络研究进展 应用的概述 或者是结合相关的研究课题所做的神经网络的分析或者应用的研究 均需要附恰当的一定数
