《第4章 竞争学神经网络》由会员分享，可在线阅读，更多相关《第4章 竞争学神经网络（91页珍藏版）》请在金锄头文库上搜索。
1、第四章 竞争学习神经网络,4.1竞争学习的概念与原理4.2自组织特征映射神经网络4.3自组织特征映射网络的设计与应用4.4自适应共振理论（选讲）,自组织神经网络的典型结构,第四章 自组织神经网络,第四章 自 组织神经网络,自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络的自组织功能是通过竞争学习（competitive learning）实现的。,4.1竞争学习的概念与原理,4.1.1 基本概念1、模式、分类、聚类与相似性模式对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征
2、的模式集合。分类在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。 通过聚类发现数据的分布规律和特征。,如何决定相似度、类别数等 2、相似性测量欧式距离法,2、相似性测量余弦法,3、相似性测量内积法,不同的相似度会导致形成聚类的特性不同。以欧氏距离度量形成相似且紧密的圆形聚类；以余弦度量形成大体同向的狭长形聚类；以内积度量形成的图形则又不同。,欧氏度量聚类 余弦度量聚类,4.1.2 竞争学习原理,网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活
3、的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。,4.1.2 竞争学习原理,1、竞争学习规则算法分三步：,网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。,（1）向量归一化 首先将当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj 全部进行归一化处理； (j=1,2,m),(2)寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜
4、神经元。 以欧氏度量计算相似性：,从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：,此式就是竞争层神经元的净输入。,(3) 网络输出与权值调整规定胜者为1，败者为0.,步骤(3)完成后回到步骤1继续训练，直到学习率衰减到0。,2、竞争学习原理 考虑二维情况，归一化后矢端分布在单位圆上，以o表示，对应的内星向量也在单位圆上，以*表示。,竞争学习的几何意义,例4.1 用竞争学习算法将下列各模式分为2类：,解：为作图方便，将上述模式转换成极坐标形式 ：,竞争层设两个权向量，随机初始化为单位向量：,4.2 自组织特征映射神经网络 （Self-Organizing feature
5、 Map, SOM）,1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一思路提出来的，其特点与人脑的自组织特性相类似。,4.2.1 SOM网的生物学基础,生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴
6、奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。,4.2.2 SOM网的拓扑结构及权值调整域,一、拓扑结构 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。,二、权值调整域,SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：,以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度
7、地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。,4.2.3 自组织特征映射网的运行原理与学习算法,一、运行原理分为训练和工作两个阶段。训练阶段,w1 w2 w3 w4 w5,工作阶段,二、学习算法,(1)初始化 对输出层各权向量赋小随机数并进行归一化处理，得到 ，j=1,2,m；建立初始优胜邻域Nj*(0)；学习率 赋初始值。,(2)接受输入 从训练集中随机选取一个输入模式并进行归一化处理，得到 ，p1,2,P。,(3)寻找获胜节点 计算 与 的点积，j=1,2,m，从中选出点积最大的获胜节点 j*。,(4)定义优胜邻域Nj* (t) 以j*为中心
8、确定t 时刻的权值调整域，一般初始邻域Nj* (0)较大，训练过程中Nj* (t)随训练时间逐渐收缩。如图所示。,Kohonen 学习算法：,(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,n jNj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：,(6)结束检查 学习率是否衰减到零或某个预定的正小数， 不满足则回到（2）。,很多函数满足上述规律，如：N(t)可采用单调下降函数。这种随时间单调递减的函数称作退火函数。,Kohonen学习算法程序流程,三、功能分析(1)保序映射将输入空间的样本模式
9、类有序地映射在输出层上。例4.2：动物属性特征映射。,(2)数据压缩 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。(3)特征抽取 高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。例4.3 SOM网用于字符排序,4.3 自组织特征映射网络的设计与应用,SOM输入层设计与BP了类似，输出层要复杂的多。一、输出层设计需要解决2个问题：节点数设计与节点排列设计。既不要出现分类过细，又不可出现死节点。可通过试用法和初始化权值等解决。节点排列形式应反应物理意义。二、权值初始化问题 SOM网权值初始化一般为较小的随机数，但应与样本数据混杂。,*,*,*,*,随机分布,*,*,*,
10、*,理想分布,一种简单办法是从训练集中随机抽取m个输入样本作初始为权值，即 另一种是计算全体样本的中心向量，在此基础上叠加小的随机数确定。三、优胜邻域Nj*(t)的设计 原则上使邻域不断缩小，使得相邻神经元既有区别又具相似性。邻域大小用邻域半径表示，一般由经验选取。如：,C1与输入点数目相关，B11，Tm为预先设置的训练次数。,四、学习率的设计 开始时可以较大，但很快下降，然后缓降至0值。如下：,C2在0-1之间,SOM网的局限性：1、隐层神经元数目难于确定，容易造成死节点；2、聚类网络的学习速率需要人为确定，结束需要人为控制，影响学习效率；3、隐层的聚类结果与初始权值有关。,4.3.2 设计
11、与应用实例一、SOM网用于物流中心城市分类评价,(1)物流中心城市评价指标与数据样本,简单选取5个评价指标作为网络输入：x1人均GDP(元)，x2工业总产值(亿元)，x3社会消费品零售总额(亿元)，x4批发零售贸易总额(亿元)，x5货运总量(万吨)。,表4.4 物流中心城市分类评价样本,(2)物流中心城市的分类和评价分析,物流中心城市,全国性物流中心城市,区域性物流中心城市,地区性物流中心城市,综合型,货运型,按照SOM算法步骤，取开始的1000次迭代为排序阶段，学习率=0.9； 其后为收敛阶段，学习率为= 0.02。 将44个数据样本归一化，输入网络进行训练。经过试验比较，最终取类别数为8，
12、得到如下表所示的分类结果。,物流中心城市分类结果,二、SOM网用于遥感影像分类 遥感影像主要通过像元亮度值的差异或空间梯度变化表示不同地物间的差异。 1、土地利用分类类别确定 以浙江为例。 评价因子7个：水体、林地、水田、茶园、旱地、居民地、桑园。 2、数据预处理 3、SOM分类 4、实验结果评价 与BP网络、最大似然法比较，SOM最好，最大似然法最差。,三、SOM网在皮革配皮中的应用,要生产出优质皮衣，必须保证每件皮衣所用皮料在颜色和纹理方面的相似性。在生产中，通常由有经验的工人根据皮料颜色、纹理的相近程度进行分类。这道称为“配皮”的工序，因光照条件、工人经验不同以及情绪、体力等因素变化的影
13、响，质量难于保证。 计算机皮革检测与分类系统可对成批皮革的颜色及纹理进行在线检测、特征值提取及快速分类，从而代替了传统的手工操作，取得了良好的效果。,系统硬件组成,1. 初始权向量设计 随机取部分样本作为权重初值。,2. 网络结构设计 颜色参数: 3个纹理参数: 3个网络结构: 6输入1维线阵输出。聚类时每批100张皮，平均每件皮衣需要56张皮，因此将输出层设置20个神经元。每个神经元代表一类外观效果相似的皮料，如果聚为一类的皮料不够做一件皮衣，可以和相邻类归并使用。,3.网络参数设计 N j* (t) 优胜邻域在训练开始时覆盖整个输出线阵，以后训练次数每增加t =tm/P，Nj*(t)邻域两
14、端各收缩一个神经元直至邻域内只剩下获胜神经元。 对(t)采用了以下模拟退火函数：,00.95 tm5000 tp1500,4.皮革纹理分类结果 100张猪皮的分类结果：,5. 用于火焰燃烧诊断 1) 燃烧工况特征提取 2）网络训练 3）网络验证,4.4 自适应共振理论(ART),思考并回答以下几个问题：,神经网络的学习和记忆特性？学习过程的本质？网络将知识存储（记忆）在什么地方？对于感知器/BP网络/SOM网络学习时，当新样本输入时，权值的改变对旧样本的影响是什么？,1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(Adaptive Resonance Theory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。目前ART已有三种形式： ART I：双极型或二进制信号 ART II：I型扩展，处理连续模拟信号 ART III：兼容前2种，可处理多层网络,共振现象,鱼洗寺院无人敲而响的磬军队过桥雪崩人类认知（图像）,当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。,
