《{企业组织设计}6自组织神经网络SOM》由会员分享，可在线阅读，更多相关《{企业组织设计}6自组织神经网络SOM（44页珍藏版）》请在金锄头文库上搜索。
1、竞争学习神经网络,自组织神经网络的典型结构,*,1,自组织神经网络,*,2,自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络的自组织功能是通过竞争学习（competitive learning）实现的。,1 竞争学习的概念与原理,1.1 基本概念 分类分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。 聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。,*,3,相似性测量欧式距离法,*,4,1.1 基本概念,同一类内各个模式
2、向量间的欧式距离不 允许超过某一最大值,*,5,相似性测量余弦法,1.1 基本概念,余弦法适合模式向量相同或模式特征 只与向量方向相关的相似性测量,同一类内 各个模式 向量间的 夹角不允 许超过某 一最大夹 角T,*,6,1.2 竞争学习原理,竞争学习规则Winner-Take-All,网络的输出神经元之间相互竞争以求被激活或点火，结果在每一时刻只有一个输出神经元被激活或点火。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。,胜者为王,*,7,竞争学习规则Winner-Take-All,1.向量归一化 首先将当前输入模式向量X和竞争层中各神
3、经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,m),*,8,原始向量,*,9,归一化后的向量,*,10,竞争学习原理,竞争学习规则Winner-Take-All,2.寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。,*,11,从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：,竞争学习规则Winner-Take-All,*,12,竞争学习规则胜者为王(Winner-Take-All),3.网络输出与权值调整,jj*,步骤3完成后回到步骤1继续训练，直到学习率衰减到
4、0。,获胜神经元输出 为1，其余为0,j=j*之外的j,*,13,竞争学习的几何意义,*,14,竞争学习的几何意义,*,15,解：为作图方便，将上述模式转换成极坐标形式 ：,竞争层设两个权向量，随机初始化为单位向量： 上式中，X1=（x,y）T,*,16,*,17,*,18,*,19,*,20,*,21,*,22,*,23,*,24,*,25,*,26,2 自组织特征映射网 （Self-Organizing feature Map）,1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输
5、入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。,SOM网的生物学基础,生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。,*,27,SOM网的拓扑结构,SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的
6、大脑皮层。,*,28,SOM网的权值调整域,SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：,*,29,*,30,SOM网的权值调整域,以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。,*,31,SOM网的运行原理,训练阶段,*,32,w1 w2 w3 w4
7、 w5,SOM网的运行原理,工作阶段,*,33,SOM网的学习算法,Kohonen 学习算法 (1)初始化 对输出层各权向量赋小随机数并进行归一化处理，得到 ，j=1,2,m；建立初始优胜邻域Nj*(0)；学习率 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行归一化处理，得到 ，p1,2,P。 (3)寻找获胜节点 计算 与 的点积，j=1,2,m，从中选出点积最大的获胜节点j*。 (4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域，一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐渐收缩。,*,34,SOM网的学习算法,Kohonen学习算法,
8、*,35,SOM网的学习算法,(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,n jNj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：,*,36,Kohonen学习算法,SOM网的学习算法,(5)调整权值,*,37,(6)结束检查 学习率是否衰减到零或某个预定的正小数？,Kohonen学习算法,*,38,Kohonen学习算法程序流程,SOM网络的功能,SOM网络的功能特点之一是：保序映射，即能将输入空间的样本模式类有序地映射在输出层上。,例 动物属性特征映射,1989年Kohonen给出一个
9、SOM网的著名应用实例，即把不同的动物按其属性映射到二维输出平面上，使属性相似的动物在SOM网输出平面上的位置也相近。,训练集选了16种动物，每种动物用一个29维向量来表示。前16个分量构成符号向量（不同的动物进行16取1编码），后13个分量构成属性向量，描述动物的13种属性的有或无（用1或0表示）。,16种动物的属性向量（29维向量的后13个分量）,SOM网输出平面上有1010个神经元，16个动物模式轮番输入训练，最后输出平面呈现16种动物属性特征映射，属性相似的挨在一起，实现了特征的有序分布。,1010神经元,X向量（29维）,前16个分量 （16取1，表达动物种类。）,后13个分量（表达
10、动物属性）,鸭,鹅,鸽,母鸡,马,斑马,牛,隼,狼,虎,狮,猫,狗,狐,猫头鹰,鹰,动物属性特征映射,SOM网的功能特点之二是数据压缩。 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如上例中输入样本空间为29维，通过SOM网后压缩为二维平面的数据。 SOM网的功能特点之三是特征抽取。（规律的发现） 在高维模式空间，很多模式的分布具有复杂的结构，从数据观察很难发现其内在规律。当通过SOM网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种规律发现。如上例29
11、维映射到二维后，相近属性的动物实现了聚类分布的特点。 SOM网有许多应用实例：如的听写打字机（声音识别），解决旅行商最优路经问题，皮革外观效果分类等。,应用实例,无线车辆自组网中用SOM自动组网,*,44,吴怡;杨琼;吴庆祥;沈连丰;林潇; 基于自组织映射神经网络的VANET组网算法，：通信学报2011年第12期，第136-145页,No.1 sg1 Group 6 26.0763 119.311 26.0708 119.353 348.75 90 No.2 sg2 Group 2 26.0762 119.311 26.0943 119.313 348.75 348.75 No.3 sg3 G
12、roup 6 26.0761 119.311 26.0693 119.359 348.75 90 No.4 sg4 Group 2 26.076 119.311 26.106 119.292 348.75 348.75 No.5 sg5 Group 2 26.0763 119.311 26.1103 119.32 348.75 348.75 No.6 sg6 Group 6 26.0762 119.311 26.063 119.367 348.75 90 No.7 sg7 Group 2 26.0761 119.311 26.0975 119.283 348.75 348.75 No.8 sg8 Group 2 26.076 119.311 26.0855 119.245 348.75 348.75 No.9 sy1 Group 3 26.0763 119.311 26.0382 119.309 168.75 168.75 No.10 sy2 Group 3 26.0762 119.311 25.7656 119.293 168.75 168.75 No.11 sy3 Group 3 26.0761 119.311 25.8232 119.522 168.75 168.75,输入数据,输出分组,
