《自组织特征映射网络(som)课件》由会员分享，可在线阅读，更多相关《自组织特征映射网络(som)课件（23页珍藏版）》请在金锄头文库上搜索。
1、二一二年十二月 人工神经网络 自组织特征映射网络简介 目录：目录： 1. 由自组织竞争神经网络谈起由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法自组织特征映射网学习算法 5. 自组织特征映射网的应用自组织特征映射网的应用 Self-Organizing Feature Mapping |2 从自组织竞争神经网络谈起：此类网络是模拟生物神经系统“侧抑制”现象的从自组织竞争神经网络谈起：此类网络是模拟生物神经系统“侧抑制”现象的 一类人工神经网络。自组织特征映射网是此类网络的主
2、要类型之一。一类人工神经网络。自组织特征映射网是此类网络的主要类型之一。 在生物神经系统中，存在着一种“侧抑制”现象，即当一个神经细胞兴 奋后，会对其周围的神经细胞产生抑制作用。这种“侧抑制”使神经细胞之 间呈现出竞争。开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经 细胞会逐渐抑制周围神经细胞，其结果使其周围神经细胞兴奋度减弱，从而 兴奋度最高的细胞是这次竞争的“胜者”，而其他神经细胞在竞争中失败。 自组织竞争神经网络就是模拟 上述生物神经系统功能的人工神经 网络。如右图所示，输出层各神经 元之间都有双向连接线，各连接线 被赋予相应的权值。从而实现对生 物网络神经元相互竞争和抑制现象 的
3、模拟。 x1x2 xi Self-Organizing Feature Mapping |3 自组织竞争神经网络通过对“侧抑制”现象的模拟，自组织竞争神经网络通过对“侧抑制”现象的模拟，具备具备自组织功能，能无导自组织功能，能无导 师学习。师学习。 Self-Organizing Feature Mapping |4 自组织功能自组织功能 无导师学习无导师学习 自组织竞争神经网络的一大特点是：具有自组织功能，能够自适应地改变 网络参数和结构，从而实现无导师学习。 自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习，大大 拓宽了神经网络在模式识别和和分类上的应用。 无导师指导的分类称为聚
4、类，由于无导师学习的训练样本中不含有期望输 出，因此没有任何先验的知识。 特殊网络结构特殊网络结构 自组织竞争网的无导师指导学习是通过其特殊的网络结构实现的。自组织 竞争网在结构上属于层次型网络，共同特点是都具有竞争层。 自组织竞争网络的竞争层，各神经元之间存在横向连接，各连接被赋予权 值。通过竞争学习规则，达到自组织，实现对输入样本的自动分类。 特殊学习规则特殊学习规则 竞争学习规则： 竞争层神经元之间相互竞争以求被激活，结果在每一轮竞 争中只有一个神经元被激活。这个被激活的神经元称为“获胜神经元”， 而其它神经元的状态被抑制。然后获胜神经元及其附近神经元的对应权值 将被调整以反映竞争结果。
5、 主要的竞争学习规则有“胜者为王”和Kohonen规则等。“胜者为王”只修 改获胜神经元权值， Kohonen规则修改获胜神经元邻域内各神经元权值。 自组织竞争神经网络的主要类型包括：自组织特征映射网络、对偶传播神经网自组织竞争神经网络的主要类型包括：自组织特征映射网络、对偶传播神经网 络、自适应共振理论网等。络、自适应共振理论网等。 自组织竞争自组织竞争 神经网络神经网络 自组织特征映自组织特征映 射网络射网络 自适应共自适应共 振理论振理论 对偶传播对偶传播 神经网络神经网络 自组织特征映射网络自组织特征映射网络 1981年，科霍恩(Kohonen)教授首先 提出自组织特征映射网（SOM）
6、。 SOM的运行基于Kohonen规则。 自适应共振理论自适应共振理论 ART是一种能自组织地 产生对环境认识编码的 神经网络理论模型。 ART来源于无意识推理 学说的“协作-竞争网 络交互模型”。 ART理论已提出了三种 模型结构，即 ART1， ART2，ART3。 ART理论可以用于语音、 视觉、嗅觉和字符识别 等领域。 对偶传播神经网络对偶传播神经网络 对传网是三层结构的前向网（输 入层、隐含层、输出层），形式 上与BP网类似，但工作机理不同。 隐含层采用无导师的竞争学习算 法，输出层用采用有导师的学习 算法。 最突出的优点是将有监督和无监 督的训练算法有机结合起来，从 而提高训练效率
7、。 Self-Organizing Feature Mapping |5 目录：目录： 1. 由自组织竞争神经网络谈起由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法自组织特征映射网学习算法 5. 自组织特征映射网的应用自组织特征映射网的应用 Self-Organizing Feature Mapping |6 自组织特征映射网的前世今生：自组织特征映射网的前世今生：19811981年由芬兰学者科霍恩首先提出，自提出以年由芬兰学者科霍恩首先提出，自提出以 来取得快速发展，目前
8、广泛应用多个领域。来取得快速发展，目前广泛应用多个领域。 概念提出概念提出 1981年，科霍恩(Kohonen)教授提出一种自组织特征映射网(Self-Organizing feature Map,简称SOM，又称Kohonen网）。科霍恩认为，一个生物神经网络在接受外界输 入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且 这个过程是自动完成的。以此为基础，科霍恩创建了SOM。 生物学基础生物学基础 侧抑制现象：这种侧抑制使神经细胞之间呈现出竞争，一个兴奋程度最强的神经细胞 对周围神经细胞有明显的抑制作用，其结果使其周围神经细胞兴奋度减弱，从而该神 经网络是这次竞争的
9、“胜者”，而其他神经细胞在竞争中失败。 生物神经网络接受外界的特定时空信息时，神经网络的特定区域兴奋，而且类似的外 界信息在对应区域是连续映象的。SOM经训练后，其竞争层神经元，功能类似的相互 靠近，功能不同的相互较远，这与生物神经网络的组织构造非常类似。 发展应用发展应用 自提出以来，自组织特征映射网得到快速发展和改进，目前广泛应用于样本分类、排 序和样本检测等方面，和工程、金融、医疗、军事等领域，并成为其他人工神经网络 的基础。 Self-Organizing Feature Mapping |7 自组织特征映射网的运行原理：自组织特征映射网的运行原理：SOMSOM网的运行分为训练和工作两
10、个阶段进行。网的运行分为训练和工作两个阶段进行。 在训练开始阶段，竞争层哪个位置的神经 元将对哪类输入模式产生最大响应是不确定的。 当输入模式的类别改变时，二维平面的获胜神 经元也会改变。在获胜神经元周围的邻域内的 所有神经元的权向量均向输入向量的方向作不 同程度调整，调整力度依邻域内节点与获胜节 点的远近而逐渐衰减。 网络通过自组织方式，用大量训练样本调 整网络的权值，最后使输出层各神经元成为对 特定模式类敏感的神经网络。从而竞争层各神 经元的连接权向量的空间分布能够正确反映输 入模式的空间概率分布。 SOM网训练结束后，输出层各节点与输入 模式类的特定关系就固定下来，因此可用作模 式分类器
11、。当输入一个模式时，网络输出层代 表该模式类的特定神经元将产生最大响应，将 该输入自动归类。当输入模式不属于网络训练 时见过的任何模式时，SOM网将它归入最接近 的模式类。 训练阶段训练阶段工作阶段工作阶段 Self-Organizing Feature Mapping |8 目录：目录： 1. 由自组织竞争神经网络谈起由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法自组织特征映射网学习算法 5. 自组织特征映射网的应用自组织特征映射网的应用 Self-Organizing
12、Feature Mapping |9 自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。 (a)一维竞争层 (b)二维竞争层 自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。 SOM拓扑结构不包括隐含层。 输入层为一维。竞争层可以是一维、二维或多维。其中二维竞争层由矩阵方式 构成，二维竞争层的应用最为广泛。 SOM中有两种连接权值，一种是神经元对外部输入反应的连接权值，另外一 种是神经元之间的特征权值，它的大小控制着神经元之间交互作用的强弱。 SOMSOM 拓扑结构拓扑结构 Self-Organizi
13、ng Feature Mapping |10 自组织特征映射网以若干神经元同时反映分类结果，使得其具有很强的抗干扰自组织特征映射网以若干神经元同时反映分类结果，使得其具有很强的抗干扰 特性。特性。 SOM结构特点与 其他网络的区别：它 不是一个神经元或者 一个神经元向量来反 映分类结果，而是以 若干神经元同时反映 分类结果。 神经网络对学习模 式的记忆不是一次性 完成的，而是通过反 复学习，将输入模式 的统计特征“溶解” 到各个连接权上的。 对SOM而言，一 旦由于某种原因，某 个神经元受到损害 （在实际应用中，表 现为连接权溢出、计 算误差超限、硬件故 障等）或者完全失效， 剩下的神经元仍可
14、以 保证所对应的记忆信 息不会消失。 自组织特征映自组织特征映 射网具有很强射网具有很强 的抗干扰特性的抗干扰特性 SOM拓扑结构的优势拓扑结构的优势 Self-Organizing Feature Mapping |11 目录：目录： 1. 由自组织竞争神经网络谈起由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法自组织特征映射网学习算法 5. 自组织特征映射网的应用自组织特征映射网的应用 Self-Organizing Feature Mapping |12 自组织特征映射
15、网络采用的学习算法称为科霍恩算法，与自组织竞争网采用的自组织特征映射网络采用的学习算法称为科霍恩算法，与自组织竞争网采用的 胜者为王算法相比，其主要区别在于调整权向量与侧抑制的方式不同。胜者为王算法相比，其主要区别在于调整权向量与侧抑制的方式不同。 下面三种函数沿中心轴旋转后可形 成类似帽子的空间曲面，按顺序分 别称为墨西哥帽函数、大礼帽函数、 厨师帽函数。墨西哥帽函数与生物 特点类似，但计算复杂影响训练的 收敛性，实际中常用简化后的大礼 帽函数和进一步简化的厨师帽函数。 以获胜神经元为中心设定一个邻域 半径，该半径圈定的范围称为“优 胜邻域”。优胜邻域内神经元按其 离开获胜神经元的距离远近不
16、同程 度的调整权值。优胜邻域开始定的 较大，但其随着训练次数的增加不 断收缩，最终收缩到半径为零。 学习算法学习算法 自组织特征映射网络采用的学习算法称为科霍恩算法，与胜者为王算法相 比，其主要区别在于调整权向量与侧抑制的方式不同。胜者为王算法的调 整是封杀似的。SOM网的获胜神经元对其临近的神经元的影响是由近及远， 由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权 向量，它周围的神经元在其影响下也要程度不同的调整权向量。 Self-Organizing Feature Mapping |13 科霍恩学习算法具体步骤：科霍恩学习算法具体步骤： Self-Organizing Feature Mapping |14 目录：目录： 1. 由自组织竞争神经网络谈起由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构自组织特征映射网拓扑结
