《SOM自组织映射学习汇报》由会员分享，可在线阅读，更多相关《SOM自组织映射学习汇报（36页珍藏版）》请在金锄头文库上搜索。
1、我学到了什么,我下一步要做什么,自组织神经网络 SOM An Improved Neural Architecture for Gaze Movement Control in Target Searching,自组织神经网络,自组织神经网络是一类无教师学习方式的神经网络 模型，它无需期望输出，知识根据数据样本进行学习， 并调整自身权重以达到学习的目的。自组织神经网络的 学习规则大都采用竞争型的学习规则。 竞争型神经网络的基本思想是网络竞争层的各神经 元通过竞争来获取对输入模式的响应机会。竞争结果会 存在获胜神经元，获胜神经元有关的各连接权值向着更 有利于其竞争的方向发展。,竞争层,输入层,W
2、j权值,不同的输入归结到1个神经元上，几个输入就是一类，实现了分类。,竞争学习： 网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，称为WTA（Winner-Take-All）。,学习规则： 1.向量归一化。首先将当前输入模式向量X和竞争层中各神经元对应的向量Wj 全部进行归一化处理。 2.寻找获胜神经元。当网络得到一个输入模式向量时，竞争层的所有神经元对应的权向量均与其进行相似性比较，并将最相似的内权向量判为竞争获胜神经元。 3.网络输出与权值调整。 4.重新向量归一化。,用竞争学习算法将下列各模式
3、分为2类： 输入向量为：,学习率为a=0.5 向量归一化,设置两个权向量,竞争学习 X1学习 d1=|X1-W1(0)|=136.89, d2=|X1-W2(0)|=1216.89 d1d2,所以神经元1获胜，W1调整 W1(1)=W1(0)+a(X1-W1(0)=118.43 W2(1)=W2(0)=1-180 ,X2学习 d1=|X2-W1(1)|=198.43 , d2=|X2-W2(1)|=1100 d1d2,所以神经元1获胜，W1调整 W1(2)=W1(1)+a(X2-W1(1)=1-30.8 W2(2)=W2(1)=1-180 ,d1= 1104,d2= 1100,我学到了什么,我
4、下一步要做什么,自组织神经网络 SOM An Improved Neural Architecture for Gaze Movement Control in Target Searching,SOM,SOM，Self-Organizing Feature Maps,自组织神经网 络，是一种无导师学习的网络，主要用来对于输入向量进 行区域分类。 SOM的算法思想： 某个输出节点能对某一类模式做出特别的反应以代表 该模式类。 输出层上相邻的节点能对实际模式分布中相近的模式 类做出特别的反应。 当某类数据模式输入时，对某以输出节点产生最大刺 激（获胜神经元），同时对获胜神经元节点周围的一些节 点
5、产生较大的刺激。,SOM,网络中有两种链接权值，一种是神经元对外部输入反 应的连接权值，另外一种是神经元之间的特征权值。它的 大小控制着神经元之间交互作用的强弱。,SOM拓扑结构图,SOM算法是一种无导师的聚类法，他能将任意维输入模 在输出层映射成一维或者二维离散图形，并保持其拖布结构 不变，即在无导师的情况下，通过对输入模式的自组织学习， 在竞争层将分类结果表示出来。此外，网络通过对输入模式 的反复学习，可以使连接权值空间分布密度与输入模式的概 率分布趋于一致，即链接权向量空间分布能反应输入模式的 统计特征。,SOM算法是一个竞争-合作的过程。 1.竞争。对于输入模式，网络中的神经元计算他们
6、各自 判别函数的值。这个判别函数对神经元之间的竞争提供基础， 具有判别函数最优值（在欧式距离中是最小值）的特定神经 元成为竞争的胜利者。 2.合作。获胜神经元的的相邻神经元的是合作的基础。 神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这 样的相邻神经元的合作的基础。 3.突出调节。最后的这个机制使神经元通过对他们突触 权值的调节以增加他们的关于该输入模式的判别的函数值。 所做的调节使获胜神经元对以后相似输入模式的响应增强了。,SOM算法步骤,Step.1 网络初始化 用随机数设定输入层和映射层之间权值的初始值：Wij。设定学习次数T，相关邻域Ni(d)。,Wij,X1 X2 Xi,j,S
7、tep.2 输入向量 把输入向量输入给输入层：Xi。,SOM算法步骤,Step.3 计算映射层的权值向量和输入向量的距离。 由欧式距离给出：,Wij,X1 X2 Xi,j,SOM算法步骤,Step.4 选择与权值向量的距离最小的神经元。 计算并选择使输入向量和权值向量距离最小的神经元，把其称为胜出神经元，标记为j*，并给出邻接神经元集合。,Wij,X1 X2 Xi,j,SOM算法在修正神经元的时候，同时要修正获胜神经元 的附近区域Ni(d)内所有的神经元。 Ni(d)=j,dij=d,1,2,5,4,3,6,7,10,9,8,11,12,15,14,13,16,17,20,19,18,21,2
8、2,25,24,23,N13(1) =8，12，13，14，18,N13(2) =3，7，8，9，11，12， 13，14，15，17，18， 19，23,SOM算法步骤,Step.5 调整权值 胜出神经元和位于其邻接的神经元的权值通过下式调整。 Wij(t+1)=Wij(t)+a(t)h(j,j*)(Xi-Wij) 其中，a(t)为学习率，随着t的增大而减小。 h（j,j*）为邻域函数，随着学习程度逐渐减小。 Step.6 若t=T，则停止学习，否则继续执行Step.2。,解释：可以用两种方式来解释SOM算法。 首先，因为在训练阶段，整个邻域的权值向着相同的方向靠近，所以类似的项目趋向于刺激
9、邻近的神经元。因此，SOM形成了一个使相同样本靠近，不同样本分离的语义映射。这样，SOM便实现了分类的过程。 其次，可以考虑神经元的权值作为输入空间的指针，形成了一个训练样本分布的离散近似值。更多的神经元指向了高度训练的样本集中的区域。,性质：输入空间的近似 对于V空间中的向量v，首先根据特征映射确定在输出空间A中最佳的匹配单元S，S的权重向量Ws可视为S投影到输入空间的坐标。通过不断调整权重矩阵，是输出空间A近似的表示输入空间V。,SOM实质上是从任意维离散或者连续空间V到一维或者二维离散空间A的一种保序映射。,SOM功能分析 1.保序映射：将输入空间的样本模式类有序地映射 在输出层上。 2
10、.数据压缩：将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。在SOM中，无论输入空间样本有多少维，都可以在SOFM输出层的某个区域得到响应。 3.特征抽取：高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。,我学到了什么,我下一步要做什么,自组织神经网络 SOM An Improved Neural Architecture for Gaze Movement Control in Target Searching,An Improved Neural Architecture for Gaze Movement Control in Target Searching 论
11、文是对于原来的Neural Architecture for Gaze Movement Control in Target Searching的改进。,论文在第三层和第四层之间增加了一个新的Movement Coding Neuron,以便更好地实现gaze motion estimation and control。 原来结构的缺点是，第三层所有的大反应神经元向第四层中运动控制神经元传输了权值响应，从而参与了凝视运动的合成 。然而，这些大反应神经元可能产生不同的运动估计量的分组。谈及分组链接权值时，要对这些神经元的运动估计进行分辨及分类，有必要在第四层把这些神经元对应着运动控制神经元组织起
12、来。,我学到了什么,我下一步要做什么,自组织神经网络 SOM An Improved Neural Architecture for Gaze Movement Control in Target Searching,1.对于An Improved Neural Architecture for Gaze Movement Control in Target Searching详细解读。 2.对于Self-Organizing Neural Population Coding for Improving Robotic Visuomotor Coordination的理解学习。 3.对于SOM算法的实现。,
