《一种基于局部保持的隐变量模型》由会员分享，可在线阅读，更多相关《一种基于局部保持的隐变量模型（18页珍藏版）》请在金锄头文库上搜索。
1、一种基于局部保持的隐变量模型一种基于局部保持的隐变量模型第 23 卷第 3 期2010 年 6 月模式识别与人工智能PRAIVo1.23JunNo.32010一种基于局部保持的隐变量模型木王秀美高新波张乾坤宋国乡(西安电子科技大学理学院西安 710071)(西安电子科技大学电子工程学院西安 710071)摘要隐变量模型是一类有效的降维方法,但是由非线性核映射建立的隐变量模型不能保持数据空间的局部结构.为了克服这个缺点,文中提出一种保持数据局部结构的隐变量模型.该算法充分利用局部保持映射的保局性质,将局部保持映射的目标函数作为低维空间中数据的先验信息,对高斯过程隐变量中的低维数据进行约束,建立局
2、部保持的隐变量.实验结果表明,相比原有的高斯过程隐变量,文中算法较好地保持数据局部结构的效果.关键词降维,隐变量模型(LVM),局部距离保持中图法分类号 TP391ALatentVariableModelBasedonLocalPreservationWANGXiu.Mei,GAOXin.Bo.,ZHANGQianKun,SONGGuo.Xiang(SchoolofSciences,XidianUniversity,Xian710071)(SchoolofElectronicEngineering,XidianUniversity,凡 710071)ABSTRACTLatentvariable
3、model(LVM)isakindofefficientnonlineardimensionalityreductionalgorithmthroughestablishingsmoothkernelmappingsfromthelatentspacetothedataspace.However,thiskindofmappingscannotkeepthepointscloseinthelatentspaceeventheyarecloseindataspace.ALVMisproposedbasedonlocalitypreservingprojection(LPP)whichcanpre
4、servethelocalitystructureofdataset.TheobjectivefunctionofLPPisconsideredasapriorofthevariablesintheGaussianprocesslatentvariablemodel(GPLVM).TheproposedlocalitypreservingGPLVMisbuiltwiththeconstrainedtermoftheobjectivefunction.ComparedwiththetraditionalLPPandGPLVM.experimentalresultsshowthatthepropo
5、sedmethodperformsbetterinpreservinglocalstructureoncommondatasets.KeyWordsDimensionalityReduction,LatentVariableModel(LVM),IcalDistancePreservation国家自然科学基金项目(No.60702061,6077106,60702061),教育部和创新团队支持计划项目(No.IRT0645)资助收稿日期:20090427;修回日期:20091009作者简介王秀美,女,1978 年生,博士研究生,主要研究方向为机器学习,统计模型.E-mail:wangxiume
6、igmail.corn.高新波,男,1972 年生,教授,博士生导师,主要研究方向为视频信息处理与分析,模式识别和机器学习.张乾坤,男,1984 年生,硕士研究生,主要研究方向为统计学习,子空间分析.宋国乡,女,1938 年生,教授,博士生导师,主要研究方向为小波分析,数值计算.370 模式识别与人工智能 23 卷1 引言在模式识别和机器学习领域,人们常常要处理大量的高维数据.这些数据维数过高,使得在数据处理中计算量很大,不能对数据进行有效分析,这就是机器学习中的“维数灾难“问题.因此,寻求较好的降维方法,以正确获得高维数据集的潜在低维结构信息是当前大家普遍关注的问题.主成分分析(PCA)是最
7、为经典也是应用最为广泛的降维方法.PCA 的主要思想是用较少的综合变量来代替原来较多的变量,同时要求这几个综合变量互相不相关,并能尽可能多地表示原来数据的能量,它是将多指标化为少数几个综合指标的一种统计分析方法.由 PCA 衍生并推广出了的概率主成分分析(ProbabilisticPCA,PPCA)和核主成分分析(KernelPCA,KPCA)两种降维方法,其中,PPCA 是对PCA 的概率推广,仍然是通过线性变换达到降维的目的,KPCA 则是对降维进行非线性扩展.但是,上述的降维方法都有自身的不足.PCA和 PPCA 都是线性降维方法,虽然易于实施,但是对一些结构复杂的数据却无能为力,这是由
8、线性方法本身的限制性造成的.KPCA 虽然将 PCA 进行非线性推广,但是它只给出如何从观测空问到低维隐空间的映射,如何从低维到高维映射建立联系,KPCA没有给出解决的办法.更为重要的是,以上方法只考虑样本能量特征,因此需要大量的样本数据,对于小样本数据,往往不能得到满意结果.针对上述方法的不足,研究人员提出高斯过程隐变量模型(GaussianProcessLatentVariableModel,GP.LVM),它是对 PPCA 的对偶形式的非线性扩展 J.GP.LVM 建立从隐变量空间到观察空间的非线性高斯过程映射,通过最大化数据点的联合密度来估计它们在隐变量空间中的坐标位置,然后得到低维隐
9、空问中的表达.GP.LVM 克服线性降维方法的局限,它有一个显着的特性,即当观察数据的样本较少时,仍然可用来寻找观察数据的低维流形,也就是说 GP.LVM 非常适合处理小样本的高维数据一.然而,GPLVM 是利用建立从低维空间到高维空间的光滑核映射,所以必然就会留有光滑核映射所不能避免的缺点.也就是说,对于低维空间中两个较近的点通过光滑核映射到高维空间后,两个高维空间中的点仍然是距离较近.但是反之并不成立,即如果在高维空间中两个相近的点,通过 GP-LVM 模型,得到低维空间中对应的两个点的距离并不能保持这种相近性.为了克服 GP.LVM 的这种不能保持局部结构的缺点,文献8提出一种后项约束的
10、模型试图解决该问题.这种后项约束模型是基于回归算法提出的,通过对低维数据的点加上一个约束项建立.该约束项是将高维空问中所有点的距离关系作为对低维数据的点回归的权值的基础上建立,而高维空问的距离需要用到核映射的形式.因此核矩阵的超参数(HyperParameters)和映射的权值需要确定,因此该方法需要的计算量较大,计算机运行时间较长.另外,由于降维的目的一方面减少计算,另外一方面是想找到高维数据的内在流形结构.我们希望降维后相关的数据在同一流形上,不相关的数据点对越远越好.文献8方法是将所有高维数据点的两两关系作为约束,这就使得降维后的数据要保持高维数据所有点对之间的距离关系,将会影响找到数据
11、的内在流形结构.基于以上考虑,我们提出了一种基于保局映射(LocalityPreservingProjection,LPP)的 GPLVM算法.该算法是利用 LPP 来保持数据的局部相邻性,将数据间的相邻结构作为一种先验知识赋予低维空间中的数据.由于 LPP 是一种有效的线性保局映射,因此可使得高维空问中相邻的点在低维空间中保持相邻性.并且 LPP 的权值矩阵是一个系数矩阵,可很大程度上减少数据的计算量.利用 LPP 可得到从高维到低维的投影矩阵,因此对于新的测试样本,我们可直接通过该投影矩阵得到测试数据先验,从而也保持该测试数据的邻近结构.在各种数据上的实验结果表明本文算法的有效性.2 高斯
12、过程隐变量模型和保局映射假设 Y=Y,Y:,Y代表观测的数据矩阵,其中 YR.,N 为样本个数.X=,表示隐变量空问中的数据矩阵,其中R.高斯隐变量模型是建立由隐变量空问到观测空间y 的非线性映射,以为参数矩阵,求保证观测数据y 的联合密度最大时参数的值,即确定观测数据对应在隐空间中的坐标.2.1 高斯过程隐变量模型GPLVM 是对 PPCA 的推广.隐变量模型有个很重要的性质为条件独立,即在隐变量给定的时候,观测变量的各维之间是独立的.从所有的隐变量到观测变量的每一维建立映射,给每个映射一个高斯过程先验,建立一个非线性的隐变量模型.这与3 期王秀美等:一种基于局部保持的隐变量模型 371PP
13、CA 不同,PPCA 是假设各个样本独立同分布,假设降维后的样本服从高斯分布而建立模型.假设各维度上的映射独立同分布,服从高斯过程:D,Jp(=np()=兀 N(LIo,),则观测数据 d 维的似然可表示为P(Y,l,):JP(Y:.,O)p(L)=N(y:.10,K).由于各维之间独立,则观测数据的似然可表示为数据各维度似然的乘积:P(YI,)D=n(f,)=xp(一1),其中,是协方差函数矩阵,或者称为核函数矩阵.本文取得核函数为k(x,)=0rbfexp(一手(一,)(一,)+0whitek(x,)为矩阵的第 i 行第列对应的元素.6 为Kroneckerdelta 函数.这时从隐空间到
14、高维空间的映射是一个非线性映射的高斯过程,而且对于观测数据,每一维是独立的.似然可进一步简化为P(Y1X,0)=Nl1(27r)丁 fl2.2 保局映射exp(一 1r(一 yy)LPP 是一种无监督降维方法,它可通过线性映射,保持数据的局部流型结构,即在高维数据中较近的点对,在低维空问中相应的点对也是很接近的.LPP 通过对一些相对临近点的数据对的距离进行加权,将距离较远的数据点对的距离定义为零.然后将以上定义的所有点对加权距离求和作为目标函数.再最小化该目标函数,得到从高维数据到低维数据的投影矩阵.相比于 PCA,同为无监督的降维方式,两者的区别为,PCA 的目的是寻找数据散度最大的方向进
15、行降维,从而保持数据的能量信息;LPP 的目的是保持数据的局部邻域信息.两者的区别可从图1 看出.由图 1 可以看出,从 PCA 的降维的方向沿(a)中的竖线(虚线)方向,此时对二维数据降维保持数据的散度信息,而不考虑数据的邻近结构.(b)中的水平线表示的是 LPP 的降维方向,此时二维数据降至一维,投影到水平线上,则数据的邻近结构保持较好.所以,我们在接下来的建模过程中,为了对数据的局部邻域结构保持,选用 LPP 作为约束.接下来我们将简单介绍一下 LPP 的主要步骤.(a)PCA 投影(b)LPP 投影(a)ProjectionusingPCA(b)ProjectionusingLPP图
16、1 二维数据用 PCA 和 LPP 降维后的投影方向Fig.1ProjectionDirectionfor2DDatasetafterdimensionalityreductionwithPCAandLPP隐变量空问中的数据矩阵 X=,X:,X其中 X.R,对于数据点 XR 和R,我们可定义 2 个点之间的距离 d(i,J),并给予权值若数据点 i 和数据点是距离“近“的点,则可给予权值.0;若两个点的距离“远“,则给予权值Wi,=0.目标函数即为D()=(xj).通过最大化目标函数 D(X),得到投影矩阵:=a 佗寺(一 Wi在本文中.,的定义可通过文献9给出的热核定义,.p(掣).上式经过线性变换可等价为T=argminTTYLyTT,s.t.TYDyTT=I.ERDd其中 D 为一个对角阵,D=,而矩阵=Dw 是一个 Laplacian 矩阵.上式表示 LPP 目的是得到变换矩阵,使得在高维数据中“邻近“的数据点对,经过矩阵变换后,在低维空间中可保持点的“邻近“
