《基于小波核主成分分析的相关向量机高光谱图像分类_赵春晖》由会员分享，可在线阅读，更多相关《基于小波核主成分分析的相关向量机高光谱图像分类_赵春晖（6页珍藏版）》请在金锄头文库上搜索。
1、第 34 卷第 8 期 电 子 与 信 息 学 报 Vol.34No.8 2012 年 8 月 Journal of Electronics Relevant Vector Machine (RVM); Kernel Principal Component Analysis (KPCA); Wavelet kernel function 1 引言 高光谱图像具有丰富的地物光谱信息，在地物 分类与识别方面具有较大的优势1,2。现有高光谱图 像分类方法一般分为两大类：非监督分类与监督分 类，在非监督分类中主要有以下几种方法：K 均值 聚类方法、 ISODATA 动态聚类方法、 平行管道法3。201
2、1-12-07 收到，2012-05-08 改回 国 家 自 然 科 学 基 金 (61077079) ， 教 育 部 博 士 点 计 划 基 金(20102304110013) 和 哈 尔 滨 市 优 秀 学 术 带 头 人 基 金(2009RFXXG034)资助课题 *通信作者：赵春晖 非监督分类算法由于没有训练样本， 因此对大样本、 高维数数据的分类精度不高。在监督分类中，近年 来被广泛应用的是支持向量机(SVM)方法，该方法 基于统计学习理论的结构风险最小化原则，通过最 小化经验风险和置信范围提高算法的泛化能力4。 但 SVM 存在着明显的不足：(1)支持向量的数量会随 着训练样本数
3、量的增加而线性增加，这样会导致分 类效率降低，时间加长；(2)预测的结果没有一种概 率的公式，无法观测到分类的准确度；(3)对于给定 的误差参数，主观性过强，容易造成主观误差；(4) 核函数必须满足 Mercer 条件4。 1906 电 子 与 信 息 学 报 第 34 卷 为了弥补 SVM 的不足，文献5-8提出一种与 SVM 相似的稀疏概率模型，被称为相关向量机 (Relevance Vector Machines, RVM)。RVM 最初用 于处理回归问题，后来研究发现 RVM 同样可以处 理分类问题， 因为 RVM 与 SVM 具有相同的数学表 达式，而 RVM 是通过拉普拉斯逼近将分
4、类问题转 化为回归问题9。RVM 现已被广泛的应用在分类以 及回归问题中10,11。为了改善 RVM 分类的准确率， 一般在分类之前需对数据进行预处理。常见方法有 主成分分析(PCA)，自适应波段选取，光谱加权等。 其中以 PCA 应用较为广泛，然而普通 PCA 对数据 的处理是线性的， 对于维度较高的高光谱数据来说， PCA 预处理效果一般， 不能达到提高类别之间区分 度的目的。本文通过研究，发现应用小波核函数的 核 PCA 处理高维数据的效果比较理想， 能够在保持 数据之间原有关系的情况下，降低维度，并且提高 类别区分度，最终将新的数据预处理方法与相关向 量机结合，得到一种效果较好的高光谱
5、图像分类方 法。 2 基于小波核函数的KPCA-RVM高光谱图 像分类 2.1 基于小波核函数的核主成分分析 2.1.1核主成分分析 主成分分析的主要目的是将高 光谱高维数据降维，提取主要成分，进行分类。而 传统的主成分分析是一种线性方法，对高光谱数据 重叠部分的分离度不高，因此采用一种核主成分分 析的方法，进行非线性映射，提高数据之间的分离 度。该方法的主要流程如下。 假设有一个高光谱数据点集ix，其中1,2,i = ,l?。利用核函数将高光谱数据投影到特征空间 :NRF (1) xX (2) 因此特征空间 F 是由1(), ( )lxx?生成的。 特 征空间 F 的协方差矩阵 C 为 T1
6、1( )( )lii ixxl=C (3) 之后利用式(4)可以计算特征值0 以及 VF。 =VCV (4) 因为特征向量 V 属于特征空间 F，因此 V 也 是由1(), ( )lxx?所构成，所以式(4)可以写为 ( () (), 1,kkxxkl =VCV? (5) 并且存在系数(1, )iil=?，使得 1( )lii ix =V (6) 将式(6)代入到式(5)中，可以得到 111( ()()1( ()(), 1,liki i llikj ijxxxxkll =? (7) 定义一个ll矩阵 K ( ( )()ijijKxx= (8) 将矩阵 K 代入到式(7)中，有 2m=KK (9
7、) 其中是由12,m ?组成的列向量。由于 K 为 一个对称矩阵，并且具有一组特征向量为整个空间 的基底12，因此求解式(9)可以等价为式(10) l=K (10) 因此( )x空间的主元方向就是根据矩阵 K 的特征向量求出的特征向量 V。( )x在主成分方向上的投影就是对于原空间中任意向量x在空间变换 中的主成分方向，即 11( )()( )( , )lliiii iixK x =Vxxx (11) 其中( , )iK x x为核函数，由式(9)可知，核主成分分析法的优点在于，在计算的时候，只需要在原空间 中计算核函数，无需知道非线性映射函数( )x的形式以及非线性变换的结果。 2.1.2小
8、波核函数 核函数的主要目的是将高光谱的 目标数据从低维空间投影到另一个高维空间，这样 某些高光谱数据在低维空间中线性不可分的部分， 在高维投影空间变为线性近似可分。传统的核函数 在通过维度映射之后不能产生一组该空间上的完备 基底。这种基底的不完备性导致了分类器不能在空 间上对任意分类界面进行逼近，同样也不能对任意 的分类曲线进行逼近。针对这一问题，必须寻找一 种新的核函数，从而能在新的空间上生成一组完备 的基底， 而小波核函数可以提供一种近似的正交基， 并且小波变换具有多分辨率的特点，也称为多尺度 的特点，可以任意地以由粗到细的逐步观察高光谱 数据，提高非线性映射能力。 假设( )h x是一小
9、波函数， 设a和c表示伸缩和平移。如果,NRX X，那么小波核的点积形式为 1( ,)N iiiiixcxcK x xhh=(12) 满足平移不变的内积核定理表达式为 1( ,)N iiixxK x xh=(13) 根据小波函数的平移不变理论可以构造一个小 波母函数13 第 8 期 赵春晖等： 基于小波核主成分分析的相关向量机高光谱图像分类 1907 2( )cos(1.75 )exp(/2)h xxx=(14) 因此根据式(12)以及式(13)， 可以得到一个小波 核函数 22 1()( ,)cos 1.75exp2NiiiiixxxxK x x= = (15) 其中, ,x a c R，
10、可以看出式(15)满足 Mercer 核函数要求，可应用于基于高光谱数据的核主成分分析。 2.2 相关向量机 2.2.1 相关向量机理论 如果高光谱输入数据组为1,Nnnnxt=，并且考虑到目标函数只是一个标量，根 据标准概率方程式，假设目标函数是模型的样本并 且附加着噪声： ();nnnty x=+w (16) 其中n是零均值的高斯噪声，并且相互独立，其方差为2。 因此表达式2(| )(| (),)nnnp tty x=x是一种服从高斯分布的表达式， 其分布由nt和()ny x的值以及方差2决定。而其中( )y x是一个由核函数决定的值，并且核函数是由训练样本( )( ,)iiKxxx决定。
11、如果假设nt是相互独立的，则数据样本的完整概率表达式可以写为 222/2 21( |,)(2)exp2Np=t wtw (17) 其中T 1 , ,Ntt=t?T 0,Nww=w?和都是预先设 计 好 的 大 小 为(1)NN+的 矩 阵 ， 并 且T 12 (), (), ()Nxxx=?的值为()1,(,NnxK x= T 12),(,),(,)nnNxK xxK xx?。为了表达式更加简单化，在式(17)中忽略一些隐含的输入数据nx。 在RVM中采用贝叶斯透视方法。 定义一个w的比较简单的函数，这个函数是一个应用广泛的零均值的高斯概率分布 10(|)(| 0,)Nii ipw=wN (1
12、8) 式(18)存在对于每一个权重来说都是独立分布的参 数，可以极大地缓解之前分布的复杂度。 定义一个超参数，同样的为了匹配最后的函 数，也需要加入噪声函数2。这个函数是属于一种 刻度函数，其分布满足伽玛分布： 0( )(| , )Ni ipa b=(19) ( )(| , )pc d= (20) 其中2=，并且 11(| , )( )aabaa babe= (21) 其中10( )datatet=为伽马函数。 为了确保这些 参数是无先验知识的，规定其是很小的值，如ab= 410cd=。然而将这些参数设为 0 的话，会获 得均匀的超参数。在大多数的文章之中一般将abc=0d=。 2.2.2相关
13、向量机分类方法 相关向量机分类方法就 是利用一种拉普拉斯逼近的回归算法。 需要预测输入x的一部分的后验概率。根据统 计学原理，利用函数( )1/(1)yye=+对线性模型( )yx进行归一化，其中( |)p tw是一个贝努力分布， 分布表达式如式(22)： 11() (;) 1 (;)nnN tt nn npy xy x=t |www (22) 式中根据概率定义，目标函数0,1nt 。 在高光谱图像分类中，不能利用卷积方式计算 出权重的大小，所以并不能计算出(| ,)pw t或者边 缘分布( |)pt的解。因此，需要利用一种拉普拉斯 逼近的近似求解方法，具体过程如下： (1)首先固定的值，给出
14、模型的后验概率分布 的位置，得到权重MPw的最有可能的值。因为(| ,)( |) (|)pPpw tt ww，所以以上步骤等价于 找到式(23)的最小值。 T1lg ( |) (|)1lg(1)lg(1)2Nnnnn nPptyty=+t www Aw(23) 其中 (;)nnyy x=w。应用最小平方反复迭代的方 法得到MPw的值。 (2)拉普拉斯方法是一个简单的二次方程来逼 近的对数分布。其值是通过二次变形给出 Tlg (| ,)|()MPWWp = +Ww tBA (24) 式中12diag(,)N =B?是一个对角线矩阵，其 中 ()1 ()nnny xy x=。对于高斯逼近来说 权重主要集中在MPw，并且通过式(24)可以得到协 方差。 (3)利用的统计学和MPw的高斯逼近(代替
