《KL变换与主成分分析报告》由会员分享，可在线阅读，更多相关《KL变换与主成分分析报告（5页珍藏版）》请在金锄头文库上搜索。
1、.主成分分析PCA是多元统计分析中用来分析数据的一种方法,它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法,它的本质实际上是 K-L 变换。PCA 方法最著名的应用应该是在人脸识别中特征提取与数据维,我们知道输入 200*200 大小的人脸图像,单单提取它的灰度值作为原始特征,则这个原始特征将达到 40000 维,这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface算法就是采用 PCA 算法,用一个低维子空间描述人脸图像,同时用保存了识别所需要的信息。下面先介绍下 PCA 算法的本质 K- L 变换。1 1、K-LK-L 变换变换 卡洛南卡洛南- -洛伊洛伊
2、 Karhunen-LoeveKarhunen-Loeve 变换变换：最优正交变换最优正交变换一种常用的特征提取方法一种常用的特征提取方法；最小均方误差意义下的最优正交变换最小均方误差意义下的最优正交变换；在消除模式特征之间的相关性在消除模式特征之间的相关性、突出差异性方面有最优的效果突出差异性方面有最优的效果。离散 K-L变换：对向量x x可以想象成MM维维=width*height=width*height 的人脸图像原始特征用确定的完备正交归一向量系u uj j展开：这个公式由来我想应该是任一 n n 维欧式空间 V V 均存在正交基,利用施密特正交化过程即可构建这个正交基。现在我们希望
3、用 d d 个有限项来估计向量 x, x,公式如下：计算该估计的均方误差如下：要使用均方误差最小,我们采用 Langrange 乘子法进行求解：因此,当满足上式时,取得最小值。1 / 5.即相关矩阵即相关矩阵 R R 的的 d d 个特征向量个特征向量 对应对应 d d 个特征值从大到小排列个特征值从大到小排列 为基向为基向量来展开向量量来展开向量 x x 时时, ,其均方误差最小其均方误差最小, ,为为：因此因此,K-L,K-L 变换定义变换定义：当取矩阵当取矩阵 R R 的的 d d 个最大特征值对应的特征向量来个最大特征值对应的特征向量来展开展开 x x 时时, ,其截断均方误差最小其截
4、断均方误差最小。这这 d d 个特征向量组成的正交坐标系称个特征向量组成的正交坐标系称作作x x所在的所在的 D D 维空间的维空间的 d d 维维 K-LK-L 变换坐标系变换坐标系, x, x在在 K-LK-L 坐标系上的展开坐标系上的展开系数向量系数向量 y y 称作称作 x x 的的 K-LK-L 变换变换。总结下,K-LK-L 变换的方法变换的方法：对相关矩阵R的特征值由大到小进行排队,则均方误差最小均方误差最小的x x近似于：矩阵形式：上式两边乘以U U的转置,得向量y y就是变换降维后的系数向量,在人脸识别Eigenface算法中就是用系数向量 y y 代替原始特征向量 x x
5、进行识别。下面,我们来看看相关矩阵 R R 到底是什么样子。因此,我们可以看出相关矩阵R R是一个实对称矩阵或者严谨的讲叫正规矩阵,正规矩阵有什么特点呢？学过矩阵分析的朋友应该知道：若矩阵若矩阵 R R 是一个实对称矩阵是一个实对称矩阵, ,则必定存在正交矩阵则必定存在正交矩阵 U,U,使得使得 R R 相似于对角相似于对角形矩阵形矩阵, ,即即：因此,我们可以得出这样一个结论：降维后的系数向量y y的相关矩阵是对角矩阵的相关矩阵是对角矩阵,即通过通过 K-LK-L 变换消除原有变换消除原有向量向量 x x 的各分量间的相关性的各分量间的相关性, ,从而有可能去掉那些带有较少信息的分量从而有可
6、能去掉那些带有较少信息的分量以达到降低特征维数的目的以达到降低特征维数的目的。2 2、主成分分析主成分分析 PCAPCA2 / 5.主成分分析PCA的原理就是将一个高维向量x x,通过一个特殊的特征向量矩阵U U,投影到一个低维的向量空间中,表征为一个低维向量y y,并且仅仅损失了一些次要信息。也就是说,通过低维表征的向量和特征向量矩通过低维表征的向量和特征向量矩阵阵, ,可以基本重构出所对应的原始高维向量可以基本重构出所对应的原始高维向量。在人脸识别中,特征向量矩阵U U称为特征脸eigenface空间,因此其中的特征向量u ui i进行量化后可以看出人脸轮廓,在下面的实验中可以看出。以人脸
7、识别为例,说明下 PCA 的应用。设有N N个人脸训练样本,每个样本由其像素灰度值组成一个向量x xi i,则样本图像的像素点数即为x xi i的维数,M=width*height ,M=width*height ,由向量构成的训练样本集为。该样本集的平均向量为：平均向量又叫平均脸。样本集的协方差矩阵协方差矩阵为：求出协方差矩阵的特征向量u ui i和对应的特征值,这些特征向量组成的矩阵U U就是人脸空间的正交基底,用它们的线性组合可以重构出样本中任意的人脸图像,如果有朋友不太理解这句话的意思,请看下面的总结 2。并且图像信息集中在特征值大的特征向量中,即使丢弃特征值小的向量也不会影响图像质量
8、。将协方差矩阵的特征值按大到小排序：。由大于的3 / 5.对应的特征向量构成主成分,主成分构成的变换矩阵为：这样每一幅人脸图像都可以投影到构成的特征脸子空间中,U U的维数为MdMd。有了这样一个降维的子空间,任何一幅人脸图像都可以向其作投影,即并获得一组坐标系数,即低维向量y y,维数d1d1,为称为 KLKL 分解系数分解系数。这组系数表明了图像在子空间的位置,从而可以作为人脸识别的依据。有朋友可能不太理解,第一部分讲 K-L 变换的时候,求的是相关矩阵的特征向量和特征值,这里怎么求的是协方差矩阵?其实协方差矩阵也是：,可以看出其实用代替x x就成了相关矩阵R,R,相当于原始样本向量都减去个平均向量,实质上还是一样的,协方差矩阵也是实对称矩阵。总结下：1、在人脸识别过程中,对输入的一个测试样本x x,求出它与平均脸的偏差,则在特征脸空间U U的投影投影,可以表示为系数向量y y：U U的维数为MdMd,的维数为M1M1,y y的维数d1d1。若MM为200*200=40000维,取 200个主成分,即 200 个特征向量,则最后投影的系数向量y y维数降维 200 维。2、根据 1 中的式子,可以得出：4 / 5.这里的x x就是根据投影系数向量y y重构重构出的人脸图像,丢失了部分图像信息,但不会影响图像质量。5 / 5
