《主成分分析PCA原理及应用》由会员分享，可在线阅读，更多相关《主成分分析PCA原理及应用（7页珍藏版）》请在金锄头文库上搜索。
1、PCA 原理及应用1 PCA 原理已知 n 维空间的随机向量用表示，将进行零均值处理，则 E(x)=0。如果对x 用一组完备正交基展开，可得 : (1.1) 假设只用前 k 项进行重构，则(1.2) 其均方误差为(1.3) 因为(1.4) 所以(1.5) 其中是和的总体协方差矩阵。 为了使重构的均方误差最小，并满足正交条件(1.4)式的约束，采用拉格朗 日乘子法，将函数(1.6) 对求导，得(1.7) 令 k=1，此时为总体协方差矩阵C的本征向量，分别是它们对应的本征值，这些本征向 量 经 过 正 交 化 处 理 所 张 成 的 空 间 称 为 本 征 空 间 。 将 本 征 向 量按 照 它
2、 们 的 本 征 值 进 行 降 序 排 列，则得到结论 : 对于任一随机变量x， 如果采用总体协方差矩阵C 的前 k 个最大非 0 本征值 所对应的本征向量作为坐标轴展开， 可在相等截断长度下获得所有正交展开中最小的截断均方误差: (3.8) 上述变换称为 KL 展开，可用于任意随机变量。2 PCA 应用于人脸识别的原理 假设训练图像按行排成长度为N的向量，其均值向量 (即平均脸 ) 则 每 个 图 像 相 对 于 均 值 图 像 的 差 为。令矩阵， 则散布矩阵可以表示为 : (1.9) 求出的本征值和本征向量。由于看起来象一张人脸，因此常称作本征脸向量，用 ORL 人脸库中的图像变换得到
3、的本征脸图像如图2.1 所示: 图 2.1 ORL 人脸库中的本征脸图像由于是大小的矩阵，而且N 的值较大，一般远大于训练样本的个数 M，因此为了降低计算量，通常不直接求的本征向量，而是先计算大小为的矩阵 : 的本征向量，根据代数理论，有(1.10) 对于这些相互正交的本征向量， 根据其对应的本征值的大小按照从大到 小的顺序进行排列，取前面个本征向量作为基向量建立本征脸空间S，用公式 (1.11)计算出 所有训练图像在本征脸空间S的投影系数: (1.11) 其中“ ”表示内积。对于任一待识别的图像，用同样的方法求出其投影系数臼 2，, ， W)，则满足下列条件的第个训练图像即为识别结果。(1.
4、12) 2.1 PCA 方法的性能评价 PCA 具有如下优点 : (1)最小均方误差可以证明，PcA 是在均方误差最小意义下的最优正交分 解方法，因此用 PcA 进行信号压缩能够得到最大的信噪比。 (2)降维由于基函数的个数往往远小于信号的维数，因此PCA 变换能够大 大降低数据的表示维数。这对模式识别中的特征提取非常有利。 (3) 消 除 冗 余 在 基 函 数 上 的 投 影 系 数 彼 此 之 间 是 不 相 关 的 ，即:(1.13) (4)分解函数 /合成函数相同分解函数(Analysis Function)作用于输入信号， 得 到信号的编码 ;合成函数 (Synthesis Fun
5、ction) 作用于信号的编码，得到原始信号。如果图像的分解和合成采用线性模型，则分解函数和合成函数是和输入信号具有相同维数的向量，它们可以表示为: (1.14) PCA 方法实现简单，它将N 维空间的图像数据变成了J 维的投影系数，由于因此， PCA 方法有很强的数据压缩能力，而且、这种压缩是最优 的，因为它不仅使得从N 维空间降到 J 维空间后的均方误差最小，而且在变换 后的低维空间有很好的人脸表达能力。2.2 PCA 系数获取 2.2.1 数据归一化 在进行 PCA 处理之前，对小波变换后的数据进行了归一化，使其均值为 0， 而方差为 1。采用的归一化公式为 : (1.15) 其中 P
6、是输入的RXQ 矩阵，是归一化后的RXQ 矩阵，是的均值向量，是的方差向量。2.2.2 PCA 系数获取 根 据 主 成 分 分 析 方 法 ， 计 算 训 练 样 本 的 协 方 差 矩 阵S 的 特 征 值，其中。假设期望模型包含的能量为，则取前 t 个特征值，满足(3.16) 由于与较大特征值对应的特征向量集中了较多的能量， 表达了较重要的形状模式的变化因此取与相对应的特征向量并将其正定化，记，ut)，从而张成了整个样本空间。对ORL 人脸数据库中的第3 个人选 5 幅图像根 据公式 (1.16)进行计算，得到本征值能量比例曲线如图2.2 所示。图 2.2 本征值的能量曲线 其中横轴坐标
7、是本征值的序号， 纵坐标为相应本征值在总能量中所占的比例，可 以看出，总体能量集中在前面较少的维数中，信息能量集中紧凑，因此，选择前 25 个 PCA 系数作为特征向量进行识别。 利用 PCA 方法得到 ORL 人脸库中第三人的重构图像如图1.3 所示。用较大 的 25 个向量完全可以把图像重新构建出来， 这表明用 25 个向量可以表示一幅图 像。图 2.3 PCA 重构图像直接利用本征脸方法在ORL 人脸库上进行识别， 用每人 5 幅图像 (共 40 X 5 = 200 幅)做训练集， 5 幅图像 (共 40 X 5=200 幅)做测试集，采用欧氏距离分类器 进行判别，正确识别129 幅，识别错误 71幅，识别率为 64.5%。用 PCA 方法采 用和本征脸相同的方法正确识别171 幅，错误识别 29 幅，得到 85.5%的正确识 别率。用 PCA 方法提取特征，利用BP 神经元网络作为分类器进行识别，正确 识别 183 幅图像，错误识别 27 幅图像，得到 90. S%的正确识别率。识别结果如 表 1.1 所示。从表 3.1 中的实验数据可以得出结论， 利用 PCA 的方法提取特征用 于人脸识别的识别率明显高于本征脸的方法，虽然它们在理论上有很大的相同之 处。 表 2.1 利用本征脸和标准 PCA 的识别结果
