《线性判别分析与主成分分析及其相关研究评述》由会员分享，可在线阅读，更多相关《线性判别分析与主成分分析及其相关研究评述（12页珍藏版）》请在金锄头文库上搜索。
1、 中山大学研究生学刊 自然科学 医学版 第28卷第4期 JOURNAL OF THE GRADUATES VOL128 4 2007 SUN YAT2SEN UN I VERSITY NATURAL SCIENCES MED I CI NE 2007 线性判别分析与主成分分析及其 相关研究评述 3 王晓慧 中山大学数学与计算科学学院 07硕 广州 510275 摘 要 线性判别分析 LDA 和主成分分析 PCA 都在各个领域有着重 要的作用 他们各自抓住样本在特征空间的不同特征 一般情况下更趋向于使 用LDA 因为LDA直接处理类间的分析问题 而PCA则没有突出类的结构 然而实验证明PCA在某
2、些问题上又明显优于LDA 于是 改进或结合使用 LDA与PCA成了非常必要的课题 现阶段在这个领域上已经有许多优秀的研 究成果 本文简单的介绍了其中几种效果较好的相关分析方法 其中又以混合 判别分析 HDA 最优 HDA不仅同时抓住了样本的判别信息和描述信息 使PCA与LDA在各种情况下达到平衡 而且在二维参数空间中提供了一系列 的分析方法 更有利于解决小样本问题和高维问题 Boosted HDA的提出通过 用迭代的方法改进弱分类器 避免了HDA复杂的参数搜索 并得到一种统一 计算HDA的方法 文章将在第三部分引用一些已有的实验结果来验证HDA的 优越性 关键词 线性判别分析 主成分分析 小样
3、本问题 高维问题 混合判别分 析 混合判别分析改进 1 线性判别分析与主成分分析 111 线性判别分析 线性判别分析 LinearDiscriminantAnalysis 简称LDA 是用于判断样品所属类型 的一种统计分析方法 它在医学诊断 气象学 考古学 经济学 市场预测 环境科 学 地质勘探 体育运动和农林虫害预报等领域中都起着重要的作用 它的基本思想是 投影 首先通过找出特征向量w 将k组m元数据投影到另一个更低维的方向 使得投 影后组与组之间尽可能地分开 而同一组内的关系更加密切 然后在新空间中对样本进 行分类 3收稿日期 2007 11 15 线性判别分析与主成分分析及其相关研究评述
4、 如果假设所有的样本只来自两个不同的类 记为p positive 类和n negative 类 那么求最优特征向量w的问题可以表述为以下这个求最大值点的数学问题 wopt argmax w w T SBw w T Sww 1 其中 SB m x my m x my T 是类间离差阵 Sw Nx i 1 x i mx x i mx T Ny i 1 y i my y i my T 是类内离差阵 xi i 1 Nx 表示p类 yi i 1 Ny 表示n类 mx和my分别表示p类和n类的均值 以上讨论只有两类的LDA 也称FDA FisherDiscriminantAnalysis 下面讨论多于 两
5、类的LDA MDA Multi classDiscriminantAnalysis 112 主成分分析 主成分分析 Principal ComponentAnalysis 简称PCA 是将多指标化为少数几个综 合指标的一种统计分析方法 在实际问题中 观测到的数据在一定程度上反映的信息会 有所重叠 在高维空间中研究的样本分布规律也比较复杂 PCA的思想是用较少的综合 变量来代替原来较多的变量 同时要求这几个综合变量能够尽可能多地反映原来变量的 信息 并且彼此之间互不相关 进而再对新的变量进行统计分析 类似地 PCA也可以表述为以下求最大值点的数学问题 wopt argmax w w T S w
6、w T Iw w T S w 2 其中 S x mG x mG T mG是总样本均值 I是单位矩阵 113 线性判别分析与主成分分析 LDA和PCA都是通过找出特征向量w来降低维数的 在解决问题的过程中 LDA 抓住了样本的判别特征 而PCA抓住了样本的描述特征 在许多应用中都会发现LDA比PCA好 例如 当每个类中的样本都服从高斯分布 并具有相同的协方差阵时 LDA优于PCA 这是因为前者直接处理类间的判别问题 而 后者没有突出类的结构 但实验证明 在某些情况下PCA是优于LDA的 1 例如 两 个样本服从两个不同的高斯分布 这时PCA只用一个主成分分析所得的结果就比LDA 要好了 另外 由
7、于 1 式中对离差阵的估计是基于样本的 所以在处理小样本问题时 LDA就会出现严重的偏差 如果特征空间的维数比训练样本的个数大很多 那么原问题 就会变成病态问题 我们可以看到 LDA和PCA各有长处 也各有缺点 它们抓住不同的统计特征 15 研究生学刊 自然科学 医学版 二 七年第四期 适用于不同的具体情况 所以结合LDA与PCA 或者对它们进行改进是非常必要的 2 各种相关研究 现阶段已经有许多改进LDA和PCA 以及结合二者使用的相关分析方法 在这里 介绍几种效果较好的研究结果 文章的第三部分将引用文献上的一些实验来证明HDA 这种方法的效果是最好的 因为在分类方法的应用中 小样本问题和高
8、维问题尤为重要 而且是两个主要的难 点 所以判别方法的改进很多是针对这两方面进行的 下面的评述中很容易看到这点 211 特征脸 EigenFace 特征脸方法 EigenFace 是一种基于变换系数特征的算法 主要用于人脸识别 它根据一组人脸训练图像构造主元子空间 由于主元具有脸的形状 故也称特征脸 应 用时将测试图像投影到主元子空间上 得到一组投影系数 和各个已知的人脸图像比较 进行识别 3 下面是特征脸的计算方式 设一幅脸部图像I x y 是一N1 N2矩阵 也可以看成是一N1 N2维向量 设人脸训练集为 1 2 M 定义平均脸为 1 M M n 1 n 定义每个人脸与平均脸的差值向量为
9、i i 相应的协方差矩阵为 C 1 M M i 1 i T i AA T 3 这里 矩阵 A 1 M 1 2 M 可以看出矩阵C是 N 1 N2 N 1 N2 维的 故特征向量的维数为N1 N2 而且特征值的计算量相当大 因此需要一个恰当的方法来求解这些特征向量 如果在图像空间中点的数量比图像空间的维数小 即M N1 N2 考虑M M矩阵 A TA的特征向量 Vi 即 A TAV i iVi 4 其中 i为特征向量Vi的特征值 对 4 式的两边乘A 有 AA TAV i iAVi 5 从 5 式可以看出AVi是C AA T 的特征向量 这样就可以使计算量大大降低 因为一幅图像的象素点数N1 N
10、2与训练集的图像 个数M相比较 一般情况训练集图像个数M是远远小于N1 N2的 特征脸方法是一种简单 快速 实用的方法 但是 由于它本质上依赖于训练集和 25 线性判别分析与主成分分析及其相关研究评述 测试集图像的灰度相关性 而且要求测试图像与训练集比较像 所以它有着很大的局限 性 212 费希尔脸 FisherFace 费希尔脸方法 Fisherface 实质上是利用PCA对LDA的一种改良 4 在实际应用 中 Sw常常是奇异的 因此不能直接应用LDA进行分类 FisherFace方法就能够解决这 个问题 它的基本思想是先将人脸图像投影到一个维数较低的空间 这时得到的低维向 量的类内离差阵S
11、w就是非奇异的了 降维的工作由PCA来完成 降维后再对PCA处理 的结果使用标准的LDA 213 N PCA LDA RobustLDA by Sub Sampling 简称N PCA LDA 是一个结合PCA子空间的 LDA模型 5 它主要应用于图像的判别分类 这里要介绍的N PCA LDA与Fisher2 Face十分相似 都可用于处理Sw奇异的的情况 他们不同的地方在于FisherFace利用 PCA降维后 假设降到k维 直接在PCA的k m 维特征子空间上使用LDA 也 就是说FisherFace只考虑特征值最大的k个主成分 其余的主成分不作讨论 这k个主 成分只能描述出样本的主要特征
12、 并非全部特征 而N PCA LDA在把PCA的子空间 应用到LDA时 通过建立向量z 用一个k维的PCA特征向量子空间表达整个训练样 本 这个向量z正是由剩下的未被考虑的PCA特征向量和LDA的子向量空间建立而成 的 称这种方法为改进PCA法 由此可见 N PCA LDA讨论了样本空间的全部特 征 214 主判别分析 PDA 主判别分析 Principle DiscriminantAnalysis 简称PDA 的基本思想是通过参数调 整把LDA和PCA的准则结合起来 6 PDA不仅解决 LDA在小样本问题中的溢出 同时 还通过加入一个参数取得了判别信息与描述信息的平衡 提高了PCA和LDA的
13、判别能 力 PDA是以混合矩阵H的特征值分解为基础的 矩阵H的定义为 H 1 S 1 w SB S 6 这里 Sw是类内离差阵 SB是类间离差阵 S 是总协方差阵 0 1 是由实际情况确定的标准化参数 当 0时PDA相当于 LDA 而当 1时 PDA又相当于PCA 当的值在0到1 之间逐渐增加时 合并的协方差信息就逐渐调整LDA 另外 PDA还能够令在LDA限 制下的非零特征值增加 提高有效维数 215 判别期望最大化 DEM 判别期望最大化 Discri minant Expectation Maxi mization 简称DEM 是一种以期 望最大化 EM 法则为框架 与MDA结合而成的判
14、别方法 8 MDA需要足够多的已 标记数据对统计信息做出估计 当已标记数据不足够时 MDA就不能得出较好的结果 把EM法则应用到MDA中恰好可以弥补这一点 DEM的基本原则是用一些简单的未标记样本扩充已标记数据集 使MDA可以在扩 充的已标记数据集中继续使用 35 研究生学刊 自然科学 医学版 二 七年第四期 DEM是一种优良的分类方法 它能够同时使用已标记样本和未标记样本 解决了 实际应用中已标记样本集太小的问题 然而 DEM只能解决线性问题 MDA的非线性 问题仍不能结决 216 核判别期望最大化 KDEM 核判别期望最大化 KernelDiscriminant EM 简称KDEM 是DE
15、M基于K MDA的 推广 K MDA是能够解决非线性问题的MDA改进方法 一般的DEM只能处理线性问 题 对非线性问题却束手无策 如果把DEM与K MDA结合使用 那么已标记样本很小 的非线性问题也能够迎刃而解了 在KDEM中 并不是对数据作简单的线性变换 而是 由K MDA通过非线性变换把数据投影到特征空间 使数据更好的线性分离 DEM只限 于解线性问题 而KDEM可以解决非线性问题 10 217 有偏判别分析 BDA 有偏判别分析 Biased Discri minant Analysis 简称BDA 是LDA的有偏形式 10 LDA在求最优解w时对各个类都是平等的 而BDA更偏向于对p
16、positive 类的判别 分析 在BDA中 类间离差阵SB和类内离差阵Sw分别被SN P和SP代替 其中 SN P Ny i 1 y i mx y i mx T SP Nx i 1 x i mx x i mx T 而BDA的目的是求 wopt arg max w w T SN Pw w T SPw 7 这里 记 x i 1 Nx 为p类 y i 1 Ny 为n类 mx是 xi 的均值 SN P是p类与n类之间的离差阵 SP是p类的类内离差阵 当n negative 类比较小时 BDA的效果比其他判别方法要好 但BDA只能处理 线性问题 非线性问题还需要通过核方法推广 218 核有偏判别分析 KBDA 核有偏判别分析 KernelBiased DiscriminantAnalysis 简称KBDA 是BDA的核形 式 能够处理非线性数据 11 从无核的 BDA到有核的KBDA 这个过程与从DEM到 KDEM的过程很相似 这里也不一一介绍了 219 混合判别分析 HDA是在分析LDA与PCA的基础上产生的 它是LDA与PCA的统一 在第3部 分的实验中可以看到 HDA较其他判别分析方法都
