《模式识别-第8章 成分分析与核函数》由会员分享，可在线阅读，更多相关《模式识别-第8章 成分分析与核函数（32页珍藏版）》请在金锄头文库上搜索。
1、模式识别 成分分析与核函数第八章 成分分析与核函数模式识别 成分分析与核函数 8.0 问题的提出n降低特征维数: Dimension Reductionq 提高泛化能力：减少模型的参数数量； q 减少计算量：n主要方法： 1. 主成分分析(PCA): Principle Component Analysis 2. 判别分析(FDA)：Fisher Discriminant Analysis 3. 独立成分分析(ICA): Independent Component Analysis 4. 模式识别 成分分析与核函数 人脸识别举例模式识别 成分分析与核函数 8.1 主成分分析 （PCA，Prin
2、cipal Component Analysis）nPCA：是一种最常用的线性成分分析方法；nPCA的主要思想：寻找到数据的主轴方向，由主 轴构成一个新的坐标系（维数可以比原维数低） ，然后数据由原坐标系向新的坐标系投影。nPCA的其它名称：离散K-L变换，Hotelling变换 ；模式识别 成分分析与核函数 PCA的思想v1v2e1e2模式识别 成分分析与核函数 PCA的思想v1v2e1e2模式识别 成分分析与核函数 坐标变换PCA优化问题：模式识别 成分分析与核函数 PCA算法1. 利用训练样本集合计算样本的均值和协方 差矩阵； 2. 计算的特征值，并由大到小排序； 3. 选择前d个特征值
3、对应的特征矢量作成一个变 换矩阵E=e1, e2, , ed； 4. 训练和识别时，每一个输入的d维特征矢量x 可以转换为d维的新特征矢量y： y = Et(x-)。模式识别 成分分析与核函数 PCA的讨论n 正交性：由于是实对称阵， 因此特征矢量是正交的；n 不相关性：将数据向新的坐标 轴投影之后，特征之间是不相 关的；n 特征值：描述了变换后各维特 征的重要性，特征值为0的各 维特征为冗余特征，可以去 掉。模式识别 成分分析与核函数 例8.1 n 有两类问题的训练样本：将特征由2维压缩为1维。模式识别 成分分析与核函数x1x2e1e2模式识别 成分分析与核函数 特征人脸e1 e2 e3 e
4、4 e5 e6 e7 e8模式识别 成分分析与核函数 PCA重构原图像 d=1 5 10 20 50 100 200模式识别 成分分析与核函数 8.2 基于Fisher准则的线性判别分析 （FDA, Fisher Discriminant Analysis）x1x2e1e2模式识别 成分分析与核函数 FDA与PCAn PCA将所有的样本作为一个整体对待，寻找一个平方误差最 小意义下的最优线性映射，而没有考虑样本的类别属性，它 所忽略的投影方向有可能恰恰包含了重要的可分性信息；n FDA则是在可分性最大意义下的最优线性映射，充分保留了 样本的类别可分性信息；n FDA还被称为：LDA( Line
5、ar Discriminant Analysis )。模式识别 成分分析与核函数 Fisher 线性判别准则n 样本x在w方向上的投影：n 类内散布矩阵：n 类间散布矩阵：n Fisher线性判别准则：w模式识别 成分分析与核函数 FDA算法1. 利用训练样本集合计算类内散度矩阵Sw和类 间散度矩阵SB； 2. 计算Sw-1SB的特征值； 3. 选择非0的c-1个特征值对应的特征矢量作成一 个变换矩阵W=w1, w2, , wc-1； 4. 训练和识别时，每一个输入的d维特征矢量x 可以转换为c-1维的新特征矢量y： y = Wtx。模式识别 成分分析与核函数 3类问题FDA模式识别 成分分析
6、与核函数 FDA的讨论n 非正交：经FDA变换后，新的坐标系不是一个正交 坐标系；n 特征维数：新的坐标维数最多为c-1，c为类别数；n 解的存在性：只有当样本数足够多时，才能够保证类 内散度矩阵Sw为非奇异矩阵（存在逆阵），而样本 数少时Sw可能是奇异矩阵。模式识别 成分分析与核函数 8.3 成分分析的其它问题n独立成分分析( ICA, Independent Component Analysis )：PCA去除掉的是特征之间的相关性，但 不相关不等于相互独立，独立是更强的要求。ICA试 图使特征之间相互独立。n 多维尺度变换(MDS, Multidimensional Scaling) n
7、 典型相关分析(CCA, Canonical Correlation Analysis) n偏最小二乘(PLS, Partial Least Square)模式识别 成分分析与核函数 线性PCA的神经网络实现模式识别 成分分析与核函数 8.4 核函数及其应用模式识别 成分分析与核函数 空间的非线性映射n 建立一个R2R3的非线性映射模式识别 成分分析与核函数 特征空间中的内积n计算特征空间中2个矢量的内积：n定义核函数： ，则：模式识别 成分分析与核函数 核函数n启示：特征空间中两个矢量之间的内积可以通过 定义输入空间中的核函数直接计算得到。n实现方法：不必定义非线性映射而直接在输入 空间中定
8、义核函数K来完成非线性映射。n应用条件： 1. 定义的核函数K能够对应于特征空间中的内积； 2. 识别方法中不需要计算特征空间中的矢量本身，而只 须计算特征空间中两个矢量的内积。模式识别 成分分析与核函数 Hibert-Schmidt理论n 作为核函数应满足如下条件：是 下的对称函数，对任意 ，且有：成立，则 可以作为核函数。n 此条件也称为Mercer条件。模式识别 成分分析与核函数 常用的核函数n Gaussian RBF：n Polynomial：n Sigmoidal：n Inv. Multiquardric：模式识别 成分分析与核函数 核函数应用于线性分类器 （SVM的非线性版本）
9、n SVM的求解，最后归结为如下目标函数的优化：n 可以引入非线性映射，则目标函数变为：n 而权矢量为：n 判别函数：模式识别 成分分析与核函数 支持矢量机的实现模式识别 成分分析与核函数 Matlab实现n Bioinformatics Toolbox中包含了LibSVM的实现 函数； n 学习函数：SVMSTruct = svmtrain( X,L, KERNELFUNCTION, rbf, BOXCONSTRAIN, C, RBFSigmaValue, sigma）； X: n*d矩阵，L：n*1矢量n 识别函数：Labels = svmclassify( X, SVMSTruct );模式识别 成分分析与核函数 核函数应用于PCA（KPCA）训练样本集合 。 n定义核函数 ； n计算 维矩阵K，其元素：n然后计算矩阵K的特征值 和特征向量 ，保留 其中的非0的特征值； n特征空间中的第i个主轴基向量为：n输入特征矢量x在特征空间中第i个轴上的投影：模式识别 成分分析与核函数 非线性PCA的神经网络实现
