模式识别 – 成分分析与核函数第八章 成分分析与核函数模式识别 – 成分分析与核函数 8.0 问题的提出n降低特征维数: Dimension Reductionq提高泛化能力：减少模型的参数数量；q减少计算量：n主要方法：q主成分分析(PCA): Principle Component Analysisq判别分析(FDA)：Fisher Discriminant Analysisq独立成分分析(ICA): Independent Component Analysisq…模式识别 – 成分分析与核函数 人脸识别举例模式识别 – 成分分析与核函数 8.1 主成分分析 （PCA，Principal Component Analysis）nPCA：是一种最常用的线性成分分析方法；nPCA的主要思想：寻找到数据的主轴方向，由 主轴构成一个新的坐标系（维数可以比原维数 低），然后数据由原坐标系向新的坐标系投影 nPCA的其它名称：离散K-L变换，Hotelling变 换；模式识别 – 成分分析与核函数 PCA的思想v1v2e1e2模式识别 – 成分分析与核函数 PCA的思想v1v2e1e2模式识别 – 成分分析与核函数 PCA算法n利用训练样本集合计算样本的均值m和协方差矩 阵S；n计算S的特征值，并由大到小排序；n选择前d’个特征值对应的特征矢量作成一个变 换矩阵E=[e1, e2, …, ed’]；n训练和识别时，每一个输入的d维特征矢量x可 以转换为d’维的新特征矢量y： y = Et(x-m)。
模式识别 – 成分分析与核函数 PCA的讨论n正交性：由于S是实对称阵 ，因此特征矢量是正交的；n不相关性：将数据向新的坐 标轴投影之后，特征之间是 不相关的；n特征值：描述了变换后各维 特征的重要性，特征值为0 的各维特征为冗余特征，可 以去掉模式识别 – 成分分析与核函数 例8.1 n有两类问题的训练样本：将特征由2维压缩为1维模式识别 – 成分分析与核函数x1x2e1e2模式识别 – 成分分析与核函数 特征人脸e1 e2 e3 e4 e5 e6 e7 e8模式识别 – 成分分析与核函数 PCA重构原图像 d’=1 5 10 20 50 100 200模式识别 – 成分分析与核函数 8.2 多重判别分析 （MDA, Multiple Discriminant Analysis）x1x2e1e2模式识别 – 成分分析与核函数 MDA与PCAnPCA将所有的样本作为一个整体对待，寻找一个均方误差 最小意义下的最优线性映射，而没有考虑样本的类别属性， 它所忽略的投影方向有可能恰恰包含了重要的可分性信息；nMDA则是在可分性最大意义下的最优线性映射，充分保留 了样本的类别可分性信息；nMDA还被称为：FDA( Fisher Discriminant Analysis )或 LDA( Linear Discriminant Analysis )。
模式识别 – 成分分析与核函数 Fisher 线性判别准则n样本x在w方向上的投影 ：n类内散布矩阵：n类间散布矩阵：nFisher线性判别准则：w模式识别 – 成分分析与核函数 FDA算法n利用训练样本集合计算类内散度矩阵Sw和类间 散度矩阵SB；n计算Sw-1SB的特征值；n选择非0的c-1个特征值对应的特征矢量作成一 个变换矩阵W=[w1, w2, …, wc-1]；n训练和识别时，每一个输入的d维特征矢量x可 以转换为c-1维的新特征矢量y： y = Wtx模式识别 – 成分分析与核函数 3类问题FDA模式识别 – 成分分析与核函数 FDA的讨论n非正交：经FDA变换后，新的坐标系不是一个正交 坐标系；n特征维数：新的坐标维数最多为c-1，c为类别数；n解的存在性：只有当样本数足够多时，才能够保证 类内散度矩阵Sw为非奇异矩阵（存在逆阵），而样 本数少时Sw可能是奇异矩阵模式识别 – 成分分析与核函数 8.3 成分分析的其它问题n独立成分分析( ICA, Independent Component Analysis )：PCA去除掉的是特征之间的相关性， 但不相关不等于相互独立，独立是更强的要求。
ICA试图使特征之间相互独立n多维尺度变换(MDS, Multidimensional Scaling)n典型相关分析(CCA, Canonical Correlation Analysis)n偏最小二乘(PLS, Partial Least Square)模式识别 – 成分分析与核函数 线性PCA的神经网络实现模式识别 – 成分分析与核函数 8.4 核函数及其应用模式识别 – 成分分析与核函数 空间的非线性映射n建立一个R2R3的非线性映射n计算R3中2个矢量的内积：n定义核函数： ，则：输入空间特征空间模式识别 – 成分分析与核函数 核函数n启示：特征空间中两个矢量之间的内积可以通过 定义输入空间中的核函数直接计算得到n实现方法：不必定义非线性映射Φ而直接在输入 空间中定义核函数K来完成非线性映射n应用条件：q定义的核函数K能够对应于特征空间中的内积；q识别方法中不需要计算特征空间中的矢量本身，而只 须计算特征空间中两个矢量的内积模式识别 – 成分分析与核函数 Hibert-Schmidt理论n作为核函数应满足如下条件：是 下的对称函数，对任意 ，且有：成立，则 可以作为核函数。
n此条件也称为Mercer条件模式识别 – 成分分析与核函数 常用的核函数nGaussian RBF：nPolynomial：nSigmoidal：nInv. Multiquardric：模式识别 – 成分分析与核函数 核函数应用于线性分类器 （SVM的非线性版本）nSVM的求解，最后归结为如下目标函数的优化：n可以引入非线性映射Φ，则目标函数变为：n而权矢量为：n判别函数：模式识别 – 成分分析与核函数 支持矢量机的实现模式识别 – 成分分析与核函数 核函数应用于PCA（KPCA）训练样本集合 n定义核函数 ；n计算 维矩阵K，其元素：n然后计算矩阵K的特征值 和特征向量 ，保留 其中的非0的特征值；n特征空间中的第i个主轴基向量为：n输入特征矢量x在特征空间中第i个轴上的投影：模式识别 – 成分分析与核函数 非线性PCA的神经网络实现。