《自适应的鲁棒核主分量分析算法》由会员分享，可在线阅读，更多相关《自适应的鲁棒核主分量分析算法（50页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学 硕士学位论文 自适应的鲁棒核主分量分析算法 姓名：张国伟 申请学位级别：硕士 专业：计算数学 指导教师：李红 20070522 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位 论 文 I 摘 要 摘 要 在模式识别领域，特征选择和特征提取作为设计模式识别系统的重要一环，对 原始数据进行变换，以得到最能反映分类本质的特征。 主分量分析算法作为进行数据压缩和特征提取的一种基本方法，被广泛应用在 统计数据分析、通信理论、模式识别和图像处理等方面。核主分量分析作为对主分 量分析的改进，更易于提取样本集的非线性特征。然而，当样本集中含有劣点时， 即使
2、是劣点所占比例极小， 也会对所提取的主分量有较大的影响。 在模式识别领域， 不准确的主分量会影响最终分类结果。因此，对核主分量分析的鲁棒性的讨论是很 有必要的。本文主要在以下三个方面提出了一些新的方法和尝试。 首先，注意到主分量分析只考虑了样本的二阶统计特性，而独立分量分析所提 取的分量是统计独立的， 它考虑了样本的高阶统计特性。 针对红外运动图像的特点， 将包含复杂背景和运动小目标的图像序列视作混合信号，目标视为混合信号中的一 个独立分量，设计了一种基于快速独立分量分析法的目标检测算法，该方法具有简 单，快速，适应性强等特点。 其次，讨论了特征空间中的原始样本与重建样本之间的平方误差，证明了
3、平方 误差最小也是核主分量分析的一种等价定义。 在此基础上，从特征空间的平方误差函数出发，利用随机梯度下降方法，推导 出迭代形式的核主分量分析算法。同时，本文对此平方误差函数增加惩罚因子，使 得迭代式会根据重建误差自适应地调整学习参数，从而得到自适应的鲁棒核主分量 分析算法。理论分析和实验结果表明，此算法能有效地减小劣点对所提取的主分量 的影响。 关键词：关键词：特征提取，主分量分析，独立分量分析，核方法，核主分量分析，重建误 差，损失函数，自适应 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位 论 文 II Abstract In pattern re
4、cognition fields, as a key process in pattern recognition system, character selection and extraction transform the origin data in order to find its essential character for pattern recognition. Principal Component Analysis (PCA), as a rudimental method of character selection and extraction, is widely
5、 used in statistic data analysis, communication theory, pattern recognition and image processing. Kernel PCA, which is an improved method from PCA, is easier to extract nonlinear character from sample set. However, outliers in the sample set will take much effect on the extracted principal component
6、, even though the proportion of them is small. In pattern recognition fields, inaccurate principal component will affect final recognition outcome. So, it is need to discuss the robust of Kernel PCA. At first, because only the sample sets second order statistic character is considered by PCA, Indepe
7、ndent Component Analysis (ICA) can process high order statistic character of sample set. In view of characteristic of small moving targets in infrared image, the sequence images with complicated background and moving small targets are regarded as mixed-signals.Then the Fast Independent Component Ana
8、lysis (Fast ICA) method is proposed and applied to separate the independent components from the mixed-signals. Experimental results show that FastICA method is of quickness, robustness and strong applicability. Secondly, error between origin samples and reconstruction samples in feature space is dis
9、cussed, and then minimization of the square representation error is proved as another equivalent definition of kernel PCA. Based on above discussion, gradient descent method is used to find the minimum of square error function and iterative forms Kernel PCA algorithm is developed. We can also change
10、 square error function and analysis each steps reconstruction error, then the algorithm can change the learning parameter adaptively according to reconstruction error. Thus robust Kernel PCA algorithm is developed.Experiment results approve that this algorithm can reduce the effect of outliers on pr
11、incipal component effectively. Key Words: Character Extraction, PCA, ICA, Kernel PCA, Kernel Method, Reconstruction Error, Loss Function, Adaptive 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。 尽我所知, 除文中已经标明引用的内容外, 本论文不包含任何其他个人或集 体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体, 均已在文 中以明确方式标明。本人完全意识到本声明的法律结果由本人承
12、担。 学位论文作者签名： 日 期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定, 即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版, 允许论文被查阅和借阅. 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索, 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保 密 , 在_年解密后适用本授权书。 不保密 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日 期： 年 月 日 日 期： 年 月 日 华 中 科 技 大 学 硕 士 学 位 论 文 华
13、 中 科 技 大 学 硕 士 学 位 论 文 1 1 绪绪 论论 1.1 特征提取综述特征提取综述 模式识别最早诞生于20世纪20年代。随着计算机的普及和互联网的推广，模式 识别已经扩展到越来越多的应用领域，如:文本识别、语音识别、图像检索、数据挖 掘、生物认证、生物信息学、遥感、军事等等。模式识别有四种基本方法:模板匹配、 统计分类、句法匹配和神经网络等1。统计分类方法是其中最流行的方法，基于统计 分类的模式识别系统2构成如下： 图 1.1 模式识别系统的基本构成 特征选择和提取是模式识别中的一个关键问题，它强烈地影响到分类器的设计 及其性能。假若对不同的类别，进行特征选择和提取后的特征的差
14、别很大，则比较 容易设计出具有较好性能的分类器。然而在很多实际问题中，往往不容易找到那些 最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；在测量时，由 于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上 的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数 等组合计算特征。如果将数目很多的测量值不做分析，全部直接用作分类特征，不 但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。例如,一个文字图像 可以有几千个数据，一个心电图波形也可能有几千个数据，一个卫星遥感图像的数 据量就更大。为了有效地实现分类识别，就要对原始数据进行变换，得
15、到最能反映 分类本质的特征。这就是特征提取和选择的过程。特征提取 (extraction)，即用映 射（或变换）的方法把原始特征变换为较少的新特征；特征选择(selection)，即从 原始特征中挑选出一些最有代表性，分类性能最好的特征。其目的都是为了在尽可 能保留识别信息的前提下，降低特征空间的维数，以达到有效的分类。 特征提取和选择 预处理 分类决策 分类器设计 数据获取 训练过程 华 中 科 技 大 学 硕 士 学 位 论 文 华 中 科 技 大 学 硕 士 学 位 论 文 2 目前已经有很多特征提取的方法，线性方法中主要有主成份分析(Principal Component Analys
16、is，PCA)3和独立成份分析(Independent Component Analysis， ICA)4。 主成份分析也被称为Karhunen-Loeve(K-L)变换。 PCA的主要思想是找到一个 投影映射P,使得样本从n维空间降到m维子空间，同时保留尽可能多的方差(能量)。 图1.2 PCA得到的一维子空间 假设, 21n xxxX=是训练样本， = = n k k x 1 n 1 是样本均值。 这个投影映射可以 通过训练样本矩阵的协方差矩阵的特征值分解获得： = = n 1ji, )( n 1 cov(X)C t uji xux (1.1) nivCv iii , 1= (1.2) 此处 i 是协方差矩阵C的特征值， i v是对应的特征向量，也称为主轴(principal axes)。 把特征值按从大到小的顺序排列 n 21 ，取最大的前m个特征值所对应的 特征向量组成投影映射, 21m
