《基于概率密度逼近的特征选择研究》由会员分享，可在线阅读，更多相关《基于概率密度逼近的特征选择研究（56页珍藏版）》请在金锄头文库上搜索。
1、江南大学硕士学位论文基于概率密度逼近的特征选择研究姓名：王晓明申请学位级别：硕士专业：计算机应用技术指导教师：王士同20070301题名：基丁概率密度逼近的特征选择研究硕士研究生姓名：王晓明导师姓名：于十周专业名称：计算机应用技术摘要模式识别的主要任务就是利_ 日! j 样本中的特征，将样本划分为相麻的模式类别。通常情况卜，样本特征中包含了足够的类别信息，才能通过分类器实现正确分类。为了提高模式识别的正确识别率人们通常需要采集数鼙巨大的原始特征，使得原始特征空间或输入空间的维数可能高达儿千维或儿万维。这样，结果不仅使样本特征维数增人，而且其中可能存在较人的相关性和冗余，影响最历的分类精度。这就
2、造成所谓的维数灾难。所以为了有效地进行模式分类雨l 数据分析，特征降维就显得异常重要。本论文的研究目的是为了探索新的特征选择方法，提出一种j j 丁f 特征降维的特征排序，丰富减少特征维数的方法。文中简要介纠了特征降维的准则，同顾了当前的主要特征降维技术。文中也对概率密度估计进行了阐述，重点介纠了非参数法和P a r z e n 窗口概率密度估计。本论文重点是建立了基丁I 概率密度逼近的特征选择准则，阐述了应川该准| l ! I J 进行特征排序的原理手u 方法。针对特征选择这一问题，文中依据对稠密或高维数据集的加权变换，对变换前后的数据采用P a r z e n 窗口概率密度估计方法来分别估
3、计它们的概率密度，并在一定的条件卜让两个概率密度逼近，从而提出了一种新的基于概率密度逼近准则的特征排序方法。文中对丁概率密度的估计，结合了更能体现数据特征的6 a u s s i a n 核函数P a r z e n 窗口概率密度估计方法。论文同时针对无监督的情况，利用更简单的P a r z e n 窗口概率密度估计，提供一种简化了的针对无监督情况的特征排序方法。论文最后采用M A T L A B 来编程实现了文中提出的算法，选取了大量数据来进行实验。大鹫的基于交义验证的实验结果以及其它实验都表明，本文所提出的方法是有效、可行的，并且与现有的一些方法相比，更为有效。它还有着运算速度快等优点。关
4、键字：特征降维；特征选择；特征排序 P a r z e n 窗口概率密度估计；概率密度逼近。江南人学顾l ：学位论立A b s t r a c tT i t l e ：T h eR e s e a r c ho fF e a t u r eS e l e c t i o nB a s e do nP r o b a b i l i t yD e n s i t y A p p r o x i m a t i o nG r a d u a t eS t u d e n t ：W a n gx i a o m i n gG r a d u a t eT e a c h e r ：W a n gs
5、h i t o n gS p e c i a l t y ：C o m p u t e r A p p l i c a t i o na n dT e c h n o l o g yC l a s s i f i c a t i o ni st h ep r i n c i p a lt a s ko fp a t t e r nr e c o g n i t i o nu s i n gt h ef e a t u r e so ft h ep a t t e r n s -G e n e r a l l y , ap a t t e r nc a nb ec o r r e c t l y
6、c l a s s i f i e do n l yw h e nt h eo n e sf e a t u r e sh a v ee n o u 【g l lc l a s s i f i c a t i o ni n f o r m a t i o n i n o r d e rt oi m p r o v et h ea c c u r a c yo fc l a s s i f i c a t i o n ，t h el a r g ef e a t u r e sn e e dt ob ec o l l e c t e d ，, g ot h a tt h eo r i g i n
7、 a lf e a t u r es p a c ei st h o u s a n d so rt e n st h o u s a n d sd i m e u s i o n a l i t i e s T h i sw i l In o to n l yl c a dt h ed i m e n s i o n a l i t yo ft h ep a t t e r nt oe n l a r g e b u ta l s ol o w e rt h ec l a s s i f i c a t i o na c c u r a c yo w i n gt ot h er e l a
8、 t i v i t ya n dr e d u n d a n c yo ft h ef e a t u r e s T h i si st h es o c a l l e dC u r s eo fD i m e n s i o n a l i t y S o ，i no r d e rt oe f f e c t i v e l ya n a l y z eh i g hd i m e n s i o n a l i t yd a t a ，i ti sap i v o t a ls t e pt or e d u c et h e i rd i m e n s i o n a lm
9、e m b e r s T h ep u r p o s eo ft h i sp a p e ri st oe x p l o r ean e wf e a t u r es e l e c t i o nw a ya n dp r o p o s eaf e a t u r er a n k i n gm e t h o dt or e d u c ef e a t u r e sd i m e n s i o n a l i t i e s I nt h i sp a p e r , t h ep r i n c i p l eo fr e d u c i n gf e a t u r
10、e sd i m e n s i o n a l i t i e si sb r i e f l yi n t r o d u c e d a n dt h ep r i n c i p a lw a y so ff e a t u r ed i m e n s i o n a l i t yr e d u c t i o ni sr e v i e w e d P r o b a b i l i t yd e n s i t ye s t i m a t i o ni sa l s oi n I t r o d u c e da n dn o n - p a r a m e t e re s
11、 t i m a t i o na n dP a r z e nw i n d o wp r o b a b i l i t yd e n s i t ye s t i m a t i o ni sd e t a i l e d T h ee m p h a s i so ft h i sp a p e ri st od e d u c et h ef e a t u r es e l e c t i o nt h e o r yb a s e do np r o b a b i l i t yd e n s i t ya p p r o x i m a t i o n ，a n dt oe
12、l a b o r a t et h ep r i n c i p l ea n dw a yo ff e a t u r er a n k i n gu s i n gp r o b a b i l i t yd e n s i t ya p p r o x i m a t i o n I nt h i sp a p e r , t h eG a u s s i a nk e r n e lP a r z e ne s t i m a t i o ni nh i g hd i m e n s i o n a ls p a c ei si n t r o d u c e da n da p p
13、 l i e d I tc a ne m b o d ym o r ee f f e c t i v e l yt h ec h a r a c t e ro fd a t a A i m i n ga tf e a t u r es e l e c t i o n ，b a s e do nP a r z e nw i n d o wp r o b a b i l i t yd e n s i t ye s t i m a t i o na n dp r o b a b i l i t yd e n s i t ya p p r o x i m a t i o n ，an o v e lf
14、e a t u r er a n k i n ga p p r o a c hi sp r o p o s e d As i m p l i f i e da p p r o a c hi si n t r o d u c e dt od e a lw i t hu n s u p e r v i s e dd a t a A tl a s t ，t h ea l g o r i t h mp r o p o s e di nt h i sp a p e ri sr e a l i z e db yM A T L A B ，a n dm a n yd a t a s e t si su s e
15、 dt oe x p e r i m e n t Al o to fc r o s s - v a l i d a t i o na n do t h e r se x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h ev a l i d i t y ,f e a s i b i l i t ya n da d v a n t a g eo v e ro t h e r so f o u ra p p r o a c h K e yw o r d s ：f e a t u r es e l e c t i o n ；f e a
16、t u r er a n k i n g ；p a r z e nw i n d o wp r o b a b i l i t yd e n s i t ye s t i m a t i o n ；p r o b a b i l i t yd e n s i t ya p p r o x i m a t i o n 独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：沙朵|关于论文使用授权的说明岁月，钿|本学位论文作者完全了解江南大学有关保留、使用学位论文的规定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文
