《第七章特征提取与选择ppt课件》由会员分享，可在线阅读，更多相关《第七章特征提取与选择ppt课件（35页珍藏版）》请在金锄头文库上搜索。
1、第七章第七章 特征提取与特征提取与选择 n n特征构成特征构成n n特征提取特征提取n n特征特征选择目的：目的：7.1 7.1 概概 述述n n直接直接直接直接选择选择法法法法n n分支定界法；分支定界法；分支定界法；分支定界法；n n用回用回用回用回归归建模技建模技建模技建模技术术确定相关特征等方法。确定相关特征等方法。确定相关特征等方法。确定相关特征等方法。n n变换变换法法法法在使判据在使判据在使判据在使判据JmaxJmaxJmaxJmax的目的下，的目的下，的目的下，的目的下，对对n n n n个原始特征个原始特征个原始特征个原始特征进进展展展展变换变换降降降降维维，即，即，即，即对
2、对原原原原n n n n维维特征空特征空特征空特征空间进间进展坐展坐展坐展坐标变换标变换，然后再取子空，然后再取子空，然后再取子空，然后再取子空间间。主要方法有：主要方法有：主要方法有：主要方法有：n n基于可分性判据的特征基于可分性判据的特征基于可分性判据的特征基于可分性判据的特征选择选择n n基于基于基于基于误误判概率的特征判概率的特征判概率的特征判概率的特征选择选择n n离散离散离散离散K-LK-LK-LK-L变换变换法法法法(DKLT)(DKLT)(DKLT)(DKLT)n n基于决策界的特征基于决策界的特征基于决策界的特征基于决策界的特征选择选择等方法。等方法。等方法。等方法。7 .
3、2 类别可分性判据(Class Separability Measures) n准那么准那么类别可分性判据可分性判据:刻划特征刻划特征对分分类的奉的奉献。献。 n构造的可分性判据构造的可分性判据Jij应满足以下要求：足以下要求：n(1)与与误分概率分概率P(e)(或或误分概率的上界、下界分概率的上界、下界)有有单调关系，关系， Jij最大最大值时， P(e)最小。最小。 n(2)当特征相互独立当特征相互独立时，判据有可加性，即，判据有可加性，即式中式中xk，是，是对象不同种象不同种类特特征的丈量征的丈量值， Jij()表示运表示运用括号中特征用括号中特征时第第i类与第与第j类的可分性判据函数。
4、的可分性判据函数。 (3)判据具有判据具有“间间隔的某些特性：隔的某些特性： Jij0，当，当ij 时时 Jij=0，当，当i=j 时时 Jij= Jji(4) Jij 对对特征数目特征数目单调单调不减，即参与新不减，即参与新的特征后，判据的特征后，判据值值不减不减 所构造的可分性判据并不一定要求同所构造的可分性判据并不一定要求同时时具具有上述四个性有上述四个性质质。 7.2.1 基于几何间隔的可分性判据基于几何间隔的可分性判据 可以用可以用间隔或离差隔或离差测度度(散度散度)来构造来构造类别可分性判可分性判据据 (一一)点与点的点与点的间隔隔在在n维特征空特征空间中，点中，点 与与 点之点之
5、间的欧氏的欧氏间隔隔为(二二)点到点集的点到点集的间隔隔点点 到点集到点集 之之间的均方欧氏的均方欧氏间隔隔为 (三三)类内及总体的均值矢量类内及总体的均值矢量 设N个方式分属个方式分属c类,那么各那么各类的均的均值矢量分矢量分别为一切各一切各类方式的方式的总体均体均值矢量矢量为式中式中Pi为相相应类的先的先验概率。概率。当用当用统计量替代先量替代先验概率概率时，有，有 (四四)类内间隔类内间隔 n类内均方欧氏间隔为类内均方欧氏间隔为类内均方间隔也可定义为类内均方间隔也可定义为n(五五)类内离差分布矩阵类内离差分布矩阵(Scatter) 类内离差矩阵定义为类内离差矩阵定义为类内离差矩阵类内离差
6、矩阵SWi的迹等于类内的均方欧氏间隔，即的迹等于类内的均方欧氏间隔，即类内离差矩阵表示各类方式在类的均值矢量周围的分类内离差矩阵表示各类方式在类的均值矢量周围的分布情况。布情况。 (六六)两类之间的间隔两类之间的间隔 当式中的间隔取欧氏间隔时当式中的间隔取欧氏间隔时,有有(七七)各类方式之间的总的均方间隔各类方式之间的总的均方间隔 当取欧氏间隔时当取欧氏间隔时 (八八)多类情况下总的类内、类间及总体离差分布矩阵多类情况下总的类内、类间及总体离差分布矩阵 总的类内离差矩阵定义为总的类内离差矩阵定义为总的类间离差矩阵定义为总的类间离差矩阵定义为总体离差矩阵为总体离差矩阵为 易导出易导出 可分性判据
7、可分性判据 类内紧，类内紧，类间开类间开可以证明可以证明J1、J2与与J4在任何非奇特线性变换下在任何非奇特线性变换下是不变的，是不变的， J3与坐标系有关。与坐标系有关。 7.2.2 基于类的概率密度函数的可分性判据基于类的概率密度函数的可分性判据 用两用两类概密函数的重迭程度来度量可分性，构造基于概密函数的重迭程度来度量可分性，构造基于类概密的可分性判据概密的可分性判据Jp ，它，它应满足：足：(1) Jp 0；(2)当两当两类密度函数完全不重迭密度函数完全不重迭时， Jp =max；(3)当两当两类密度函数完全重合密度函数完全重合时， Jp =0；(4)相相对两个概密具有两个概密具有“对
8、称性。称性。 (a)(b)(一一)Bhattacharyya判据判据(JB) 在最小误分概率准那么下，误分概在最小误分概率准那么下，误分概率率(受相关定义与运用的启发，构造受相关定义与运用的启发，构造B-判据判据)(二二)Chernoff判据判据(JC) 性性质：(1)对一切一切0s1，Jc0；(2)对一切一切0s1 qs-11 的那个节点，那么转入与当前节的那个节点，那么转入与当前节点左邻的点左邻的s s深度的那个节点，使该节点成为当前节点，深度的那个节点，使该节点成为当前节点，按前面的方法沿它最右边的子树继续搜索。按前面的方法沿它最右边的子树继续搜索。在搜索在搜索过程中先要判程中先要判该节
9、点的点的J J值能否比能否比B B值大。假大。假设不大于不大于B B值，该节点以下的各子点以下的各子节点点J J值均不会比均不会比B B大，故无需大，故无需对该子子树继续进展搜索。展搜索。BAB算法算法7.7.2 7.7.2 最优搜索法最优搜索法假设搜索到叶节点，且假设搜索到叶节点，且该叶节点代表的特征的该叶节点代表的特征的可分性判据可分性判据JBJB，那么，那么更新界值，即更新界值，即B=JB=J；否；否那么不更新界值。那么不更新界值。到达叶到达叶节点后，要向上回溯。反复上述点后，要向上回溯。反复上述过程，直到程，直到J JB B为止。而止。而对该当前最大界当前最大界值B B的叶的叶节点点对
10、应的的d d个特征个特征组合就是所求的最合就是所求的最优的的选择。BABBAB算法效率高的缘由：算法效率高的缘由：(1)(1)在构造搜索在构造搜索树时树时，同一父，同一父节节点的各子点的各子树树的右的右边边的的边边要比左要比左边边的少，即的少，即树树的构造右的构造右边边比左比左边简单边简单；(2)(2)在同一在同一级级中按最小的中按最小的J J值值从左到右挑从左到右挑选选舍弃的特征，舍弃的特征，即即节节点的点的J J值值是左小右大，而搜索是左小右大，而搜索过过程是从右至左程是从右至左进进展的；展的；(3)(3)因因J J的的单调单调性，假性，假设树设树上某上某节节点点A A的可分性判据的可分性判据值值 JAJAB B ，那么，那么A A子子树树上各上各节节点的点的J J值值都不会大于都不会大于B B，因此不需求搜索，因此不需求搜索A A子子树树。从上可知，有很多特征从上可知，有很多特征组合不需合不需计算仍能求得全局算仍能求得全局最最优解。解。
