《模式识别理论及应用》由会员分享，可在线阅读，更多相关《模式识别理论及应用（31页珍藏版）》请在金锄头文库上搜索。
1、武汉大学电子信息学院第六章 模式特征的选择与提取 模式识别理论及应用 Pattern Recognition - Methods and Application内容目录第六章 模式特征的选择与提取 6.1 引言32456.2 类别可分离性判据6.3 特征提取与K-L变换6.4 特征的选择6.5 讨论1模式识别与神经网络6.1 引言u特征的选择与提取是模式识别中重要而困难的 一个环节： 分析各种特征的有效性并选出最有代表性的特征是模 式识别的关键一步 降低特征维数在很多情况下是有效设计分类器的重要 课题u三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但有时难于 定量描述，
2、因而不易用于机器判别 数学特征：易于用机器定量描述和判别，如基于统计 的特征3第六章 模式特征的选择与提取 特征的形成u特征形成 (acquisition)： 信号获取或测量原始测量 原始特征u实例： 数字图象中的各像素灰度值 人体的各种生理指标u原始特征分析： 原始测量不能反映对象本质 高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏引言引言4第六章 模式特征的选择与提取 特征的选择与提取u两类提取有效信息、压缩特征空间的方法 ：特征提取和特征选择u特征提取 (extraction)：用映射（或变换） 的方法把原始特征变换为较少的新特征u特征选择(selection) ：从原
3、始特征中挑选 出一些最有代表性，分类性能最好的特征u特征的选择与提取与具体问题有很大关系 ，目前没有理论能给出对任何问题都有效 的特征选择与提取方法引言引言5第六章 模式特征的选择与提取 特征的选择与提取举例u细胞自动识别： 原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性 质的特征）：细胞面积，胞核面积，形状系数 ，光密度，核内纹理，和浆比 压缩特征：原始特征的维数仍很高，需压缩以 便于分类特征选择：挑选最有分类信息的特征特征提取：数学变换 傅立叶变换或小波变换 用PCA方法作特征压缩引言引言6第六章 模式特征的选择与提取 6.2 类别可分离性判据u类别可分离
4、性判据：衡量不同特征及其组合对分 类是否有效的定量准则u理想准则：某组特征使分类器错误概率最小u实际的类别可分离性判据应满足的条件： 度量特性： 与错误率有单调关系 当特征独立时有可加性： 单调性：u常见类别可分离性判据：基于距离、概率分布、 熵函数7第六章 模式特征的选择与提取 基于距离的可分性判据u类间可分性:=所有样本间的平均距离：可分性可分性 判据判据(8- 1)squared Euclidian(8- 5)类内平 均距离类间 距离(8- 6) 8第六章 模式特征的选择与提取 基于距离的可分性判据矩阵形式可分性可分性 判据判据基于距离的准则概念直观，计算方 便，但与错误率没有直接联系样
5、本类间样本类间 离散度矩阵离散度矩阵样本类内样本类内 离散度矩阵离散度矩阵类间可分离类间可分离 性判据性判据9第六章 模式特征的选择与提取 基于概率的可分性判据u基于概率的可分性判据：用概率密度函数 间的距离来度量可分性可分性 判据判据u散度 ：10第六章 模式特征的选择与提取 正态分布的散度可分性可分性 判据判据Mahalanobis11第六章 模式特征的选择与提取 基于熵函数的可分性判据u熵函数 ：可分性可分性 判据判据uShannon熵 ：u平方熵：u熵函数期望表征类别的分离程度：12第六章 模式特征的选择与提取 类别可分离性判据应用举例u图像分割：Otsu灰度图像阈值算法 (Otsu
6、thresholding)u图像有L阶灰度，ni是灰度为i的像素数， 图像总像素数 N= n1+n2+ + nL 灰度为i的像素概率：pi = ni/N 类间方差：可分性可分性 判据判据13第六章 模式特征的选择与提取 Otsu thresholdingu灰度图像阈值 :可分性可分性 判据判据uOtsu灰度图像二值化算法演示及程序分 析:14第六章 模式特征的选择与提取 6.3 特征提取与K-L变换u特征提取：用映射（或变换）的方法把原 始特征变换为较少的新特征uPCA (Principle Component Analysis)方法： 进行特征降维变换，不能完全地表示原有 的对象，能量总会有
7、损失。希望找到一种 能量最为集中的的变换方法使损失最小uK-L (Karhunen-Loeve)变换：最优正交 线性变换，相应的特征提取方法被称为 PCA方法15第六章 模式特征的选择与提取 K-L变换u离散K-L变换：对向量x用确定的完备正交归一向 量系uj展开特征特征 提取提取16第六章 模式特征的选择与提取 离散K-L变换的均方误差u用有限项估计x ：特征特征 提取提取u该估计的均方误差 ：17第六章 模式特征的选择与提取 求解最小均方误差正交基u用Lagrange乘子法：特征特征 提取提取u结论：以相关矩阵R的d个本征向量为 基向量来展开x时，其均方误差为：uK-L变换：当取矩阵R的d
8、个最大本征值对应的本 征向量来展开x时，其截断均方误差最小。这d个 本征向量组成的正交坐标系称作x所在的D维空 间的d维K-L变换坐标系， x在K-L坐标系上的展 开系数向量y称作x的K-L变换18第六章 模式特征的选择与提取 K-L变换的表示uK-L变换的向量展开表示：特征特征 提取提取uK-L变换的矩阵表示：19第六章 模式特征的选择与提取 K-L变换的性质uy的相关矩阵是对角矩阵：特征特征 提取提取20第六章 模式特征的选择与提取 K-L变换的性质特征特征 提取提取uK-L坐标系把矩阵R对角化，即通过K -L变换消除原有向量x的各分量间的 相关性，从而有可能去掉那些带有较 少信息的分量以
9、达到降低特征维数的 目的21第六章 模式特征的选择与提取 K-L变换图解x1x2u2 u1二次 曲线方程标准二次 曲线方程特征特征 提取提取22第六章 模式特征的选择与提取 K-L变换的数据压缩图解u取2x1变换矩阵U=u1，则x的K-L变换y为：y = UTx = u1T x = y1u变换的能量损失为特征特征 提取提取23第六章 模式特征的选择与提取 K-L变换的产生矩阵u数据集KN=xi的K-L变换的产生矩阵由数 据的二阶统计量决定，即K-L坐标系的基 向量为某种基于数据x的二阶统计量的产生 矩阵的本征向量uK-L变换的产生矩阵可以有多种选择： x的相关函数矩阵R=ExxT x的协方差矩
10、阵C=E(x-) (x-)T 样本总类内离散度矩阵：特征特征 提取提取24第六章 模式特征的选择与提取 未知类别样本的K-L变换u用总体样本的协方差矩阵C=E(x-) (x-)T 进行K-L变换，K-L坐标系U=u1,u2,.,ud按 照C的本征值的下降次序选择u例：设一样本集的协方差矩阵是： 求最优2x1特征提取器U 解答：计算特征值及特征向量V, D=eig(C); 特征值D=24.736, 2.263T,特征向量: 由于12，故最优2x1特征提取器 此时的K-L变换式为：特征特征 提取提取25第六章 模式特征的选择与提取 6.4 特征的选择u特征选择:=从原始特征中挑选出一些最有代表性
11、、分类性能最好的特征进行分类u从D个特征中选取d个,共 种组合。若不限定 特征选择个数，则共2D种组合 典型的组合优化问题u特征选择的方法大体可分两大类： Filter方法：根据独立于分类器的指标J来评价所选择 的特征子集S，然后在所有可能的特征子集中搜索出 使得J最大的特征子集作为最优特征子集。不考虑所使 用的学习算法。 Wrapper方法：将特征选择和分类器结合在一起，在 学习过程中表现优异的的特征子集会被选中。26第六章 模式特征的选择与提取 经典特征选择算法u许多特征选择算法力求解决搜索问题，经 典算法有： 分支定界法 单独最优特征组合法 顺序后退法 顺序前进法 模拟退火法 Tabu搜
12、索法 遗传算法特征特征 选择选择27第六章 模式特征的选择与提取 单独最优特征组合u计算各特征单独使用时的可分性判据J并加 以排队，取前d个作为选择结果u不一定是最优结果u当可分性判据对各特征具有(广义)可加性 ，该方法可以选出一组最优的特征来，例 ： 各类具有正态分布 各特征统计独立 可分性判据基于Mahalanobis距离特征特征 选择选择28第六章 模式特征的选择与提取 顺序后退法u该方法根据特征子集的分类表现来选择特 征u搜索特征子集：从全体特征开始，每次剔 除一个特征，使得所保留的特征集合有最 大的分类识别率u依次迭代，直至识别率开始下降为止u用“leave-one-out”方法估计
13、平均识别率：用 N-1个样本判断余下一个的类别，N次取平 均特征特征 选择选择29第六章 模式特征的选择与提取 6.5 讨论u特征的选择与提取是模式识别中重要而困 难的一步 模式识别的第一步：分析各种特征的有效性并 选出最有代表性的特征 降低特征维数在很多情况下是有效设计分类器 的重要课题u三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但难 于定量描述，因而不易用机器判别 数学特征：易于用机器定量描述和判别30第六章 模式特征的选择与提取 习题1. 试推导(8-6)式，即：2. 试由(8-1)式推导(8-5)式，即：3. 习题8.1 9. 习题9.1 31第六章 模式特征的选择与提取
