《模式识别第2讲课件》由会员分享，可在线阅读，更多相关《模式识别第2讲课件（37页珍藏版）》请在金锄头文库上搜索。
1、模式识别,模式识别原理、方法及应用,第2次课程概要,模式判别 决策区域和决策函数 广义决策函数 分类超平面 特征空间尺度 协方差矩阵,决策区域,样本用特征空间Rd的特征向量表示 对于分类问题，将特征空间划分为与类对应的区域，这些区域被称为决策区域,决策区域,类别界限,样本 x=x1, x2R2,决策区域与决策函数 特征空间尺度 协方差矩阵,决策函数,决策函数,样本 x=x1, x2R2,决策区域与决策函数 特征空间尺度 协方差矩阵,决策函数,决策函数,样本 x=x1, x2R2,决策区域与决策函数 特征空间尺度 协方差矩阵,增广特征向量,权向量,增广权向量,决策函数,超平面的两个参数 任意一点
2、z到超平面的距离,决策区域与决策函数 特征空间尺度 协方差矩阵,：决策面或判别式 d 维线性平面 超平面,确定超平面的两个参数如下,线性决策函数遇到什么情况没法有效分类？ 广义决策函数,决策区域与决策函数 特征空间尺度 协方差矩阵,只要各类别间没有重叠，我们总能在Rd空间中找到一个广义决策函数，将第i类从全体类别中分离出来。,广义决策函数,例1：应用二次决策函数的一个两类判别问题,决策区域与决策函数 特征空间尺度 协方差矩阵,广义决策函数,例2：广义决策函数为函数的线性组合的一个两类判别问题,决策区域与决策函数 特征空间尺度 协方差矩阵,变换,广义决策函数,例3：广义决策函数为多项式的一个两类
3、判别问题,决策区域与决策函数 特征空间尺度 协方差矩阵,两个特征， 15个权重系数,十四个特征， 1个偏差量,多项式决策函数的计算量,决策区域与决策函数 特征空间尺度 协方差矩阵,d维特征空间的模式识别问题，为了得到一个k次的多项式决策函数 需要计算,个多项式系数,如何解决多分类问题,第一种情况：绝对可分 任何一个类可以从其他所有的类中分离出来,决策区域与决策函数 特征空间尺度 协方差矩阵,可通过推广两类分类问题，即采用多阶段二分类方法解决多类问题。,决策函数,决策域,决策函数,决策域,如何解决多分类问题,第二种情况：成对可分 不能达到绝对可分，但可以成对线性可分,决策区域与决策函数 特征空间
4、尺度 协方差矩阵,决策函数,决策域,常用范数,能够度量特征向量之间距离的四种常用方法,决策区域与决策函数 特征空间尺度 协方差矩阵,切比雪夫范数,棋盘格范数,欧几里得范数,欧几里得平方范数,乘方范数,p是控制各维度差异的权重，r则控制样本逐渐分开的时候，它们之间距离的增长速度。 r=p，明可夫斯基范数。 r=p=2，欧几里得范数。 r=p=1，棋盘格范数。 r=p，切比雪夫范数。,决策区域与决策函数 特征空间尺度 协方差矩阵,欧几里得距离尺度下的等距离面和决策面,与均值点距离为1的等距离面,决策面,2维空间 类别数为2 两个类的均值点分别是 1 2 1.5 1,决策面上的点到两个均值点距离是相
5、等的。 决策面实际上是垂直于两个类均值点连线并通过连线中点的超平面。,决策区域与决策函数 特征空间尺度 协方差矩阵,欧几里得距离尺度下的等距离面和决策面,与均值点距离为1的等距离面,决策面,2维空间 类别数为2 两个类的均值点分别是 1 2 1.5 1,决策面上的点到两个均值点距离是相等的。 决策面实际上是垂直于两个类均值点连线并通过连线中点的超平面。,决策区域与决策函数 特征空间尺度 协方差矩阵,棋盘格距离尺度下的等距离面和决策面,等距离面,决策面,2维空间 类别数为2 两个类的均值点分别是 1 2 1.5 1,决策面是阶梯状的直线，基本是平行于x轴。 如果每一类数据沿轴向分布，则适合用棋盘
6、格距离尺度来划分类。,决策区域与决策函数 特征空间尺度 协方差矩阵,切比雪夫距离尺度下的等距离面和决策面,等距离面,决策面,2维空间 类别数为2 两个类的均值点分别是 1 2 1.5 1,决策面是阶梯状的直线，基本平行于xy轴的对角线方向。 如果每一类数据沿象限二等分线分布，则适合用切比雪夫距离尺度来划分类。,决策区域与决策函数 特征空间尺度 协方差矩阵,距离尺度的选择,我们观察样本，看样本是以什么形状聚集在类均值点周围的，然后根据不同距离尺度的性质，进行距离尺度选择。 有没有一种距离尺度适用性稍广一些，比如通过调整某些特定的参数，以适合不同的聚类形状？,决策区域与决策函数 特征空间尺度 协方
7、差矩阵,调整线性变换,A为对称矩阵,变换后的空间，等距离面变成了超椭圆面。,决策区域与决策函数 特征空间尺度 协方差矩阵,马哈拉诺比斯距离尺度,当A为单位矩阵，就得到欧几里得距离尺度 要达到适合多种聚类形状的情况，可以通过选择合适的A实现 为了使得马氏距离公式符合距离的意义，A是正定矩阵 关于A，后面有更多讨论,决策区域与决策函数 特征空间尺度 协方差矩阵,比例尺（1）,一个二维两类的数据分布 直观得到，两个坐标轴使用的是同样的比例尺在欧氏距离尺度下， 两个特征对于距离的计算贡献是等价的。,决策区域与决策函数 特征空间尺度 协方差矩阵,比例尺（2）,修改PRT维度的比例尺（实际上是还原为原来的
8、特征量PRT=PRT10*10） 在欧氏距离尺度下，参数N对于距离的计算没有贡献。,决策区域与决策函数 特征空间尺度 协方差矩阵,一种标准化方法,除了对特征N进行缩放外，常用的标准化方法还有,决策区域与决策函数 特征空间尺度 协方差矩阵,特征xi上的平均值 特征xi上的标准偏差,比例尺改变后，均值为0，偏差为1 这种标准化能改变比例尺，功能是缩小方差大的特征，伸长方差小的特征。 直观认识的例子：可以将椭圆形的数据分布变成圆周,改变比例尺后的y与其原始特征向量x之间的关系,这种标准化方法在简单比例变换中的性质,给定特征xi，经过标准化后得到的yi有 将xi作简单比例变换，即变换矩阵是对角阵的线性
9、变换，得到xi，再将其标准化，得到,决策区域与决策函数 特征空间尺度 协方差矩阵,提出问题,不是作简单比例变换，即，假如不是作对角阵的线性变换 想要通过一种距离尺度，使得一般的线性变换不会改变原先的距离 马哈拉诺比斯距离 C：协方差矩阵,决策区域与决策函数 特征空间尺度 协方差矩阵,协方差和相关系数（1）,协方差描述两个随机变量（X和Y）之间关系的密切程度 等于0，则X和Y相互独立 不等于0，则X和Y相互不独立，X与Y存在一定关系 协方差的绝对值越大，X与Y的相关越密切。但是需要考虑到尺度的影响，需要标准化，得到相关系数,决策区域与决策函数 特征空间尺度 协方差矩阵,协方差和相关系数（2）,决
10、策区域与决策函数 特征空间尺度 协方差矩阵,的充要条件是存在常数,使得,是衡量X与Y之间线性相关程度的量,X与Y线性正相关,X与Y线性负相关,变小的时候，X与Y的线性相关程度就变弱,X与Y不存在线性关系，X与Y不相关*,的充要条件是存在常数,使得,的充要条件是存在常数,使得,的充要条件是存在常数,使得,的充要条件是存在常数,独立与不相关,独立与不相关都是随机变量之间相互联系程度的一种反映 独立：X与Y没有任何关系 不相关：X与Y没有线性相关关系 X与Y独立，则X与Y一定不相关 X与Y不相关，则X与Y不一定独立 对于正态随机变量而言，X与Y的独立性与不相关性是等价的,决策区域与决策函数 特征空间
11、尺度 协方差矩阵,协方差矩阵,给定n个样本，两个特征之间的协方差可以用以下公式估计到,决策区域与决策函数 特征空间尺度 协方差矩阵,协方差矩阵 对称阵 对角线即相应特征的方差,直观体验协方差（1）,对于任意一个特征向量，有 如果数据分布是圆形的，那么总能找到另一个特征向量（正交的）产生一个对应的-vij值（假设样本足够多）。 遵循以上规律，将会计算出协方差cij为0的结果。,决策区域与决策函数 特征空间尺度 协方差矩阵,直观体验协方差（2）,用类似的方法观察一个椭圆分布 长轴（主轴）附近方向分布着更多更大的正vij值 椭圆越扁，协方差的绝对值越大，特征之间的相关性也会很高,决策区域与决策函数 特征空间尺度 协方差矩阵,马氏距离度量的比例变化无关性（1）,一个例子：线性变换后的均值和协方差矩阵,决策区域与决策函数 特征空间尺度 协方差矩阵,马氏距离度量的比例变化无关性（2）,决策区域与决策函数 特征空间尺度 协方差矩阵,协方差矩阵估计中可能遇到的问题,若为了利用马氏距离完成分类等任务，需要估计样本中的协方差矩阵 样本个数小于维数时，这个协方差矩阵就可能奇异，不可逆 因此，每个类别的训练集中的最少样本为n=d+1,决策区域与决策函数 特征空间尺度 协方差矩阵,可看作是n个矩阵的和,思考题,第2章习题 2.1 2.3 2.7 2.9,
