《模式识别清华课件第三章》由会员分享，可在线阅读，更多相关《模式识别清华课件第三章（68页珍藏版）》请在金锄头文库上搜索。
1、第第 3 3 章章 非参数判别分类方法非参数判别分类方法学习指南学习指南学习这一章最主要的是了解它在模式识别技术中所处的地位。前一章重点学习的贝叶 斯决策具有理论指导的意义，同时也指明了根据统计参数分类决策的方向。沿这条路走就 要设法获取样本统计分布的资料,要知道先验概率，类分布概率密度函数等。然而在样本数 不足条件下要获取准确的统计分别也是困难的。这样一来人们考虑走另一条道路，即根据 训练样本集提供的信息，直接进行分类器设计。这种方法绕过统计分布状况的分析，绕过 参数估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参 数的分类法。这是当前模式识别中主要使用的方法，并且
2、涉及到人工神经元网络与统计学 习理论等多方面，是本门课最核心的章节之一。非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。 这里最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能 力通过训练学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网 络中最核心的内容。学习这一章要进一步体会模式识别中以确定准则函数并实现优化的计算框架。由于决策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因 此确定分界面方程，这包括选择函数类型与确定最佳参数两个部分。一般说来选择函数类 型是由设计者确定的，但其参数的确定则是通过一个学习
3、过程来实现的，是一个叠代实现 优化的过程。因此本章从最简单的函数类型讲起，再扩展到非线性函数。同学们学习的重 点要放在线性判别函数的基本内容上，然后再注意如何扩展到非线性函数的应用上去。该章的学习最好通过概念的反复推敲与思考，以加深对重要概念的理解，另一方面通 过实验，亲自体验设计模式识别系统的完整过程，对学习才会更加真切。数学是模式识别中不可缺少的工具，希望大家学习时，遇到的数学方面的内容要通过 再学习、复习等进一步掌握，如线性代数、矩阵的特征值分解与特征向量等概念的运用上 起到很重要的作用。通过这门课学习加深对这些数学工具的理解与运用熟练程度是会终身 受益的。对于数学推导理解程度的要求，会
4、对增强同学分析问题解决问题的能力有好处。学习目的学习目的(1) 通过本章学习掌握模式识别中最重要的非参数判别分类法的原理(2) 掌握机器自学习的原理，自学习功能已不仅在模式识别中应用，目前经常用机器 学习这个词以涉及更为广泛的内容。(3) 学习线性分类器的三种典型算法，这三种算法各自形成体系，分别形成了传统模 式识别、人工神经元网络以及统计学习理论(4) 用近邻法进行分类(5) 通过相应数学工具的运用进一步提高运用数学的本领本章重点本章重点(1) 非参数判别分类器的基本原理，与参数判别分类方法的比较(2) 线性分类器的三种典型方法以 Fisher 准则为代表的传统模式识别方法，以感 知准则函数
5、为代表的机器自学习方法，以及支持向量机代表的统计学习理论。(3) 近邻法的工作原理及其改进(4) 线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法本章难点本章难点(1) Fisher 准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的 特征值、特征向量等数学工具。要求对这些数学工具较深理解。(2) 感知器准则函数提出利用错误提供信息实现叠代修正的学习原理(3) 支持向量机方法设计约束条件为不等式的极值优化问题(4) 三种不同典型方法的优缺点比较(5) 近邻法的改进知识点知识点课前课前 思考题：思考题：(1) 机器能否像人类一样通过例证教育认知事物，修正观念中的错误的成
6、 分?(2) 机器学习过程中有教师吗？谁是教师？(3) 什么叫线性分类器? 按照基于最小错误率贝叶斯决策,什么条件下才能 用线性分类器？3.13.1 引言引言在上一章中我们讨论了贝叶斯决策理论和统计判别方法。从原理上说贝叶斯决策理论 采用了在 d 维特征空间中样本分布的最一般描述方式，即统计分布来描述，并且采用分类 器中最重要的指标错误率作为产生判别函数和决策面的依据，因此它给出了最一般情 况下适用的“最优”分类器设计方法，对各种不同的分类器设计技术在理论上都有指导意 义。但是直接使用贝叶斯决策理论需要首先得到有关样本总体分布的知识，具体说来包括 各类先验概率 P(1)及类条件概率密度函数 ，
7、从而可以计算出样本的后验概率 P(1|X)， 并以此作为产生判别函数的必要数据，设计出相应的判别函数与决策面。3.23.2 线性分类器线性分类器3.2.13.2.1 在线性判别函数的基本概念在线性判别函数的基本概念3.2.23.2.2 广义线性判别广义线性判别数数 3.2.33.2.3 线性分类器设计步骤线性分类器设计步骤3.2.43.2.4 FisherFisher 线性判别函数线性判别函数3.2.4.1 Fisher 准则函数3.2.4.23.2.4.2 最佳最佳 W W 值的确定值的确定3.2.4.3 判别函数的确定判别函数的确定3.2.53.2.5 感知准则函数感知准则函数( (一一)
8、 )( (二二) )感知准则函数是五十年代由 Rosenblatt 提出的一种自学习判别函数生成方法，由于 Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的 判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定3.2.6 多类问题多类问题3.33.3 非线性判别函数非线性判别函数3.3.13.3.1 非线性判别函数与分段线性判别函数非线性判别函数与分段线性判别函数3.3.2 基于距离的分段线性判别函数基于距离的分段线性判别函数3.3.3 错误修正算法错误修正算法3.3.43.3.4 局部训练法局部训练法3.4 近邻法近邻法3.4.2 近邻法错误率
9、分析近邻法错误率分析3.4.3 改进的近邻法改进的近邻法3.5 支持向量机支持向量机本章小结本章小结一、参数判别分类方法与非参数判别分类方法的区别一、参数判别分类方法与非参数判别分类方法的区别二、非参数分类判别方法的基本做法二、非参数分类判别方法的基本做法三、决策面方程的显式表示和隐式表示三、决策面方程的显式表示和隐式表示四、基于相似度的分类判别方法四、基于相似度的分类判别方法五、五、FisherFisher 准则准则六、感知准则函数方法六、感知准则函数方法七、近邻法七、近邻法八、支持向量机八、支持向量机问答第 5 题答：按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成 为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因 此由三个 A 类与四个 B 类训练样本可能构成的分界面最大数量为 3412。实际分界面如下图所示，由 9 条线段构成：
