模式识别概论课件

《模式识别概论课件》由会员分享，可在线阅读，更多相关《模式识别概论课件（68页珍藏版）》请在金锄头文库上搜索。

1、模式识别导论,课程对象,智能科学与技术 自动化 计算机应用技术专业 本科专业的高年级学生使用,与模式识别相关的学科,统计学 概率论 线性代数（矩阵计算） 高等数学 机器学习 人工智能 图像处理 计算机视觉 ,教学方法,着重讲述模式识别的基本概念，基本方法和算法原理。 注重理论与实践紧密结合 实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中 避免引用过多的、繁琐的数学推导。,教学目标,掌握模式识别的基本概念和方法 有效地运用所学知识和方法解决实际问题 为研究新的模式识别的理论和方法打下基础,题外话,基本：完成课程学习，通过考试，获得学分。 提高：能够将所学知识和内容用于课题研究，解决实

2、际问题。 飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。,教材/参考文献,范九伦，赵凤，雷博等，模式识别导论，西安电子科技大学出版社，2012。 边肇祺，模式识别（第二版），清华大学出版社，2000。 齐敏，李大建，郝重阳，模式识别导论，清华大学出版社，2009。 R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中译本）.,机构、会议、刊物,1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次），成立了国际模式识别协会-“IAPR” 1977

3、年IEEE成立PAMI委员会，创立IEEE Trans. on PAMI，并支持ICCV, CVPR两个会议 其他刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI),第一章 引论,模式识别例子,看云识天气 判断今天的天气的冷暖、晴雨 医生对病人的病情进行识别 学生上课时进行语音、文字识

4、别 指纹识别、人脸识别 周围物体的认知：桌子、椅子 人的识别：张三、李四 声音的辨别：汽车、火车，狗叫、人语 气味的分辨：炸带鱼、红烧肉,模式识别,模式识别 直观，无所不在，“人以类聚，物以群分” 人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。,随着计算机科学的发展和计算机应用的普及，迫切希望 计算机也能听懂我们说的话、看懂我们写的字，从而代替人去完成某些复杂、繁重以及危险恶劣环境下的识别工作。,什么是模式（Pattern）？,什么是模式？,广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事

5、物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性: 可观察性 可区分性 相似性,认知模式识别,模式识别是生物体的基本活动，与感觉、记忆、学习、思维等心理过程紧密联系。因此，模式识别是研究生物体如何感知对象的学科，属于认识科学的范畴，是生理学家、心理学家、生物学家和神经生理学家的研究内容，常被称做认知模式识别。具体而言,认知模式识别主要经历分析、比较和决策三个阶段。 一般说来，模式识别过程是将感觉信息与长时记忆中的信息进行比较，再决定它与哪个长时记忆中的项目有着最佳匹配的过程。,认识模式识别,认知模式识别是认知心理学研究领域的核心问题之一，是人的一种最基本的认知能力。

6、匹配过程可以采用 ： 1. 模板匹配理论 2. 原形匹配理论 3. 特征匹配理论 4. 结构优势描述理论,什么是模式？,狭义地讲，模式是为了能让计算机执行和完成分类识别任务，通过对具体的个别事物进行观测所得到的具体时间和空间分布的信息。 把模式所属的类别或同一类中模式的总体称为模式类。,计算机模式识别,根据待识别对象的特征或属性，利用以计算机为中心的机器系统，运用一定的分析算法确定对象类别的学科，是数学家、信息学专家和计算机专家的研究内容 模式识别定义： 研究一些自动技术，利用这些技术，计算机自动地把待识别模式分到各自的模式类中。 例如：数字识别,计算机模式识别,模式识别系统 模式识别系统的分

7、类识别过程,数据获取,特征提取和选择,预处理,分类决策,分类器设计,模式识别系统组成单元,数据获取：用计算机可以运算的符号来表示所研究的对象 二维图像：文字、指纹、地图、照片等 一维波形：脑电图、心电图、季节震动波形等 物理参量和逻辑值：体温、化验数据、参量正常与否的描述 通过各种传感器把研究对象的各种物理变量转化为计算机可以接受的数值和符号集合,习惯上称这种数值或符号串所组成的空间为模式空间 预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原,模式识别系统组成单元,特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征 测量空间：原始数据组成的空间

8、特征空间：分类识别赖以进行的空间 模式表示：维数较高的测量空间-维数较低的特征空间 分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别 基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小,模式识别系统 一个功能完善的计算机模式识别系统除了具有分类识别过程外, 通常还应该具有学习功能, 具体如下图.,模式识别系统的原理框图,统计模式识别过程实例,在传送带上用光学传感器件对鱼按品种分类 鲈鱼(Seabass) 品种 鲑鱼(Salmon),识别过程,数据获取：架设一个摄像机，采集一些样本图像，获取样本数据 预处理：去噪声，

9、用一个分割操作把鱼和鱼之间以及鱼和背景之间分开,识别过程,特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量 长度 亮度 宽度 鱼翅的数量和形状 嘴的位置，等等 分类决策：把特征送入决策分类器,模式分类器的获取和评测过程,数据采集 特征选取 模型选择 训练和测试 计算结果和复杂度分析，反馈,训练和测试,训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。 测试集：在设计识别和分类系统时没有用过的独立样本集。 系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。,模式识别的研究,目的：利用计算机对物理对象进

10、行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。 Y = F(X) X的定义域取自特征集 Y的值域为类别的标号集 F是模式识别的判别方法,模式识别方法,模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。 特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。 解释空间：将c个类别表示为 其中 为所属类别的集合，称为解释空间。,假说的两种获得方法,监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。 依靠已知所

11、属类别的的训练样本集，按它们特征向量的分布来确定假说 （通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类； 对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。,假说的两种获得方法（续）,非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。 在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况； 如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类； 这种按各类之间的亲疏程度的划分，若

12、事先能知道应划分成几类，则可获得更好的分类结果。,模式分类的主要方法,数据聚类 统计分类 结构模式识别 神经网络,数据聚类,目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。 是一种非监督学习的方法，解决方案是数据驱动的。,统计分类,基于概率统计模型(概率密度函数、后验概率)得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。 是一种监督分类的方法，分类器是概念驱动的。,结构模式识别,对于具有复杂结构特征的对象，仅用一些复杂特征已不能对其进行充分描述，此时需要采用结构模式识别方法。 该方法首先将对象分解为若干基本单元（基元），

13、然后利用这些基元和它们之间的结构关系来描述对象。 在结构模式识别中，基元以及基元之间的结构关系采用图和字符串来表示，这些图和字符串称为形式语言的句子，再根据代表类的文法运用形式语言理论和技术对句子进行句法分析，根据其是否符合某一类的文法来确定其类别。因此，结构模式识别也称为句法模式识别。,神经网络,神经网络是受人脑组织的生理学启发而创立的。 由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。 增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。 神经网络可以实现监督和非监督学习条件下的分类。,模式识别的一些基本准则,奥卡姆剃刀

14、原理 14世纪逻辑学家、圣方济各会修士奥卡姆的威廉提出一个原理“如无必要，勿增实体”，杀鸡焉用宰牛刀，在多种实现方法中提倡选择最简单的假设和模型，尽量不要把问题复杂化，尽力把没用的和会把问题复杂化的因素去掉。,模式识别的一些基本准则,没有免费的午餐定理（No Free Lunch, NFL） 该定理指出：没有最好的算法，每种算法总有它的优势和缺陷。NFL定理可简单表述为：对于所有可能的问题，任意给定两个算法A，A，如果A在某些问题上表现得比A好，那么A在其他问题上表现一定比A差。 该定理隐含指出：任何一种分类算法甚至不比搜索空间的线性列举或者纯随机搜索算法更优。,模式识别的一些基本准则,丑小鸭

15、定理 20世纪60年代，美籍日本学者渡边慧证明了“丑小鸭定理”。定理说：丑小鸭和白天鹅之间的区别和两只白天鹅之间的区别一样大。这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。,渡边慧举了一个鲸鱼的例子： 按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。分类结果取决于选择什么特征作为分类标准，而特征的选择又依存于人的目的。丑小鸭是白天鹅的幼雏，在画家的眼里，丑小鸭和白天鹅的区别大于两只白天鹅的区别； 但是在遗传学家的眼里，丑小鸭与其父亲或母亲的差别小于父母之间的差别。 由此引出的一

16、个问题是，事物有没有“本质”？一个苹果，牛顿看到的是它的质量，遗传学家看到的是它的染色体中的DNA序列，美食家关心的是它的味道，画家看到的是它的颜色和形状，孔融还可能关注其大小并从中看出道德因素。这里面没有谁对谁错的问题，所以不可能知道苹果的“本质”是什么。在说到“本质”的时候，充其量说的只是“我认为最重要的特征”，只代表个人的立场。,模式识别简史,1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。 50年代 Noam Chemsky 提出形式语言理论傅京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。 80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。 90年代小样本学习理论，支持向量机也受到了很大的重视。,模式识别的应用（举例）,生物学生物特征识别 自动细胞学、染色体特性研究、遗传研究 天文学 天文望远镜图像分析、自动光谱学