模式识别概述[2014]

《模式识别概述[2014]》由会员分享，可在线阅读，更多相关《模式识别概述[2014]（96页珍藏版）》请在金锄头文库上搜索。

1、,模式识别 Pattern Classification,第一章: 模式识别概述,以物联网、云计算、大数据、移动互联网、3S技术为代表的新一轮信息技术正改变着我们的工作和生活 我们已深切感受到信息时代的到来 信息分析与处理无处不在，交通、环境、信息安全 作为信息分析和处理的重要内容，模式识别已由信息学科少数学者专家的研究领域，成为经济、金融、社会管理、工程等众多领域普遍关注和广泛应用的学科。,人类智慧的主要方面就是对外部事物的认知能力，人类每天的活动大部分都与事物的认别、分类和判断有关 这种能力我们与生俱来，具随着年龄的增长而逐渐加强，许多动物也具有这种能力,简单的认别：心电图 高级的认别：Q

2、波、T波、R波 更复杂的认别：正常心电图或异常心电图,这是一幅江南水乡的照片!,这样一个看似简单的过程，实际上是一系列复杂的认别、分类的结果。 是照片而不是绘画 建筑是江南风格 江南特色的游船 江南特色的河道 抽象类：江南水乡的照片能否让机器（计算机）也具有认别、分类的能力？,8,一个例子,通过光学感知手段，将传送带上的鱼进行自动分类鲈鱼鱼类鲑鱼,9,问题分析,架设一台摄影像机，拍摄若干样品的图像,提取用于区分两类鱼的有效特征(feature),长度 光泽度 宽度 鳍的数目和形状 嘴的位置，等等.,10,预处理（preprocessing）去除干扰，图像增强 采用图像分割技术将不同的鱼分离开来

3、，或将鱼同背景分开,特征提取（feature extraction）将每条鱼的数据送入特征提取器，通过测量特定的“特征”或“属性”来简化原始数据 将特征送入分类器，以便进行分类,11,分类（Classification） 将待识别样本进行特征提取，并与存储于分类器中的特征进行比较，从而判断样本的类别,12,根据先验知识：鲈鱼长度一般要比鲑鱼大 选择长度（length）作为可能的分类特征 获取足够多的样本（训练样本）进行统计（直方图）,实现方法,确定合适的长度临界值 L* 作为分类标准,13,鲑 鱼,鲈 鱼,分类标准,确定合适的长度临界值 L* 作为分类标准,14,单一的特征判据（长度）不足以完

4、全正确分类 无论怎样确定临界值，都有无法仅凭长度就把两类鱼截然分开,问题,15,选择光泽度（lightness）作为分类特征 获取足够多的样本（训练样本）进行统计（直方图） 确定合适的光泽度临界值x*作为分类标准,方法改进,16,鲑 鱼,鲈 鱼,分类标准,以光泽度为分类特征，两类鱼的分离性更好！,17,判别边界与判别代价 无论采用哪一种特征进行分类都有代价：误判 上述判别边界假设将鲑鱼误判为鲈鱼和将鲈鱼误判为鲑鱼的代价相等（对称代价） 非对称代价：调整判别边界的位置,结论 特征选择对分类效果有较大的影响,18,调整判别边界，减小判别代价,19,为获取更好的分类效果，组合运用多个特征选取光泽度（

5、lightness）和宽度（width）作为分类特征鱼 xT = x1, x2特征向量：xT = x1, x2,Lightness,Width,20,组合特征优于单一特征,21,需要考虑的问题特征越多分类性能越好吗？ 什么样的特征才是好的特征？ 特征的相关性与冗余？,22,需要考虑的问题如何获取判别边界：判别模型？ 什么样的判别边界才是最优的：模型优化？,23,复杂的模型,鲑 鱼,鲈 鱼,24,复杂的模型可保证对所有训练样本正确分类 过于复杂的模型将导致复杂的判别界面 新模式推广能力差,25,分类系统的目标是对未知的样本正确分类，而不仅仅是对训练样本分类 必须在模型复杂度和推广能力之间进行折中

6、考虑最优模型,26,鲑 鱼,鲈 鱼,优化的判别边界,27,什么是模式识别？,定义 利用机器（计算机）模仿人脑对现实世界各种事物进行描述、分类、判断和识别的过程。,周围物体的认知：桌子、椅子、门、窗户 人的识别：张三、李四 声音的辨别：火车、汽车、鸟鸣 气味的分辨：红烧肉、炸带鱼,28,什么是模式识别？,目标 用计算机实现具有感知、识别、理解、自学习和自适应能力的灵活和智能的计算机器。人和动物的模式识别能力是极其平常的，但对计算机来说是非常困难的。,29,模式识别的产生与发展,起源 始于20世纪40年代 研究初期，模式识别被看作动物所具有的自然生理现象，很多人认为不值得研究。 当人们试图使计算机

7、去具有人脑的识别能力后，模式识别的难度和重要性才得以重视。,30,模式识别的产生与发展,随着计算机技术的发展， 60年代后模式识别迅速发展为一门相对独立的新兴交叉学科 明确的问题定义、严格的数学基础、坚实的理论框架、丰富的理论和应用成果、广阔的应用前景,31,模式识别的产生与发展,30年代 英国统计学家Fisher(费希尔)提出统计分类理论，奠定了统计模式识别的基础。 50年代 Noam Chemsky提出形式语言理论傅京荪提出句法/结构模式识别。 60年代 模糊模式识别方法得以发展和应用。,32,模式识别的产生与发展,80年代 以Hopfield网、BP网为代表的神经网络模型导致人工神经元网

8、络复活，并在模式识别得到较广泛的应用。 90年代 小样本学习理论，支持向量机受到了很大的重视。,33,模式识别的相关学科,语音识别与理解 语音是人类信息交流的基本手段之一 让计算机能说会听是智能计算机系统的重要特征 语音识别技术的应用将从根本上改变计算机的人机交互界面，从而对计算机的发展以及推广应用产生深远的影响,模式识别的应用,语音识别与理解 语音中包含有多种有用的信息：语义信息、语言信息、说话人信息、情感信息等 语音识别是研究如何采用数字信号处理技术自动提取以及决定语音信号中的上述信息的一门新兴的边缘学科 是模式识别的重要应用领域之一,模式识别的应用,语音识别与理解 基于电话的语音识别技术

9、，使计算机直接为客户提供金融证券和旅游等方面的信息查询及服务成为可能，进而成为电子商务进展中的重要一环 作为声控产业，语音识别技术将对办公自动化、工业过程和机器操作的声控技术起到重大的推进作用 可以预言，语音技术必将对工业、金融、商业、文化、教育等诸方面事业产生革命性的影响,模式识别的应用,37,模式识别的应用,语音识别与理解（Speech recognition） 语音识别 说话人识别 语种识别 语音情感识别,38,语音识别系统结构,39,模式识别的应用,字符识别（Character Recognition） 手写体 印刷体 汉字、英文、阿拉伯数字,40,模式识别的应用,图像识别（Image

10、 Recognition ） 车牌识别 人脸识别,41,模式识别的应用,车牌识别,42,模式识别的应用,生物特征识别（身份鉴别） 指纹识别 掌纹识别 人脸识别 虹膜识别 签名识别 步态识别,43,模式识别的应用,生物医学信号识别 心电图 心音 多普勒超声波生物信号 染色体 DNA序列,44,模式识别的应用,遥感图像自动识别 根据遥感图像的光谱特征和纹理特征进行自动分类和识别,45,模式识别的应用,遥感图像识别,46,研究模式识别的意义,通过模式识别的研究和应用，提高和扩展计算机的应用能力和领域，促进人工智能的应用与发展 促进人们对人脑识别过程的理解和认识,47,模式识别的理论基础,概率论与数理

11、统计 随机过程 线性代数 优化方法 形式语言学,48,模式识别的基本方法,49,模式识别的基本方法,统计决策法 基于模式的定量描述与统计规律的识别方法，是模式识别最经典、最成熟的方法，目前广泛应用于模式识别的各个领域 原理：,50,模式识别的基本方法,统计方法,51,模式识别的基本方法,模式描述方法 特征向量 模式判定 模式类用条件概率分布P(X/i)表示,m类就有m个分布，然后判定未知模式属于哪一个分布,特征向量,特征值,52,模式识别的基本方法,理论基础 概率论 数理统计 主要方法 概率方法（Bayes决策） 几何方法（线性、非线性分类） 聚类分析（无监督模式识别）,53,模式识别的基本方

12、法,优点 比较成熟，理论体系较为完善，应用广泛 能考虑干扰噪声等影响 识别模式能力强 缺点 对结构复杂的模式抽取特征困难 不能反映模式的结构特征，难以描述模式的性质,54,模式识别的基本方法,句法方法 基于模式的空间结构特征的定性描述与形式语言学的方法，广泛应用于字符识别、图像识别等领域 原理：,55,模式识别的基本方法,模式描述方法 符号串 树 图 模式判定 是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法,56,模式识别的基本方法,句法方法 定义基元：,57,模式识别的基本方法,理论基础 形式语言 自动机技术 主要方法 CYK剖析算法 Early算法 状态

13、图法,58,模式识别的基本方法,优点 能有效反映模式的结构特征 特别适合于文字、图象等具有结构特征的模式分类问题 缺点 当存在干扰及噪声时，基元提取较为困难 分类器的设计比统计方法困难和复杂,59,模式识别的基本方法,模糊模式识别 基于模糊数学和统计分析的识别方法，在不能明确描述模式特征和结构的复杂模式识别问题中得到了成功应用根据隶属度和模糊文法进行分类,60,模式识别的基本方法,模式描述方法 模糊集合 模式判定 用隶属度将模糊集合划分为若干子集，m类就有m个子集，然后根据择近原则进行分类,61,模式识别的基本方法,理论基础 模糊数学 主要方法 模糊统计法 二元对比排序法 推理法 模糊矩阵,6

14、2,模式识别的基本方法,优点 以隶属度作为样本间相似程度的度量，具有较强的抗干扰与畸变能力 缺点 准确合理的隶属度函数往往难以建立，限制了其应用,63,模式识别的基本方法,神经网络方法 基于现代生物学和认识科学对人类信息处理的研究成果 采用人工神经网络模型，使识别和处理过程更接近人类的思维过程,64,模式识别的基本方法,模式描述方法 神经元：不同活跃度表示的输入节点集 模式判定 通过对样本的学习建立起记忆，将未知模式判决为其最接近的记忆,65,模式识别的基本方法,66,模式识别的基本方法,神经网络方法 人工神经网络由相互广泛连接的神经元组成，信息分布于神经网络中 每一节点的输入为前一层所有节点

15、输出的加权和 通过已知类别样本的学习，调整各节点之间的加权系数,67,模式识别的基本方法,理论基础 神经生理学 心理学 主要方法 BP模型 HOP模型 高阶网,68,模式识别的基本方法,优点 具有自适应学习能力，适用于并行计算与处理缺点 模型在不断丰富与完善中 目前能识别的模式类还不够多,69,模式识别的一般过程,无论采用何种方法，模式识别一般都要包括下列两个基本过程,70,模式识别的一般过程,学习过程 通过一批已知类别的学习样本进行分析，推出分类 准则。识别过程对末知类别的单个待识样本，根据分类准则进行识别分类。,71,模式识别的一般过程,统计模式识别的过程,72,模式识别的一般过程,73,

16、模式识别的一般过程,数据获取 采用传感器 (摄像机或麦克风)，通过测量、采样和量化，得到反映样本信息的原始数据（一维波形、二维图像等） 数据质量依赖于传感器的特性和局限性（如带宽、分辩率、灵敏度、信噪比等） 预处理 采用特定方法，对样本数据进行分割、噪声滤除、边缘增强等处理 预处理的方法与样本对象所属领域密切相关（如语音、图像），即预处理的面向问题的,74,被干扰的心电信号,预处理（滤波）后的心电信号,75,模式识别的一般过程,特征提取 采用特定的方法提取反映样本本质特性的特征（Feature），压缩原始数据 例如，语音信号的常用特征为短时能量、短时过零率、基音周期、共振峰等,76,电话拨号音,77,特征表达 用反映事物本质特性的特征向量表达模式,模式识别的一般过程,78,统计分析 采用一定的统计方法，通过学习样本的分布规律，建立识别模型，推断出分类准则。,模式识别的一般过程,鲑 鱼,鲈 鱼,79,模式识别的一般过程,识别分类 根据分类准则，对待识样本进行分类。,鲑 鱼,鲈 鱼,判别标准：判别边界,