中科院模式识别第一章

《中科院模式识别第一章》由会员分享，可在线阅读，更多相关《中科院模式识别第一章（56页珍藏版）》请在金锄头文库上搜索。

1、模式识别 - 概念、原理（算法）及其应用黄庆明 中科院研究生院信息学院 / 助教：刘纯熙（）李国荣（）引 言 课程对象 计算机应用技术专业硕士研究生的专业 基础课 电子科学与技术学科硕士研究生的专业 基础课 与模式识别相关的学科 统计学 概率论 线性代数（矩阵计算） 形式语言 机器学习 人工智能 图像处理 计算机视觉 教学方法 着重讲述模式识别的基本概念，基本方 法和算法原理。 注重理论与实践紧密结合 实例教学：通过大量实 例讲述如何将所学知识运用到实际 应用之中 避免引用过多的、繁琐的数学推导。 教学目标 掌握模式识别的基本概念和方法 有效地运用所学知识和方法解决实际问 题 为研究新的模式

2、识别的理论和方法打下 基础 题外话 基本：完成课程学习，通过考试，获得学分 。 提高：能够将所学知识和内容用于课题研究 ，解决实际问题。 飞跃：通过模式识别的学习，改进思维方式 ，为将来的工作打好基础，终身受益。参考文献 R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有 中译本）. 边肇祺，模式识别（第二版），清华大 学出版社，2000。 蔡元龙，模式识别，西北电讯工程学院 出版社，1986。机构、会议、刊物 1973年 IEEE发起了第一次关于模式识别的国际 会议“ICPR”（此后两年一次），

3、成立了国际模式 识别协会-“IAPR” 1977年IEEE成立PAMI委员会，创立IEEE Trans. on PAMI，并支持ICCV, CVPR两个会议 其它刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI)第一章 模式识别概论什么是模式（Pattern）？什么是模式？ 广义地说，

4、存在于时间和空间中可观察的物 体，如果我们可以区别它们是否相同或是否相 似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得 的信息，因此，模式往往表现为具有时间和空 间分布的信息。 模式的直观特性: 可观察性 可区分性 相似性模式识别的概念 模式识别 直观，无所不在，“人以类聚 ，物以群分” 周围物体的认知：桌子 、椅子 人的识别：张三、李四 声音的辨别：汽车、火 车，狗叫、人语 气味的分辨：炸带鱼、 红烧肉 人和动物的模式识别能力是极其平常的 ，但对计算机来说却是非常困难的。模式识别的研究 目的：利用计算机对物理对象进行分类 ，在错误概率最小的条件下，使识别的结 果尽量与客观物体

5、相符合。 Y = F(X) X的定义域取自特征集 Y的值域为类别的标号集 F是模式识别的判别方法模式识别简史 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字 。 30年代 Fisher提出统计分类理论，奠定了统计模式识 别的基础。 50年代 Noam Chemsky 提出形式语言理论傅京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别 方法得以发展和应用。 80年代以Hopfield网、BP网为代表的神经网络模型导 致人工神经元网络复活，并在模式识别得到较广泛的应 用。 90年代小样本学习理论，支持向量机也受到了很大的 重视。模式识别

6、的应用（举例） 生物学 自动细胞学、染色体特 性研究、遗传研究 天文学 天文望远镜图像分析、 自动光谱学 经济学 股票交易预测、企业行 为分析 医学 心电图分析、脑电图分 析、医学图像分析模式识别的应用（举例） 工程 产品缺陷检测、特征识 别、语音识别、自动导航系统、污 染分析 军事 航空摄像分析、雷达和 声纳信号检测和分类、自动目标识 别 安全 指纹识别、人脸识别、 监视和报警系统模式识别方法 模式识别系统的目标：在特征空间和解 释空间之间找到一种映射关系，这种映射 也称之为假说。 特征空间：从模式得到 的对分类有用的度量、属性或基元 构成的空间。 解释空间：将c个类别表 示为 其中 为所属

7、类别的集 合，称为解释空间。 假说的两种获得方法 监督学习、概念驱动或归纳假说：在特征空 间中找到一个与解释空间的结构相对应的假说 。在给定模式下假定一个解决方案，任何在训 练集中接近目标的假说也都必须在“未知”的样本 上得到近似的结果。 依靠已知所属类别的的训练 样本集，按它们特征向量的分布来确定假 说 （通常为一个判别函数），在判别函 数确定之后能用它对未知的模式进行分类 ； 对分类的模式要有足够的先 验知识，通常需要采集足够数量的具有典 型性的样本进行训练。假说的两种获得方法（续） 非监督学习、数据驱动或演绎假说：在解释 空间中找到一个与特征空间的结构相对应的假 说。这种方法试图找到一种

8、只以特征空间中的 相似关系为基础的有效假说。 在没有先验知识的情况下， 通常采用聚类分析方法，基于“物以类聚” 的观点，用数学方法分析各特征向量之间 的距离及分散情况； 如果特征向量集聚集若干个 群，可按群间距离远近把它们划分成类； 这种按各类之间的亲疏程度 的划分，若事先能知道应划分成几类，则 可获得更好的分类结果。模式分类的主要方法 数据聚类 统计分类 结构模式识别 神经网络数据聚类 目标：用某种相似性度量的方法将原始 数据组织成有意义的和有用的各种数据集 。 是一种非监督学习的方法，解决方案是 数据驱动的。统计分类 基于概率统计模型得到各类别的特征向 量的分布，以取得分类的方法。 特征向

9、量分布的获得是基于一个类别已 知的训练样本集。 是一种监督分类的方法，分类器是概念 驱动的。结构模式识别 该方法通过考虑识别对象的各部分之间的联 系来达到识别分类的目的。 识别采用结构匹配的形式，通过计算一个匹 配程度值（matching score）来评估一个未知的 对象或未知对象某些部分与某种典型模式的关 系如何。 当成功地制定出了一组可以描述对象部分之 间关系的规则后，可以应用一种特殊的结构模 式识别方法 句法模式识别，来检查一个模式 基元的序列是否遵守某种规则，即句法规则或 语法。神经网络 神经网络是受人脑组织的生理学启发而创立 的。 由一系列互相联系的、相同的单元（神经元 ）组成。相

10、互间的联系可以在不同的神经元之 间传递增强或抑制信号。 增强或抑制是通过调整神经元相互间联系的 权重系数来（weight）实现。 神经网络可以实现监督和非监督学习条件下 的分类。模式识别系统 模式识别系统的基本构成数据 获取特征提取 和选择预处理 分类 决策分类器 设计模式识别系统组成单元 数据获取：用计算机可以运算的符号来 表示所研究的对象 二维图像：文字、指纹、地图 、照片等 一维波形：脑电图、心电图、 季节震动波形等 物理参量和逻辑值：体温、化 验数据、参量正常与否的描述 预处理单元：去噪声，提取有用信息， 并对输入测量仪器或其它因素所造成的退 化现象进行复原模式识别系统组成单元 特征提

11、取和选择：对原始数据进行变换，得到 最能反映分类本质的特征 测量空间：原始数据组成的空 间 特征空间：分类识别赖以进行 的空间 模式表示：维数较高的测量空 间-维数较低的特征空间 分类决策：在特征空间中用模式识别方法把被 识别对象归为某一类别 基本做法：在样本训练集基础 上确定某个判决规则，使得按这种规则对 被识别对象进行分类所造成的错误识别率 最小或引起的损失最小模式识别过程实例 在传送带上用光学传感器件对鱼按品种 分类 鲈鱼(Seabass) 品种 鲑鱼(Salmon)识别过程 数据获取：架设一个摄像机，采集一些 样本图像，获取样本数据 预处理：去噪声，用一个分割操作把鱼 和鱼之间以及鱼和

12、背景之间分开识别过程 特征提取和选择：对单个鱼的信息进行特征 选择，从而通过测量某些特征来减少信息量 长度 亮度 宽度 鱼翅的数量和形状 嘴的位置，等等 分类决策：把特征送入决策分类器模式分类器的获取和评测过程 数据采集 特征选取 模型选择 训练和测试 计算结果和复杂度分析，反馈训练和测试 训练集：是一个已知样本集，在监督学 习方法中，用它来开发出模式分类器。 测试集：在设计识别和分类系统时没有 用过的独立样本集。 系统评价原则：为了更好地对模式识别 系统性能进行评价，必须使用一组独立于 训练集的测试集对系统进行测试。实例：统计模式识别 19名男女同学进行体检，测量了身高和 体重，但事后发现其

13、中有4人忘记填写性 别，试问（在最小错误的条件下）这4人 是男是女？体检数值如下：实例：统计模式识别（续） 待识别的模式：性别（男或女） 测量的特征：身高和体重 训练样本：15名已知性别的样本特征 目标：希望借助于训练样本的特征建立 判别函数（即数学模型）实例：统计模式识别（续） 由训练样本得到的特征空间分布图实例：统计模式识别（续） 从图中训练样本的分布情况，找出男、 女两类特征各自的聚类特点，从而求取一 个判别函数（直线或曲线）。 只要给出待分类的模式特征的数值，看 它在特征平面上落在判别函数的哪一侧， 就可以判别是男还是女了。实例：句法模式识别 问题：如何利用对图像的结构信息描述 ，识别

14、如下所示图片：实例：句法模式识别（续） 将整个场景图像结构分解成一些比较简 单的子图像的组合； 子图像又用一些更为简单的基本图像单 元来表示，直至子图像达到了我们认为的 最简单的图像单元（基元）； 所有这些基元按一定的结构关系来表示 ，利用多级树结构对其进行描述（这种描 述可以采用形式语言理论）。实例：句法模式识别（续） 多级树描述结构实例：句法模式识别（续） 训练过程： 用已知结构信息的图像 作为训练样本，先识别出基元（比 如场景图中的X、Y、Z等简单平面 ）和它们之间的连接关系（例如长 方体E是由X、Y和Z三个面拼接而 成），并用字母符号代表之； 然后用构造句子的文法 来描述生成这幅场景的

15、过程，由此 推断出生成该场景的一种文法。实例：句法模式识别（续） 识别过程： 先对未知结构信息的图 像进行基元提取及其相互结构关系 的识别； 然后用训练过程获得的 文法做句法分析； 如果能被已知结构信息 的文法分析出来，则该幅未知图像 与训练样本具有相同的结构（识别 成功），否则就不是这种结构（识 别失败）。本门课程的主要内容 第一章 概论 第二章 聚类分析 第三章 判别函数 第四章 统计判别 第五章 特征选择和提取 第六章 神经网络 第七章 句法模式识别 第八章 模糊模式识别 第九章 模式识别应用相关数学概念 随机向量及其分布 随机向量 如果一个对象的特征 观察值为x1, x2, , xn，它可构成一 个n维的特征向量值x，即x = (x1, x2, , xn)T式中， x1, x2, , xn 为特征向量x的各个分量。 一个特征可以看作n维 空间中的向量或点，此空间称为模式 的特征空间Rn。相关数学概念 随机向量及其分布 随机向量 在模式识别过程中， 要对许多具体对象进行测量，以获得 许多次观测值。 每次观测值不一定相 同，所以对许多对象而言，各个特征 分量