《模式识别原理》ppt课件

《《模式识别原理》ppt课件》由会员分享，可在线阅读，更多相关《《模式识别原理》ppt课件（48页珍藏版）》请在金锄头文库上搜索。

1、,模式识别原理 3学分 60学时(连自学和考试时间） 一 课本 1数字图象处理与模式识别 余英林编著， 华南理工大学出版社，（1990） 第九章以后 2模式识别 边肇祺著 清华大学出版社 1988 2000第二版 14章 6章 3.句法模式识别傅京荪著,二 参考书 1数字处理处理 Kenneth R Castleman 清华大学出版社 “pattern recongnition” 2句法模式识别 R。C Gonzalaz 3. Satosi Watanabe：“Pattern Recognition” Human & Machanical” (1995年) 4.模式识别与图象处理 戚飞虎等译

2、上海交大出版社（1989） 全面浏览和备忘手册，还有各种识别应用语言，字符、地震，水声 5.计算机文字识别技术 胡家忠著 气象出版社 1994 文字识别是PR一个重要分支，研究得较为充分，有许多行之有效得识别方法，应用越来越广泛，作者是第一线的干将。,6 语音处理与识别胡光锐著 上海科技文献出版社 1994 语音处理手册，有些基本的程序。有关的现成工作不需自己去搞，省下的时间可用于探索新事物。 7神经网络在模式识别中的应用 张立明著 复旦大学出版社 1993 识别工作日新月异地发展，各种识别方法层出不穷，不断完善，要不断学习。 8 自适应模式识别与神经网络 包约翰 有英文本，中译本 kohon

3、en极力推荐 在美国颇受欢迎地研究生教材 阐述模式识别与神经网络地基本概念、原理与准则,内容： 模式性质 统计PR 模糊集合理论及方法 非数值特征的PR 神经网络简介 BP算法 联想存贮及Hopfield网 自组织网络及用神经网络实用自适应PR的若干方法 内容编排与国内教材很不相同（上课还是按既定方针）,三 课程安排 统计PR 1 简介 2 贝叶斯法决策理论 近似步骤，计算负荷（训练）检验 神经网络分类器 常规分类器 决策规则 分类器设计 几种贝叶斯分类、最小分类、最邻近分类 3 概率密度函数估计 密度估计 分类器错误率估计 4 判别函数 线性判别函数 线性可分性 准则函数 感知准则 5 特征

4、选择与提取,6 聚类分析 7 句法模式识别 源模式选择和模式文法（描述，化简，推断） 自动机实现识别 8 模式分析 系统结构中控制模块数学模型，结构表示 AI问题求解模型及搜索技术在理解目标内容模式分类和表达中的应用，对感兴趣目标进行检测，测量，获得客观信，建立其描述 9 神经网络在PR中的应用 用前馈网络实现任意分界面 线性 RBF网络 BP网应用 联想记忆 自适应谐振理论（ART）,10 其他 a Fukushima 神经认知机 b 最优算法：遗传算法，进化算法等 c 模糊P.R （上下文有关分类），隐马尔可夫模型，Viterbi算法等用于（信号处理中有）,Chap 1 基本知识 一 基本

5、数学方法 1 集合论几个关系 模式识别是模式从模式空间到类别隶属空间的正确映射 模式集合 元素为模式值 模式集中元素数n P（x）具有性质P的x 某种逻辑性质或物理性质 具有P的那些x的集合 幂集 所有子集（含空集）P（x）有个元素 可表示为 所有被包含于X的集合的集合。 模式集间映射运算 若有 （定义域），则 （值域）； 值域 （从模式集X到模式集Y的关系） 若映射运算， 且有 则 为特征函数,集合A为具有某个性质的元素集合，则X的元素x到集合A的映射的取值为： 某个元素x不属于该集合时（不具有某个性质），取值0 某个元素x属于该集合时（具有某个性质），取值1,2 参考估计 给定模式样本 随

6、机过程样本，可估计其统计参量 ，估值为 不同逼近方法，不同逼近条件，如何逼近真值？不同估计 兼容估计（Consistent estimate） 若有 ， 则 为 的兼容估计，样本数极多时，以概率逼近 无偏估计（unbiased estimate） n任意给定（即n可有限），期望值 ， 为 的无偏估计 渐近无偏估计 n有限时， 不成立，但 ，则为 的渐近无偏估计,有效估计 最有效估计（most efficient estimate） 与真值 的方差 （平均 D 方差） 讨论 的下限R，以便看 本身与 的距离而不只是平均意义下的距离不同 如果存在估计 ，使 方差到达最小下限，且 ，则 称为 的最有

7、效估计 渐近最有效估计 估计 的有效度定义 （模式样本数n为一定时）,（b）置信区间 真值落在区间的概率很大，在区间外概率很小，（大小的定义可用某个门限值作参考），则称此区间为的置信区间。,3 熵函数 （1） 基于类似的概率依赖性的概念，观察样本x并计算其后验概念以确定从此实验中获得多少信息。观察一个样本，如果对所有类有相同的后验概率，则模式等获得的信息最小或不确定性（熵）最大。这样熵度量能用来估计模式向量x与类别之间的依赖性。 （2） 以下熵度量已由 度广义熵导出，定义： a b 香农 c 贝叶斯距离（2次）, （三次） 熵函数测度模式样本的分布的无规则程度，某一样本，事件的不确定性，输出信

8、息的随机性。,模式识别中使系统熵最小的理论： 定义：结构函数J部分熵之和总体熵（系统熵） 理解： 两部分之间关系清楚，相关性很大，意味着系统有结构存在，可用其中一部分知识去推测另一部分情况。 如1与2有唯一关系，则总体熵为0。 2个部分组成： （n个部分，每个部分情况有可能从其余部分推出） N个部分组成,a) 如果系统杂乱无章，没有结构 b) 如系统结构非常确定 系统结构性强，则较易被分类和分析，其总体熵小，总的模式结构已经知道得很清楚，总体熵为0。 要对一个系统实行模式分类和分析，就是要找一个分类方法使系统结构尽量清楚，使系统熵最小。,二 概况、术语、研究方法 1） 概况 50年代起步，前2

9、页已提到，60年代发展相当迅速，70年代 近代数理统计理论、信息论、控制论、系统论、计算机技术等得发展，形成近代模式识别。 2） 术语 模式（Pattern）所研究系统表现出来得一些有规则得典型结构特征（反义词是：杂乱无章） 模式样本（Pattern Samples）表示各种模式的有意义的测量数据。 如： 水果 大小、 颜色、 甜度 模式 样本值 测量值模式样本值，挑最合适、最重要的测量值作模式样本值。,数字矩阵 模式需要几个样本值来充分表征其各种特征，此模式样本是一个n维向量，采集了m个样本（测量m次）。 特征值 Feature 性质值 Properties 上面表征模式特征的n个量称为该模

10、式样本的特征值、性质值。,特征空间（Feature Space） n个特征值组成一个n维特征向量或性质向量。 建立一个n维空间，各坐标轴对应于 ，每个样本为空间中一个点，称之为特征空间，性质空间。 特征向量 特征提取过程，从测量值中抽取特征值。 简单模式与复杂模式简单模式组成、子模式类别、构成规则 分类模式分析 模式识别的对象只要求并属于何种类别（模式分类）。,3 模式识别问题可解决的先决条件 代表性给定模式样本充分代表所研究模式的各方面性质要求抽样足够密所得结论要能推广到其他样本 说明性对简单模式，必须能找到说明它属于何类的参数。 可分性：同类模式，有几乎差不多得特征值 不同类模式，特征值差

11、得远 唯一性：假定结构规律，各个子模式复杂模式,4 研究方法 模式：有规则得特征得数据结构：特征名称，特征值，特征间关系 识别：被识别目标事件类别 （事物，现象）观察者感知认知器官去映射（人类映射不透明） 用计算机语言去精确地选择描速目标事件特征（使映射从不透明变透明）并模仿人对各种事物，现象地判断能力来对其加以识别。 模式识别两阶段，方向内容，模式分类：事物是什么东西 分析：要选择最好地方法，能适应改变的条件。 模式分类：与模式表达方式选择有关 两个传统领域： 统计模式 句法PR 统计PR 运用统计分类和决策估计理论解决问题。 用到：参量估计、分类、类别分析,原理框图：,句法PR 逻辑关系，

12、结构关系 数字语言技术和计算机语言用于识别分类（模式文法，产生规则，文法推理） 模式句子 分类过程分析句子，看是否满足某一文法（该文法表某一类） 复合模式模式原（最简单的已被认识的） 是限于前后关系的方法，对更一般结构，复杂结构无能为力。,B 模式分析 谱系结构、树形结构表示，按最小代价路径来搜索 结合人工智能， 有自适应性、有选择最好方法的能力。 C 模糊数学法 模糊分类法， 按最大隶属度原则分类 赋予特征模糊性。 三 一个简单的统计分类器工作 模式样本 给定 类别集合 问题:从模式统计样本，求分类准则 设 出现在 类的概率为 （先验概率）,据Bayes公式 模式样本 属于 类的后验概率 特

13、殊，若令每类出现的等概率。 则 这时只需看前验概率 不管x属于哪一类，为const值。 据最大似然准则（max likelihood）作出分类判别准 若 判,等先验概率时，所以 若,即为 的充要条件 进一步 设 取对数化简，得函数 可见 的临界面为上述式子（设为 ）为0 即判别函数为 ，鉴别第I类与第j类 若只有第I类和第j类，则,Chap2 贝叶斯决策理论 PR分类： 根据识别对象特征某个类别 分类问题基本理论之一统计决策理论（模式分析分类器设计）基本方法之一 贝叶斯决策理论 贝叶斯分类要求 各类别总体概率分布已知（各类别 ；先验 ，类条件 要决策的类别数已知（类别数一定且已知，K类） 问题

14、归结为： n维向量空间类别集合 若特征空间已观察到某一向量（n维特征空间中某一个点） x分到哪一类最合理？ 以哪些决策规则来分类？ 分类错误率又如何？,一 几种常用决策规则 1 基于最小错误率的贝叶斯决策 目标：尽量减少分类错误e 方法：利用贝叶斯公式，使分类错误率减少，至 例：癌细胞的识别，细胞预处理后抽出n各特征条件 n个特征n维空间向量x 类别：细胞状态 概率分布： 看作随机变量，所以某状态出现的概率可以估计（如据医院病理检查的大量统计资料可获得正、异常比例）从而得状态先验概率,A 状态先验概率 正常状态概率 异常状态概率 且 只依靠先验 会得出全属于某一类的结论，分不开 要利用病理分析

15、，观测更多信息，如正常状态下细胞特征观察的。 B 类条件概率密度 具备上述，条件后分类 利用贝叶斯公式 后验概率 实质: 通过观察x把先验概率转化为状态后验概率，再进行分类。,规则 基于最小错误率的贝叶斯决策规则为（2类） 推广多类 合理的决策为 等价公式,两类问题 则 似然比阈值的似然比两端 为计算方便，取负对数 则,错误率分析：指平均错误率，定义 在整个n维特征空间上积分 两类别问题（难） ，此时把x分为第2类时，x条件错误概率为 ,分界点t处地两类别概率等，但也可能与实际不符,最小错误率规则实则是对每个样本x都使 取小，平均错误率 也达到最小，这就说明最小错误率贝叶斯决策规则的确使平均错误率最小。 多类别决策中，特征空间分成K个区域，每个区域记为 ，可能错分的情况很多，平均错误率将有 项。 K类，每类