《模式识别原理》由会员分享，可在线阅读，更多相关《模式识别原理（48页珍藏版）》请在金锄头文库上搜索。
1、w 模式识别原理 3学分 60学时(连自学和考试时间） w 一 课本 w 1数字图象处理与模式识别 余英林编著， 华 南理工大学出版社，（1990） 第九章以后 w 2模式识别 边肇祺著 清华大学出版社 1988 2000第二版 14章 6章 w 3.句法模式识别傅京荪著 w 二 参考书 w 1数字处理处理 Kenneth R Castleman 清华 大学出版社 “pattern recongnition” w 2句法模式识别 R。C Gonzalaz w 3. Satosi Watanabe：“Pattern Recognition” Human & Machanical” (1995年)
2、 w 4.模式识别与图象处理 戚飞虎等译 上海交大 出版社（1989） w 全面浏览和备忘手册，还有各种识别应用语言，字符 、地震，水声 w 5.计算机文字识别技术 胡家忠著 气象出版社 1994 w 文字识别是PR一个重要分支，研究得较为充分，有许 多行之有效得识别方法，应用越来越广泛，作者是第 一线的干将。 w 6 语音处理与识别胡光锐著 上海科技文献出版 社 1994 w 语音处理手册，有些基本的程序。有关的现成工作不 需自己去搞，省下的时间可用于探索新事物。 w 7神经网络在模式识别中的应用 张立明著 复旦 大学出版社 1993 w 识别工作日新月异地发展，各种识别方法层出不穷， 不断
3、完善，要不断学习。 w 8 自适应模式识别与神经网络 包约翰 有英文 本，中译本 w kohonen极力推荐 w 在美国颇受欢迎地研究生教材 w 阐述模式识别与神经网络地基本概念、原理与准则 w 内容： w 模式性质 w 统计PR w 模糊集合理论及方法 w 非数值特征的PR w 神经网络简介 w BP算法 w 联想存贮及Hopfield网 w 自组织网络及用神经网络实用自适应PR的若干方法 w 内容编排与国内教材很不相同（上课还是按既定方针 ）w 三 课程安排 w 统计PR w 1 简介 w 2 贝叶斯法决策理论 近似步骤，计算负荷（训练 ）检验 神经网络分类器 常规分类器 w 决策规则 分
4、类器设计 几种贝叶斯分类、最小分类 、最邻近分类 w 3 概率密度函数估计 w 密度估计 w 分类器错误率估计 w 4 判别函数 w 线性判别函数 线性可分性 w 准则函数 感知准则 w 5 特征选择与提取w 6 聚类分析 w 7 句法模式识别 w 源模式选择和模式文法（描述，化简，推断） w 自动机实现识别 w 8 模式分析 w 系统结构中控制模块数学模型，结构表示 w AI问题求解模型及搜索技术在理解目标内容模式分类 和表达中的应用，对感兴趣目标进行检测，测量，获 得客观信，建立其描述 w 9 神经网络在PR中的应用 w 用前馈网络实现任意分界面 线性 w RBF网络 w BP网应用 w
5、联想记忆 w 自适应谐振理论（ART）w 10 其他 w a Fukushima 神经认知机 w b 最优算法：遗传算法，进化算法等 w c 模糊P.R w （上下文有关分类），隐马尔可夫模型， Viterbi算法等用于（信号处理中有）w Chap 1 基本知识 w 一 基本数学方法 w 1 集合论几个关系 模式识别是模式从模式空间到类 别隶属空间的正确映射 w 模式集合 元素为模式值 模式集中 元素数n w P（x）具有性质P的x 某种逻辑性质或物理性质 w 具有P的那些x的集合 w 幂集 所有子集（含空集）P（x）有个元素 w 可表示为 所有被包含于X的集合的集合。 w 模式集间映射运算
6、若有 （定义域 ），则 （值域）； 值域 （从模式集X到 模式集Y的关系） w 若映射运算， 且有 w 则 为特征函数w 集合A为具有某个性质的元素集合，则X的元素 x到集合A的映射的取值为： w 某个元素x不属于该集合时（不具有某个性质 ），取值0 w 某个元素x属于该集合时（具有某个性质）， 取值1w 2 参考估计 w 给定模式样本 随机过程样本，可估 计其统计参量 ，估值为 w 不同逼近方法，不同逼近条件，如何逼近真值？不同 估计 w 兼容估计（Consistent estimate） w 若有 ， w 则 为 的兼容估计，样本数极多时，以概率逼近 w 无偏估计（unbiased est
7、imate） w n任意给定（即n可有限），期望值 ， 为 的无偏估计 w 渐近无偏估计 w n有限时， 不成立，但 ，则 为 的渐近无偏估计 w 有效估计 w 最有效估计（most efficient estimate） w 与真值 的方差 w （平均 D 方差） w 讨论 的下限R，以便看 本身与 的距离而 不只是平均意义下的距离不同 w 如果存在估计 ，使 方差到达最小下 限，且 ，则 称为 的最有效估计 w 渐近最有效估计 w 估计 的有效度定义 w （模式样本数n为一定时）w （b）置信区间 真值落在区间的概率很大，在区间 外概率很小，（大小的定义可用某个门限值作参考） ，则称此区间
8、为的置信区间。 w 3 熵函数 w （1） 基于类似的概率依赖性的概念， 观察样本x并计算其后验概念以确定从此实验中获得多 少信息。观察一个样本，如果对所有类有相同的后验 概率，则模式等获得的信息最小或不确定性（熵）最 大。这样熵度量能用来估计模式向量x与类别之间的依 赖性。 w （2） 以下熵度量已由 度广义熵导出 ，定义： w a w w b w 香农 w c 贝叶斯距离（2次） w （三次） w 熵函数测度模式样本的分布的无规则程度，某一样本 ，事件的不确定性，输出信息的随机性。w 模式识别中使系统熵最小的理论： w 定义：结构函数J部分熵之和总体熵（系统熵） w 理解： w 两部分之间
9、关系清楚，相关性很大，意味着系统有结 构存在，可用其中一部分知识去推测另一部分情况。 w 如1与2有唯一关系，则总体熵为0。 w 2个部分组成： w （n个部分，每个部分情况有可能从其余部分推出） w N个部分组成w w a) 如果系统杂乱无章，没有结构w b) 如系统结构非常确定 w w 系统结构性强，则较易被分类和分析，其总体熵小， 总的模式结构已经知道得很清楚，总体熵为0。 w 要对一个系统实行模式分类和分析，就是要找一个分 类方法使系统结构尽量清楚，使系统熵最小。 w 二 概况、术语、研究方法 w 1） 概况 50年代起步，前2页已提到，60年代发展 相当迅速，70年代 w 近代数理统
10、计理论、信息论、控制论、系统论、计算 机技术等得发展，形成近代模式识别。 w 2） 术语 w 模式（Pattern）所研究系统表现出来得一些有规 则得典型结构特征（反义词是：杂乱无章） w 模式样本（Pattern Samples）表示各种模式的有 意义的测量数据。 w 如： 水果 大小、 颜色、 甜度 w w 模式 样本值 w 测量值模式样本值，挑最合适、最重要的测量值作模 式样本值。 w 数字矩阵w w 模式需要几个样本值来充分表征其各种特征，此模式 样本是一个n维向量，采集了m个样本（测量m次）。 w 特征值 Feature 性质值 Properties w 上面表征模式特征的n个量称为
11、该模式样本的特征值、 性质值。 w 特征空间（Feature Space）w n个特征值组成一个n维特征向量或性质向 量。 w 建立一个n维空间，各坐标轴对应于 ，每个样本为空间中一个点，称之为特征空间，性质 空间。 w 特征向量 w 特征提取过程，从测量值中抽取特征值。 w 简单模式与复杂模式简单模式组成、子模式类别、 构成规则 分类模式分析 w 模式识别的对象只要求并属于何种类别（模式分类） 。 w 3 模式识别问题可解决的先决条件 w 代表性给定模式样本充分代表所研究模式的各 方面性质要求抽样足够密所得结论要能推广到其 他样本 w 说明性对简单模式，必须能找到说明它属于何 类的参数。 w
12、 可分性：同类模式，有几乎差不多得特征值 w 不同类模式，特征值差得远 w 唯一性：假定结构规律，各个子模式复杂模式 w w 4 研究方法 w 模式：有规则得特征得数据结构：特征名称，特征 值，特征间关系 w 识别：被识别目标事件类别 w （事物，现象）观察者感知认知器官去映射（人类 映射不透明） w 用计算机语言去精确地选择描速目 标事件特征（使映射从不透明变透明）并模仿人对各 种事物，现象地判断能力来对其加以识别。 w 模式识别两阶段，方向内容，模式分类：事物是什 么东西 分析：要选择最好地方法，能适应改变的条 件。 w 模式分类：与模式表达方式选择有关 两个传统领域 ： 统计模式 句法P
13、R w 统计PR 运用统计分类和决策估计理论解决问题。 w 用到：参量估计、分类、类别分析 w 原理框图： w 句法PR 逻辑关系，结构关系 w 数字语言技术和计算机语言用于识别分类（模式文法 ，产生规则，文法推理） w 模式句子 w 分类过程分析句子，看是否满足某一文法（该文 法表某一类） w 复合模式模式原（最简单的已被认识的） w 是限于前后关系的方法，对更一般结构，复杂结构无 能为力。 w B 模式分析 谱系结构、树形结构表示，按最小代价 路径来搜索 w 结合人工智能， 有自适应性、有选择最好方法的能力 。 w C 模糊数学法 模糊分类法， 按最大隶属度原则分类 赋予特征模糊性。 w
14、三 一个简单的统计分类器工作 w 模式样本w 给定 类别集合 w 问题:从模式统计样本，求分类准则 w 设 出现在 类的概率为 （先验概率） w 据Bayes公式 w w 模式样本 属于 类的后验概率 w 特殊，若令每类出现的等概率。w 则 w w 这时只需看前验概率 w w 不管x属于哪一类，为const值。 w 据最大似然准则（max likelihood）作出分类判别准 w 若 w 判 w 等先验概率时，所以 若 w 即为 的充要条件 w 进一步 设 取对数化简，得函数w 可见 的临界面为上述式子（设为 ）为0 w 即判别函数为 ，鉴别第I类与第j类 w 若只有第I类和第j类，则w Chap2 贝叶斯决策理论 w PR分类： 根据识别对象特征某个类别 w 分类问题基本理论之一统计决策理论（模式分析 分类器设计）基本方法之一 贝叶斯决策理论 w 贝叶斯分类要求 w 各类别总体概率分布已知（各类别 ；先验 ， 类条件 w 要决策的类别数已
