模式识别讲义第一章

《模式识别讲义第一章》由会员分享，可在线阅读，更多相关《模式识别讲义第一章（28页珍藏版）》请在金锄头文库上搜索。

1、软件教研室软件教研室模 式 识 别软件教研室软件教研室第一章 引言 模式识别基本概念模式识别基本概念 模式识别的发模式识别的发展展 模式识别的方法模式识别的方法 模式识别系统的基本原理模式识别系统的基本原理 模式识模式识别的基本问题别的基本问题软件教研室软件教研室例子1：医生诊病过程1)测量病人的体温和血压，化验血沉，询问临床表现；2)通过综合分析，抓住主要病症；3)医生运用自己的知识、经验，根据主要病症、测量化验结 果，作出正确的诊断。 在模式识别技术中，常用的术语有：样本、模式、特征 、类型等等，对照医生诊病过程，有： a.样本：医院里的众多患者，每个患者都是一个样本；单一样本：医生诊断的

2、某一患者，就是样本空间中的一个 单一样本；样本值：某一患者的化验、检查结果与表征现象。 b.模式：各样本值按一定的数据准则综合的结果；模式样本：具有某种模式的样本；模式采集：获取某样本的测量数值的过程；软件教研室软件教研室医生诊病过程c.特征：患者某些具有显著特征的化验数据及表征；特征选择与提取：能表征(疾病)特异性的化验结果与表 征； d.判决：医生运用知识、病例经验综合分析给出诊断；判决准则/规则：医生的知识判决结果：将患者明确(或以概率)确定为某一种病症(或 多种/并发病症)的患者(及病患严重程度) 事实上，最后的结果也成为分类。因此有预先知道类别( 已知病症)与未知类别(未知病症)的区

3、别。 模式识别：就是以计算机为工具、各种传感器为信息来 源，数据计算与处理为方法，对各种现象、事物、状态 等进行准确地分析、判断识别与归类。软件教研室软件教研室 模式：是一个物体或感兴趣实体的定量的或结构的 描述。 模式类：是具有某些共同特性的模式的集合。 模式识别：从不相关的细节背景中，抽取数据的有 意义的特征或属性, 根据这些特征和属性对数据进行 分类，把特征和属性相同的数据归成同一类。 具体项目的识别：识别字符、图画某些其他、音乐 及周围事物的过程，分为视觉和听觉识别。 抽象项目的识别：不靠外界的感官刺激而识别一个 古老的论点或某个问题的解答。基 本 概 念软件教研室软件教研室模式识别的

4、发展 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论,奠定了统计模式识别的 基础。因此，在6070年代，统计模式识别发展很快，但 由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数 灾难”。随着计算机运算速度的迅猛发展，这个问题得到一 定克服。目前，统计模式识别仍是模式识别的主要理论。 50年代 Noam Chemsky 提出形式语言理论，在此基础上 ，美籍华人付京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理 论得到了较广泛的应用。软件教研室软件教研室模式识别的发展 80年代 Hopf

5、ield提出神经元网络模型理论。近些年人 工神经元网络在模式识别和人工智能上得到较广泛的应 用。 90年代 小样本学习理论，支持向量机也受到了很大的 重视。 1973年 IEEE发起了第一次关于模式识别的国际会议 “ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开 一次国际学术会议； 1977年 IEEE的计算机学会成立了模式分析与机器智能 （PAMI）委员会，每2年召开一次模式识别与图象处理 学术会议； 国内的组织有电子学会，通信学会，自动化协会，中 文信息学会.。软件教研室软件教研室模式识别的发展 模式识别的应用领域更加广泛：生物、医学、军事、农业、工业、社会、教育、航天、 航

6、空、经济、金融、生物认证、数字水印 基于语音：重点人物通信监控语音识别系统/规模音频资料检索 基于图像：光学字符识别(Optical Character Recognition OCR)/车牌识 别(Vehicle License Plate Recognition VLPR)/人脸识别/指纹识 别/签名认证/支票认证/表情和手势识别/农作物分类与害虫 识别/生物信息学：DNA识别/航空与卫星遥测遥感数据资源 调查/军用目标的图像识别/基于图形模式识别的机器人控制 等 基于工程数据：振动模式分析与故障诊断/石油钻井数据分析与事故预报/ 基于状态模式的智能控制/数据挖掘与知识发现等软件教研室软件

7、教研室模式识别的发展 模式识别的计算手段更加先进：海量存储技术、高速计算/并行计算技术、网格技术、网络技术、新型前端器件(激光、红外、MEMS、传感器网络) 模式识别的新型算法层出不穷：Computation with word(Zadeh)Soft ComputationDNA Computation 国内外模式识别的学术活动从未间断:小波/模式识别国际会议、机器学习/模式识别国际会议 、图像处理/模式识别国际会议、数据挖掘/模式识别国际 会议软件教研室软件教研室模式识别的方法决策理论方法（统计识别法）：以判别函数为基础，利用判别函数对模式进行分类。句法模式识别（结构模式识别）：将对象分解为

8、若干个基本单元基元，用基元和他们的结构关系描述对象，运用形式语言理论进行句法分析，根据其是否符合某一类的文法而决定其类别。模糊模式识别：运用模糊数学的理论和方法解决模式识别问题，适用于分类识别对象本身或要求的识别结果具有模糊性的场合。人工神经网络法：是由大量简单的神经元相互连接而构成的非线性动态系统，具有学习、自组织、联想能力，在学习中具有自动提取特征，进行识别、决策。人工智能方法：人工智能研究如何使机器具有人脑功能的理论和方法。将学习、知识表示、推理等用于模式识别。软件教研室软件教研室统计模式识别统计模式识别：是以决策函数为基础，对模式向量进行分类。例w1,w2判别函数：d(X)=w1x1+

9、w2 x 2+w3=0式中w为参数，x1，x2是模式的坐标变量并且d(X)代表d(x1,x2)，把任何落在分界线上的观测值X代入上述方程式都得到d(X)=0，任何来自w1类的模式X，在代入d(X)时，得一负数，而w2则位于正数一边。N维情况下：w1w2X1X2+-i=1dk(X) = Wkll (X) k=1,2nk软件教研室软件教研室模式识别系统的基本原理 信息的获取：是通过传感器，将光或声音等信息转化为电信息。信息可以是二维 的图象如文字，图象等；可以是一维的波形如声波，心电图，脑电图；也可以是 物理量与逻辑值等等。预处理：包括A/D, 二值化，图象的平滑，变换，增强，恢复，滤波等。特征抽

10、取和选择：在模式识别中，需要进行特征的抽取和选择，如，一幅64*64 的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空 间最能反映分类本质的特征。这就是特征提取和选择的过程。分类器设计：主要功能是通过训练确定判决规则，使按此类判决规则分类时，错 误率最低。把这些判决规则建成判决规则标准库,这一过程称为分类器设计。分类决策：在特征空间中对被识别对象进行分类。软件教研室软件教研室模式识别的基本问题 模式(样本)表示方法 模式类的紧致性 相似与分类 特征的生成 数据标准化软件教研室软件教研室模式表示法_向量表示法模式向量：以数量信息为特征的模式表示。即以模式的n个特征量测值

11、组成一个n维特征矢量 X=(x1,x2,xn)T表示模式。例：字符识别机，辨别每个输入，判断它是属于哪一种字符，AZ、09、拒绝类，共26+10+1=37个模式类。采用光电阵列把字符变成二值的图象，如66方阵，X=x1x2x3x36T。 软件教研室软件教研室矩阵表示: N个样本，n个变量(特征)软件教研室软件教研室几何表示一维表示 X1=0.5 X2=3 二维表示X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示X1=(x1,x2,x3)T=(1,1,0)TX2=(x1,x2,x3)T=(1,0,1)T软件教研室软件教研室符号串表示法（1） 定义了一定的模式基

12、元，用模式基元的连接表示模式。ba阶梯模式：ababab 即 (ab)n,n1软件教研室软件教研室符号串表示法（2） 定义算子,增加串的表示能力 请给出串对应的模式：(a+b)*c*d+c+(d)baa+bb aabba a*bbb习题：a模式基元：cbda模式基元：ba-bba软件教研室软件教研室树表示法 任何一个分层有序系统都导致树结构，引入“在内部”关系、“由组成”关系。 abcdefghi$ a$bcihgdfeR2 R1R3T1T2墙（W）地板F立方体C锥体P锥体P$景物物体背景地板F墙W立方体CT1T2R1R2R3软件教研室软件教研室网表示法网表示法：网是无向带标志的点图。在上图中

13、，我们在引入“与连接”，就可以得到图所示的网。 R2 R1 R3 T1T2墙（W）地板F立方体C锥体P$景物物体背景地板F墙W锥体P立方体CT1T2R1R2R3软件教研室软件教研室二. 模式类的紧致性1. 紧致集：同一类模式类样本 的分布比较集中，没有临界样 本或者临界样本很少，这样的 模式类称紧致集。2. 临界点(样本)：在多类样本中，某些样本的值有微小变化时就变成另一 类样本称为临界样本（点）。 3. 紧致集的性质 要求临界点很少. 集合内的任意两点的连线,在线上的点属于同 一集合. 集合内的每一个点都有足够大的邻域,在邻域内只包含同一集合的点. 4. 模式识别的要求: 满足紧致集，才能很

14、好的分类；如果不满足紧致集， 就要采取变换的方法,满足紧致集.软件教研室软件教研室相似与分类1.两个样本 xi 和 xj 之间的相似度量满足以下要求： 应为非负值。 样本本身相似性度量应最大。 度量应满足对称性。 在满足紧致性的条件下，相似性应该是点间距离的单调函数。2. 用各种距离表示相似性：已知两个样本 xi=(xi1, xi2 , xi3,xin)Txj=(xj1, xj2 , xj3,xjn)T常用的距离有欧氏距离、马氏距离等软件教研室软件教研室 绝对值距离 欧几里德距离明考夫斯基距离其中当q=1时为绝对值距离，当q=2时为欧氏距离. 切比雪夫距离 q趋向无穷大时明氏距离的极限情况.

15、马哈拉诺比斯距离其中xi ，xj为特征向量，为协方差. 使用的条件是样本符合正态分布.软件教研室软件教研室 夹角余弦xi xj样本(向量)间夹角越小，两个样本越具有相似性. 例： x1 , x2 , x3 , x4的夹角如图：x1和x2间的夹角最小，所以x1 , x2 最相似，可以归为同一类.x3x1x2x4软件教研室软件教研室 相关系数为xi xj的均值. 注意：在求相关系数之前，要将数据标准化.3. 分类的主观性和客观性 分类的主观性：目的不同，分类不同。例如：鲸鱼，牛， 马从生物学的角度来讲都属于哺乳类，但是从产业角度来讲 鲸鱼属于水产业，牛和马属于畜牧业。 分类的客观性：科学性判断分类

16、必须有客观标准，因此分 类是追求客观性的，但主观性也很难避免，这就是分类的复 杂性。软件教研室软件教研室四. 特征的生成1.低层特征：无序尺度：有明确的数量和数值.有序尺度：有先后、好坏的次序关系，如酒分为上， 中，下三个等级.名义尺度：无数量、无次序关系，如有红，黄两种颜 色.2. 中层特征：经过计算，变换得到的特征.3. 高层特征：在中层特征的基础上有目的的经过运算形成.例如：椅子的重量=体积*比重.体积与长，宽，高有关；比重与材料，纹理，颜色有关。 这里低、中、高三层特征都有了。软件教研室软件教研室五.数据的标准化1.极差标准化: 一批样本中，每个特征的最大值与最小值之差为极差。极差极差标准化2.方差标准化：Si 为方差标准化的方法很多，原始数据是否应该标准化，应采用 什么方法标