《模式识别Chapter1》由会员分享，可在线阅读，更多相关《模式识别Chapter1（91页珍藏版）》请在金锄头文库上搜索。
1、Pattern Recognition北京交通大学北京交通大学电子信息工程学院电子信息工程学院2021/8/141Self-introduction黄 琳琳 , Ph.D, ProfessorTokyo University of Agriculture and TechnologyResearch: Image processing, pattern recognitionEmail: ; PW: bjtu2012 2021/8/142关于课程关于课程o 电路与系统电路与系统 二级学科二级学科o 专业基础课专业基础课 限选课限选课o 32 学时学时, 2 学分学分2021/8/143Wha
2、t is Pattern Recognition？2021/8/144What is Pattern Recognition？Face RecognitionSpeech RecognitionDocument Image Analysis 2021/8/145What is Pattern Recognition？2021/8/146What is Pattern Recognition？2021/8/147What is Pattern Recognition？ Two Al Qaeda suspects were recently taken into custody by U.S. i
3、mmigration authorities as they tried to enter the United States after their fingerprints were matched with ones lifted by U.S. military officials from documents found in caves in Afghanistan. 2021/8/1482021/8/1492021/8/14102021/8/1411模式识别模式识别n 信息感知与处理n 计算机模式识别n 模式识别应用及应用前景2021/8/1412计算机模式识别计算机模式识别o模
4、式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程数据数据获取获取模式模式分割分割模式模式识别识别姚明ROCKETS11视听觉信息处理视听觉信息处理2021/8/1413Applications of Pattern Recognition生物特征识别生物特征识别2021/8/1414Applications of Pattern Recognition遥感图像分析遥感图像分析2021/8/14152021/8/14162021/8/14172021/8/14182021/8/1419Applications of Pattern Recognition2007年年
5、1月月1日上午日上午9：33分分 京京B J9579 国贸桥国贸桥2.8Km 处处2021/8/14202021/8/1421Steps2021/8/14222021/8/14232021/8/1424模模 式式 识识 别别 应应 用用 问题问题应用应用输入模式输入模式模式类别模式类别文本分析文本分析文字识别文字识别文本图像文本图像字符、词汇字符、词汇文本分类文本分类网络搜索网络搜索文字图像文字图像逻辑分类逻辑分类文本分类文本分类过滤垃圾邮件过滤垃圾邮件电子邮件电子邮件垃圾垃圾/非垃圾非垃圾 邮件邮件多媒体数据恢复多媒体数据恢复网络搜索网络搜索视频视频视频种类视频种类语音识别语音识别电话语音帮
6、助电话语音帮助语音波形语音波形话语话语自然语言处理自然语言处理信息提取信息提取句子句子语言部分语言部分生物特征识别生物特征识别身份认证身份认证脸、虹膜、指纹脸、虹膜、指纹身份身份医学医学诊断诊断医学图像医学图像癌症癌症/健康健康军事军事自动目标识别自动目标识别光学或红外图像光学或红外图像目标种类目标种类2021/8/1425模模 式式 识识 别别 应应 用用问题问题应用应用输入模式输入模式模式类别模式类别工业自动化工业自动化电路板检测电路板检测灰度图像灰度图像故障故障/非故障非故障工业自动化工业自动化水果分拣水果分拣传送带图像传送带图像质量等级质量等级遥感遥感预测谷物收成预测谷物收成多普图像多
7、普图像土地使用等级土地使用等级生物信息生物信息序列分析序列分析DNA序列序列已知基因已知基因/未知基因未知基因数据挖掘数据挖掘寻找有意义的模式寻找有意义的模式多维空间点多维空间点紧凑并且分类良好的紧凑并且分类良好的类别类别多学科融合多学科融合2021/8/1426数字化感知数据：来源丰富、数量巨大模式识别的意义2021/8/1427模式识别的难点感知数据：非结构化（像素、波纹等）2021/8/1428模式识别的应用前景尚未找到非常通用、有效方法，尚未找到非常通用、有效方法，绝大部分还没有得到充分利用绝大部分还没有得到充分利用2021/8/1429模式识别的应用前景视频数据不能及时处理视频数据不
8、能及时处理事后仍需人工查找事后仍需人工查找伦敦地铁爆炸案(2005年7月)2021/8/1430模式识别的应用前景网络信息检索网络信息检索-市场前景广阔市场前景广阔2021/8/1431模式识别的应用前景机器翻译机器翻译-市场潜力巨大市场潜力巨大2021/8/1432Pattern Recognition Applicationso 应用背景广泛应用背景广泛o 应用前景巨大应用前景巨大u 国家安全与公共安全国家安全与公共安全u 空间探测与环境保护空间探测与环境保护u 信息服务及相关产业信息服务及相关产业u 医疗诊断与疾病康复医疗诊断与疾病康复2021/8/1433An ExampleA typ
9、ical pattern recognition problem Key problems Terms of pattern recognition 2021/8/1434Pattern Recognition Methodology你打算怎么做？你打算怎么做？2021/8/1435Pattern Recognition Methodologyo 这两种鱼有什么不同？这两种鱼有什么不同？n 长度、宽度、重量、亮度长度、宽度、重量、亮度n 鱼鳞、尾部形状鱼鳞、尾部形状o 什么因素会影响特征测量？什么因素会影响特征测量？ n 光线光线n 鱼在传送带上的位置鱼在传送带上的位置n 照相机的噪声照相机的
10、噪声2021/8/1436在分类过程中都有哪些步骤？在分类过程中都有哪些步骤？获取图像获取图像分开鱼分开鱼测量特征测量特征分类分类鲈鱼鲈鱼三文鱼三文鱼2021/8/1437Pattern Recognition Methodologyo 特征选择特征选择 （Selecting Features）选择鱼的长度作为特征选择鱼的长度作为特征2021/8/1438Pattern Recognition Methodologyo 分类分类 （Classification）n 长度长度n 阈值阈值 （Threshold）如何选择合适的阈值？如何选择合适的阈值？2021/8/1439Pattern Reco
11、gnition Methodology鲈鱼和三文鱼鲈鱼和三文鱼长度长度长度长度直方图直方图阈值阈值=112021/8/1440Pattern Recognition Methodologyo 特征选择特征选择 （Selecting Features）n 虽然大多数鲈鱼都比三文鱼长，但长度的方差还是虽然大多数鲈鱼都比三文鱼长，但长度的方差还是较大，导致分类误差大较大，导致分类误差大n 渔夫又告诉我们鲈鱼比三文鱼亮渔夫又告诉我们鲈鱼比三文鱼亮加入新的特征：亮度加入新的特征：亮度2021/8/1441Pattern Recognition Methodology鲈鱼和三文鱼鲈鱼和三文鱼亮度亮度亮度亮
12、度直方图直方图2021/8/1442Pattern Recognition Methodologyo 多维特征多维特征n 鱼的长度鱼的长度n 鱼的亮度鱼的亮度 o鱼的图像由二维空间的一个点鱼的图像由二维空间的一个点 （特征矢量）表示（特征矢量）表示2021/8/1443Pattern Recognition Methodology样本长度和亮度特征的散点图样本长度和亮度特征的散点图（scatter plot）2021/8/1444Pattern Recognition Methodology样本长度和亮度特征的散点图样本长度和亮度特征的散点图（scatter plot）我们可以用一条线来区分两
13、种鱼，而不是用一个阈值我们可以用一条线来区分两种鱼，而不是用一个阈值2021/8/1445Pattern Recognition Methodology复杂的分类模型将导致复杂的边界，推广能力差复杂的分类模型将导致复杂的边界，推广能力差2021/8/1446Pattern Recognition Methodology分类界面复杂度与未知样本之间折中分类界面复杂度与未知样本之间折中2021/8/1447Pattern Recognition Methodologyo 不同分类错误的代价？不同分类错误的代价？o如果鱼类包装公司知道如果鱼类包装公司知道： n买三文鱼买三文鱼package的顾客发现
14、里面有鲈鱼会很生气的顾客发现里面有鲈鱼会很生气n 买鲈鱼买鲈鱼package的顾客发现里面有三文鱼则不会不高兴的顾客发现里面有三文鱼则不会不高兴这种情况下该怎么设置分类界面？这种情况下该怎么设置分类界面？2021/8/1448Pattern Recognition System预处理预处理特征选择特征选择分类分类鲈鱼鲈鱼三文鱼三文鱼2021/8/1449Pattern Recognition System输入与输出的映射关系输入与输出的映射关系2021/8/1450o 预处理预处理o 特征提取特征提取o 分类器设计分类器设计Key Problems2021/8/1451Preprocessin
15、g 2021/8/1452Feature extraction/representation2021/8/1453Feature extraction/representation2021/8/14542021/8/1455Classification2021/8/1456Template Matching2021/8/1457Statistical method基于概率密度估计基于概率密度估计和和 Bayes Bayes 决策决策2021/8/1458Structural methodn 基于语法规则的分类基于语法规则的分类n 基于结构匹配的分类基于结构匹配的分类2021/8/1459Art
16、ificial neural network2021/8/1460分类器设计分类器设计 （机器学习）（机器学习）o人工神经网络：人工神经网络：n 基于函数影射的分类基于函数影射的分类 o支持向量机、核方法：支持向量机、核方法：n 基于边界学习的分类基于边界学习的分类o多分类器、集成学习：多分类器、集成学习：n 多个分类器合并多个分类器合并2021/8/1461Pattern Recognition System设计设计应应用用2021/8/1462o 预处理预处理o 特征提取特征提取o 分类器设计分类器设计Key ProblemsPost-processingTraining sample c
17、ollectionOver-fitting 2021/8/1463o 预处理预处理o 特征提取特征提取o 分类器设计分类器设计Key ProblemsPost-processingTraining sample collectionTemplate matching Statistical method Neural network method Structural method Hybrid method 2021/8/1464o 预处理预处理o 特征提取特征提取o 分类器设计分类器设计Key ProblemsPost-processingTraining sample collectio
18、nSupervised Learning Un-Supervise Learning 2021/8/14652021/8/14662021/8/14672021/8/1468教学内容教学内容主主 题题内内 容容 综综 述述Concept, history, applications3贝叶斯决策贝叶斯决策Bayes Theory 4概率密度估计概率密度估计Probability Density3非参数估计法非参数估计法K-nearest neighbor 2判别函数判别函数Fisher 2人工神经网络人工神经网络MLP，PNN4非监督学习非监督学习K-means2研究课题研究课题人脸检测、图像分
19、割、视频分析等人脸检测、图像分割、视频分析等6实践环节实践环节实验实验62021/8/1469教材教材o“Pattern Classification” - Richard O. Duda， Peter E. Hart - 中、英文版均可中、英文版均可o 参考书参考书 - 边肇祺等编著边肇祺等编著，模式识别模式识别，清华大学出版社清华大学出版社p电子邮件电子邮件: PW: bjtu20122021/8/1470Terms Patter class Intra-class variability Inter-class similarity Pattern class model 2021/8
20、/14712021/8/14722021/8/14732021/8/14742021/8/1475 The term pattern recognition encompasses a wide range of information processing problems of great practical significance, from speech recognition and the classification of handwritten character, to face recognition and medical diagnosis. Often these
21、are problems which many humans solve in a seemingly effortless fashion. However, their solution using computers has, in many cases, proved to b e i m m e n s e l y d i f f i c u l t. 2021/8/1476模式识别模式识别基本概念基本概念o模式模式 Pattern客观事物或现象常常被划分为由相似但又不客观事物或现象常常被划分为由相似但又不完全相同的个体组成的集合完全相同的个体组成的集合类别，称这类别，称这些个体客观
22、事物或现象为模式，或将整个类些个体客观事物或现象为模式，或将整个类别称为模式。别称为模式。本课程中，模式往往表现为具有时间或空间本课程中，模式往往表现为具有时间或空间分布的信息，因此，将个体客观事物或现象分布的信息，因此，将个体客观事物或现象的时间或空间分布的信息称为模式。的时间或空间分布的信息称为模式。2021/8/1477模式识别模式识别基本概念基本概念o分类分类 Classification将个体客观事物或现象划分到几个指定类别将个体客观事物或现象划分到几个指定类别中的某个类别的过程称为分类。中的某个类别的过程称为分类。分类就是对个体客观事物或现象的所属类别分类就是对个体客观事物或现象的
23、所属类别作出判断或决定，统计学理论中通常称之为作出判断或决定，统计学理论中通常称之为决策。决策。分类时需要依据某个或某些规则，称为分类分类时需要依据某个或某些规则，称为分类规则，统计学理论中通常称之为决策规则。规则，统计学理论中通常称之为决策规则。决策规则不同时，同一问题的分类结果也可决策规则不同时，同一问题的分类结果也可能不同。能不同。2021/8/1478模式识别模式识别基本概念基本概念o模式识别模式识别 Pattern Recognition对个体客观事物或现象进行分类的过程就是对个体客观事物或现象进行分类的过程就是模式识别。换句话说，分类就是模式识别。模式识别。换句话说，分类就是模式识
24、别。本课程中，模式识别尤其是指采用计算机和本课程中，模式识别尤其是指采用计算机和计算机技术（模仿人）对个体客观事物或现计算机技术（模仿人）对个体客观事物或现象的时间或空间分布的信息进行的模式识别。象的时间或空间分布的信息进行的模式识别。模式识别是一门学科或理论的名称。模式识别是一门学科或理论的名称。2021/8/1479模式识别历史模式识别历史o生物“模式识别”(心理学)nHuman Perception and Cognition （人类感知与认知）o光学/机械模式识别n 第一个光学字符识别专利：19292021/8/1480模式识别历史模式识别历史o现代模式识别：电子计算机发明以后n 先期
25、统计学基础：Bayes, Gauss, Fisher, etc.n 早期统计模式识别：IBM (1950s-)n 第一个“模式识别”学术会议：1966 (波多黎各)n 第一次国际模式识别大会(ICPR)：1972n 国际模式识别协会(IAPR)：1974筹建，1978年正式成立2021/8/1481模式识别方法演化模式识别方法演化o核心内容：模式分类n 特征提取/选择、聚类分析、分类器设计（机器学习）o统计模式识别：1950s-o句法、结构模式识别：1970s-2021/8/1482模式识别模式识别o模式识别：计算机科学与电子工程交叉学科o中国：“控制科学与工程”一级学科n二级学科：控制理论与
26、控制工程、模式识别与智能系统、导航制导与控制、系统工程等o欧美：没有自动控制系n 自动控制：电子工程系、机械工程系n 模式识别：电子工程系、计算机科学系2021/8/1483主要组织主要组织o国际组织n IAPR - International Association of Pattern Recognition）n IEEE Computer Society: -TC on PAMI (Pattern Analysis and Machine Intelligence)2021/8/1484主要组织主要组织o国内组织n 中国自动化学会： - 模式识别与机器智能(PRMI)专业委员会 - 19
27、81年成立，IAPR成员组织n 中国计算机学会： - 人工智能与模式识别专业委员会n 中国人工智能学会2021/8/1485主要学术活动主要学术活动o系列性国际会议n ICPR：2年一次，1000人规模n ICCV： 2年一次，1000人规模n CVPR：每年一次在美国，1000人规模n ICDAR： 2年一次，300-400人规模n ICB： 2年一次，200-300人规模2021/8/1486主要出版物主要出版物oPattern Recognition, 1968-nPR Society, ElsevieroIEEE Trans. PAMI, 1978-nIEEE Computer Soc
28、ietyoPattern Recognition Letters, 1980-nIAPR, ElsevieroInt. Journal of PR and AI, 1988- (World Scientific)oPattern Analysis and Applications, 1997- (Springer)o国内：模式识别与人工智能，1988-2021/8/1487主要机构主要机构o国外n USA: MIT (Poggio), UIUC (Thomas Huang), CMU (T. Kanade), MSU (A.K. Jain), Maryland (Resenfeld, Chel
29、lappa)n Canada: Toronto (Hinton), Concordia (C.Y. Suen)n UK: Surrey (Kittler), MSR Cambridge (Bishop)n France: INRIA2021/8/1488主要机构主要机构o国内n MSRAn HKUSTn 中科院自动化所 模式识别国家重点实验室n 清华大学 智能系统国家重点实验室n 北京大学n 上海交大n 西安交大、南京理工大学等2021/8/1489作业一作业一1、术语解释：模式、分类、模式识别。、术语解释：模式、分类、模式识别。2、简述模式识别系统的主要构成。、简述模式识别系统的主要构成。 3、你觉得要掌握模式识别这门课程，除了知识，、你觉得要掌握模式识别这门课程，除了知识，还需要哪些技能？还需要哪些技能？以下两题中选做一题：以下两题中选做一题：4、给出几种模式识别的应用。你对哪些模式识别、给出几种模式识别的应用。你对哪些模式识别应用问题感兴趣？应用问题感兴趣？5、电影、电影碟中谍碟中谍4中有哪些基于模式识别的应中有哪些基于模式识别的应用？用？2021/8/1490部分资料从网络收集整理而来，供大家参考，感谢您的关注！
