《模式识别课件第一章绪论》由会员分享，可在线阅读，更多相关《模式识别课件第一章绪论（53页珍藏版）》请在金锄头文库上搜索。
1、Pattern Recognition,办公地点：主楼501 Email:,Contents,1Introduction to Pattern Recognition 2Bayesian Decision Theory 3Maximum-Likelihood & Bayesian Parameter Estimation 4Linear Discriminant Functions 5Feature Extraction & Selection 6Unsupervised Learning & Clustering,References,1 Richard O. Duda, Peter E.
2、Hart, David G. Stork, Pattern Classification, 2nd Edition, John Wiley & Sons, Inc. 2001,(模式分类，李宏东 姚天翔等译，北京：机械工业出版社，2003年9月,2模式识别，边肇祺，张学工等编 著，清华大学出版社，2000年1月第2版 3 Vladimir N. Vapnik, The Nature of Statistical Learning, Springer-Verlag, New York, NY, 1995 (中译本统计学习理论的本质，张学工译，清华大学出版社，2000年9月),References
3、,主要期刊和会议,International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI) (http:/ ) Pattern Recognition Pattern Recognition Letter Machine Learning Neural Computation 模式识别与人工智能 CVPR、ICPR、ICML、COLT NIPS,1929年 G. Tauschek发明阅读机，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。 6070年代，统计模式识
4、别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，出现“维数灾难”。 但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。,Machine Perception,模式识别的发展史,模式识别的发展史,50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪提出句法(结构)模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。 80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。 90年代小样本学习理论，支持向量机也受到了很大的重视。,Machin
5、e Perception,Chapter 1: Introduction to Pattern Recognition,Machine Perception An Example Pattern Recognition Systems The Design Cycle Learning and Adaptation Methods of Pattern Recognition Conclusion,Machine Perception,Build a machine that can recognize patterns: Speech recognition Fingerprint iden
6、tification OCR (Optical Character Recognition) DNA sequence identification,Introduction,Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the p
7、atterns. (Anil K. Jain) 模式识别：把一组研究对象，根据其某些特征进行识别并分类。,Machine Perception,What is a Pattern ?,模式是指人所生活的客观世界的总称。 模式（Pattern）：指一组包含了对事物所具有的特征和信息的描述。 a fingerprint image a handwritten cursive word a human face a speech signal A iris,Machine Perception,识别(Recognition),识别(Recognition)再认知(Re-Cognition) 主要研究
8、相似和分类问题 有监督分类 无监督分类 模式识别是模拟人的某些功能: 模拟人的视觉：计算机+光学系统 模拟人的听觉：计算机+声音传感器 模拟人的嗅觉和触觉：计算机+传感器,Machine Perception,An example,设想有一个鱼类加工厂，希望能将传送带上鱼的品种分类过程自动进行。,Species,Sea bass(鲈鱼),Salmon(鲑鱼),Problem Analysis Set up a camera and take some sample images to extract features Length长度 Lightness光泽 Width宽度 Number an
9、d shape of fins鳍的数目和形状 Position of the mouth, etc嘴的位置等 This is the set of all suggested features to explore for use in our classifier!,An example,Preprocessing 用分割技术将不同的鱼分离开来，或者将鱼同背景分开 将每条鱼的数据送入特征提取器，其作用是通过测量特定的“特征”或“属性”来简化原始数据 The features are passed to a classifier Classification Select the length
10、 of the fish as a possible feature for discrimination,An example,Sampling,An example,An example,The length is a poor feature alone! Select the lightness as a possible feature.,An example,Threshold decision boundary and cost relationship Move our decision boundary toward smaller values of lightness i
11、n order to minimize the cost (reduce the number of sea bass that are classified salmon!),Task of decision theory,An example,Adopt the lightness and add the width of the fish,Lightness,Width,Fish,x = x1, x2T,An example,An example,怎样才能事先知道其中哪个特征对分类性能最重要呢? 因为其中某些特征很可能是冗余的。比如，如果鱼眼睛的颜色、与宽度完全相关，那么分类器的性能将不
12、因增加了鱼眼颜色这一特征而有任何改善。,An example,即使不考虑获得更多特征时所需的额外的计算量。是否真的有必要采用非常多的特性呢？ 这样作是否会给将来在非常高维的空间中进行分类操作埋下了“祸根”？ 假设在上述任务中，其他的特征要么太难以测量，要么对分类器毫无用处(甚至起反作用)。这样，将只有两个特征好用。,An example,如果分类的判决模型非常复杂，分界面也十分复杂(而不再像图1-4那样是一简单分界直线)，所有的训练样本可以被完美的正确分类(如图1-5所示)，虽然如此，这样一个结果也依然不令人满意。,An example,An example,过分复杂的模型将导致复杂的判决曲线
13、。,设计分类器的中心目标是能够对新样本(比如以前从未见过的某条鱼)做出正确的反应，这就是“推广能力”(generalization) 。 图1-5那种复杂的判决边界过分“调谐” (tune)到某些特定的训练样本上了，而不是类别的共同特征，或者说是待分类的全部鲈鱼(或者鲑鱼)的总体模型。,An example,虽然这种判决曲线对训练样本可以得到完美的分类效果，但是对将来的新模式推广能力很差。例如，图1-5中标记“？”的新模式应该更像是鲑鱼。然而却被分类为鲈鱼。,An example,自然地，想采集更多的训练样本，以获得特征向量的更好估计。 例如，可以使用类别样本的概率分布。 可是，在某些模式识别
14、问题中，能够比较容易获得的样本数据十分有限。即使在连续的特征空间中已经有大量的样本点，可是如果按照图1-5的思路，分类器将给出极度复杂的判决边界，而且将不太可能很好地处理全新的样本模式。,An example,寻求某种“简化”分类器的方案。分类器所需的模型或判别边界将不需要像图1-5那样复杂。 如果已经能够更好的分类新的测试样本，那么即使它对训练样本集的分类性能不够好，也应该接受它。 但是，假如在设计“复杂”的分类器时其推广能力可能不是很好，那么，又将如何精确和定量的设计相对“简单”一些的分类器呢?,An example,An example,图1-6图中标示出的判决曲线是对训练样本的分类性能
15、和分界面复杂度的一个最优折中。,系统怎样才能自动得出图1-6所示的那种相对简单的分界曲线，以使得其性能比图1-4的直线分界面，或者图1-5复杂分界曲线更为优越？ 假设能够做到“推广能力”和“复杂度”的折中，又将怎么样去预测系统对新模式的推广能力如何呢？统计模式识别要研究的中心问题。,An example,Conclusion,An example,错误率 0.1500 0.0333 0.1333 0.0833,An example,Conclusion,An example,Conclusion,An example,Conclusion,An example,Conclusion,Patte
16、rn Recognition Systems,Pattern Recognition Systems,Pattern Recognition Systems,Sensing Use of a transducer (camera or microphone) PR system depends of the bandwidth, the resolution sensitivity distortion of the transducer Segmentation and grouping Patterns should be well separated and should not overlap,Feature extraction Discriminative features Invariant features with respect to translation, rotation and scale. Classi
