《视频中的人脸检测定位与跟踪识别》由会员分享，可在线阅读，更多相关《视频中的人脸检测定位与跟踪识别（27页珍藏版）》请在金锄头文库上搜索。
1、视频中的人脸检测定位与跟踪识别华见张祥龚小彪(西南交通大学信息科学与技术学院，四川成都610031)摘要人脸检测定位跟踪作为生物特征识别的一项重要技术，其应用相当广泛。人脸检测定位跟踪 的方法有很多，为了实现视频中彩色图像人脸的精确定位，本文采用了一种基于肤色模型、 肤色分割处理的人脸定位算法。通过建立肤色模型，经自适应阈值的二值化处理后，再进行 肤色分割，将非人脸区域去除；最终利用眼睛特征定位人脸。实验结果表明，该算法对于复 杂背景下的彩色图像中的人脸正面定位和人脸转动一定角度后定位都有较好效果。关键字：人脸检测跟踪；肤色建模；二值化；Face Detection And Tracking
2、Identification In The VideoHuaJian Zhang Xiang Gong Xiaobiao(School of Information Science & Technology, Southwest Jiaotong University, Chengdu, 610031, China)AbstractFace detection positioning and tracking as a biological feature recognition is an important technique, it is widely used in many aspe
3、cts. In this article, in order to localize the human face in color images captured from the video accurately, a human face localization algorithm based on skin module and skin color segmentation was presented. Firstly, we build the skin module. Then, the non-face region was removed in color image af
4、ter binary image processing with adaptive threshold and the skin color segmentation. And finally the human face was localized by using the characteristic the eyes Experiments show that the algorithm is effective to localize the human front face and the face after turning an angle in color images und
5、er complex background.key words: face detection and tracking; skin module; enbinary目录第1章绪论31.1课题研究背景与意义31.2国内外研究状况41.3人脸检测与跟踪的难点41.4主要研究内容及章节安排5第2章人脸检测和跟踪的主要方法62.1人脸检测的方法62.2基于肤色的检测方法72.2.1 RGB 模型72.2.2 YCbCr(YUV)格式82.2.3 HSV (色调/饱和度/强度)模型82.3基于启发式模型的方法92.3.1基于知识的方法102.3.2 基于局部特征的方法102.3.3 基于模板的方法10
6、2.3.4基于统计模型方法 112.4人脸跟踪的方法 112.4.1基于特征检测方法的人脸跟踪122.4.2基于模型的人脸跟踪122.5本章小结14第3章基于肤色模型的单图片人脸检测153.1 基于肤色的人脸定位153.2 RGB到YCrCb色彩模型的转换153.3人脸肤色模型和二值化163.4后处理193.5人脸定位193.6本章小结20第4章基于肤色模型视频中的人脸检测214.1算法流程214.2图像差分运动目标提取214.3模型建立和光补偿224.4眼部特征检测244.5本章小结25第5章总结25参考文献26第1章绪论1.1课题研究背景与意义近年来，随着计算机技术和数字信号处理技术的迅猛
7、发展，人们用摄像机获取环境图像 并将其转换成数字信号，且利用计算机实现对视觉信息处理的全过程，这就是计算机视觉技 术的起源。计算机视觉成为一门独立的学科，至少可以从美国麻省理工学院(MIT)Marr教授 这一代人所作的奠基工作开始追溯，已有二三十年的历史。如今，计算机视觉已经成为人工智能领域最热门的课题之一，受到普遍的重视。它的目 的是用计算机实现人的视觉功能对客观世界的三维场景进行感知、理解和解释1。它既 是工程领域，也是科学领域中的一个极富挑战性的综合性的学科，融合了图像处理、模式识 别、人工智能、自动控制等不同领域成果，吸引了来自各个学科的研究者加入到对它的研究 之中。计算机视觉与研究人
8、类或者动物的视觉是不同的：它借助于几何、物理和学习技术来 构建模型，从而用统计的方法来处理数据。这里主要有两类方法：一类是仿生学的方法，即 参照人类视觉系统的结构原理，建立相应的处理模块完成类似的功能和工作；另一类是工程 的方法，即从分析人类视觉过程的功能开始着手。并不去刻意模拟人类视觉系统内部结构， 而仅仅考虑系统的输入和输出，并采用任何现有的可行的手段实现系统功能。其中第二类方 法是目前计算机视觉技术研究的趋向，目前已经发展起一套独立的计算理论与算法1,2。作为人脸信息处理的一项关键技术，人脸检测与跟踪近年来成为计算机视觉领域研究的 热点。人脸的检测与跟踪是指在指定输入的图像或者视屏序列中
9、确定所有目标人脸的位置、 大小、姿势和运动轨迹等参数随时间变化的过程，最初作为人脸识别(Face Recognition) 系统中的一个关键环节而出现4。在早期的人脸识别问题的研究中，人脸图像往往具有很强的约束条件(如无背景图像)， 因此使人脸检测问题并未受到很好的重视。近几年随着社会的发展，在经济、安全、犯罪和 军事领域需要对用户身份进行核对，特别像银行、海关等重要安全部门。人脸识别成为继指 纹识别之后最有潜力的生物身份验证的手段。在此应用背景之下要求识别系统能够适应一般 场景下的图像，由此引起的一系列问题使得研究者开始将人脸检测和跟踪作为一个独立的课 题进行研究，使其应用背景远远超出人脸识
10、别系统的范畴。目前简单背景、人脸偏转角度不大的正面人脸检测算法已经比较成熟，有较高的检测效 率和速度，但对于人脸偏转角度较大、严重遮挡的情况下，算法鲁棒性一般。在实际应用中 需要实时跟踪、搜索人脸，这就要求算法对于人脸偏转、遮挡具有较强的鲁棒性，既要有较 高的检测速度，满足实时性的要求；又要有较高的检测精度，尽量减少误检、漏检的情况。 因此构造出高效、准确的人脸检测和跟踪算法，从学术和实际应用的角度都有非常重要的意 义。1.2国内外研究状况目前，国外从事人脸检测与跟踪问题的研究的机构，比较著名的有MIT的AI实验室与 多媒体实验室、CMU的人机结构实验室等；国内的清华大学、中国科学院计算技术研
11、究所、 北京工业大学等也从事相关的研究。此外，MPEG-7标准组织建立了人脸识别草案小组，人 脸检测算法也是一项征集的内容，随着研究的不断深入，国际上一些权威期刊，如 IJCV(International Journal of Computer Vision)、CVIU(Computer Vision and Image Understanding)、 PAMI(IEEE Transonic Pattern Analysis and Machine Intelligence) 及重要学术会议，例如 ICCV(In terna tional Conference on Compu ter Vis
12、ion)、CVPR(IEEE Computer Society Conference on Computer Vision and Pattern Recognition)、 ECCV(European Conference on Computer Vision)、IWVS(IEEE International Workshop on Visual Surveillance)每年都有大量关于人脸检测与人脸跟踪的论文，极大地促进了研究学 者的学术交流。国内外对于人脸检测跟踪的实现方法多种多样，但是由于任意场景下的人脸准确检测和 跟踪的复杂度很高，并不存在一个适合各种实际应用下的算法，这也就决定了
13、当前的人脸检 测与跟踪问题的研究仍然是建立在一定约束条件之上的，如运动的平滑性，遮挡的数目，光 照不变条件，目标与背景之间的对比度等。1.3人脸检测与跟踪的难点人脸是一类具有相当复杂的细节变化的自然结构目标，由于外貌、表情、肤色等不同， 具有模式的可变性而难以用统一的模式加以描述。图像或者视频序场景中存在的背景复杂、 人脸运动的非刚性、目标遮挡等问题，这对检测和跟踪带来的很大的难度。在实际应用中， 人脸检测所面临的主要难点可以归结为g:(1) 数学模型不能精确描述人脸；(2) 人脸受到光照、阴影、距离的影响；(3) 特定的复杂背景对检测率有很大影响；(4) 人脸在运动中的非刚性，角度、偏转、遮
14、挡等使人脸特征缺失。新的人脸跟踪算法不断被提出使得人脸跟踪技术得到一定的发展，但是由于运动场景的 复杂性，人脸跟踪算法要实现在不同的环境行下对多个目标人脸实现实时准确跟踪还是比较 困难的。一般来说，人脸跟踪算法主要实现的目标为13:鲁棒性。在实际应用中适应各种强干扰(光线的强度变化、目标自遮挡、目标间遮挡、 背景遮挡等)，能够持续准确的定位目标人脸，实现跟踪。（2）准确性。对目标人脸状态改变时（偏转、运动、附属物等），精确分割跟踪。（3）实时性。不降准确性的同时算法计算复杂程度相对较小，在现有的硬件条件下，对 人脸实时跟踪。1.4主要研究内容及章节安排人脸检测与跟踪问题的内涵十分广泛，由于人脸
15、模式的复杂性，实现通用的人脸检测与 跟踪方法还不现实。如何解决特定应用场合、特定约束条件下的人脸检测与跟踪问题，仍将 是该领域研究的主要方向。另外复杂背景图像中的多姿态人脸的检测与跟踪也是研究的重点 之一。本文主要研究了彩色图片和视频序列中的人脸检测与跟踪的问题。在人脸检测方面文 章主要讨论了基于肤色的检测方法、基于启发式模型的方法和基于统计模型的方法等几种主 要方法，并利用肤色在YCrCb空间的聚类特性来检测人脸，同时为了去除亮度对肤色的影 响，增强检测的可靠性，采用了亮度补偿。最后选取眼部特征作为条件确定人脸区域。在基 本的人脸跟踪的方法上，主要研究了基于肤色的人脸检测方法检测视频图像中的
16、人脸以及通 过背景差分法对视频中运动目标的检测与追踪，并基于肤色模型与人脸的眼部特征（启发式 特征人脸检测）相结合对视频中运动目标的人脸进行检测与跟踪。本文章节安排如下：第1章为绪论，主要讨论了本课题的研究内容和背景以及应用范围，分析了人脸检测与 跟踪在国内外的研究状况，就这一课题的难点进行了论述。第2章主要分析了人脸检测与跟踪的主要方法。人脸检测的主要方法有基于肤色的检测 方法、基于启发式模型的方法和基于统计模型的方法等。人脸跟踪的方法主要有基于特征检 测的方法、基于模型的方法和基于贝叶斯滤波的方法等。第3章主要分析了基于肤色的人脸检测方法检测视频图像中的人脸。本章主要介绍了基 于肤色人脸检测的具
