《毕业论文--基于kinect的3D人脸识别技术》由会员分享，可在线阅读，更多相关《毕业论文--基于kinect的3D人脸识别技术（12页珍藏版）》请在金锄头文库上搜索。
1、基于kinect的3D人脸识别技术摘要在2D人脸识别技术不断发展的今天，深度学习的出现让2D人脸识别技术的准确率已经达到了97.54%，2D技术的发展空间越来越小。而随着3D技术也越来越成熟，将3D技术融合到人脸识别技术中是一种新的发展方向。而现阶段，kinect这种体积轻巧，价格便宜，捕获3D数据效率高而且分辨率不低的设备成了许多研究人员的研究对象。在本文中我们也利用了kinect设备完成了一个基于kinect的3D人脸识别研究的过程。首先通过kinect设备采集了一批数据，接着实现了一种基于熵图和显著性图，利用HOG特征算子，和随机森林分类器和SVM分类器进行识别的算法系统。通过我们的实验
2、，利用随机森林分类器实现的分类器准确率只有73%，而利用SVM分类器达到的准确率有83.19%。但是因为采集数据的范围小，以及算法的不完善性，我们的系统还有很大的提升空间。关键词：kinect，RGB-D，显著性，熵图，随机森林，SVM，人脸识别AbstractWith the fast development of the face recognition based 2D data, the deep learning technology makes the accuracy of the face recognition based 2D data have reached in 97
3、.54% and the development of the 2D technology in face recognition has reached the bottleneck. However, with the 3D technology becoming more and more mature, it is a new development direction to fuse the 3D technology into face recognition technology. In the meanwhile, the Kinect which is portable, i
4、nexpensive and has high capturing rate and moderate definition becomes the research object of many researchers.In our paper, we used the Kinect equipment to finish a project which is about face recognition based 3D data. First of all, we collected enough RGB-D data using Kinect. Then we implemented
5、the algorithm system which is based the entropy map and the visual saliency map, gets the feature vector using the HOG descriptor and using random decision forest and support vector machine to classify the data.The result of our experiment is not very well. The accuracy of the recognition with rando
6、m decision forest classifier reaches only 73%. However, the accuracy of the recognition with support vector machine reaches 83.19%. Because of the small scale in the database and the imperfect algorithm, our system can still make great progress.Key words: Kinect, RGB-D, salience, entropy, RDF, SVM,
7、face recognition1， 绪论1.1 研究背景随着人们对人工智能，机器学习算法的研究的不断深入，其分支领域中的计算机视觉中的人脸识别技术也得到了充分的发展和巨大的进步。并且随着技术的日益成熟，他已经逐渐应用到人们的日常生活之中，例如手机上的人脸识别解锁，或者是公安系统的人脸识别追踪等包含身份鉴定，电子商务，视频监控，人机交互，企业安全与管理，信息安全，刑事侦破，出入口控制等各方面领域。然而现阶段的人脸识别的主要技术全是基于RGB的2D图像，当香港中文大学的汤晓鸥教授带领自己的团队利用卷积神经网络（CNN）实现了人脸识别在LFW数据库上的正确率高达97.45%【1】的时候，代表着2D
8、人脸识别技术已经逐渐走向技术的终点。基于RGB的2D人脸识别技术会受到光照，姿势，表情，伪装等各种不利因素的影响，对于一张给定的图像来说，能够选择一个好的算法摒除这些不利因素的理想至关重要。然而，由于固有的2D图像的信息缺失性，现今还没有一个技术能够同时消除所有这些不利因素的影响。传统的方法往往都只能解决一个或两个问题。例如，光照圆锥体方法【2】将光照建模为线性函数，他们的实验成果告诉我们在相同姿势但是不同光照条件下的人脸图片集全都在一个低维度的凸锥上，而这个凸锥能够从一些训练图片上学习得到。虽然这个方法能够用阿里产生在不同光照下的人脸图像，但是它是基于人脸是凸状的并且要求训练照片全都是在点光
9、源下获得。稀疏表达分类器方法【3】可以处理譬如戴眼镜的人脸伪装问题。在这些问题之中，毫无疑问姿势问题是相当困难的一个问题，例如Gross在【4】中构建了一个从所有观察点得到的2D人脸模型的特征光域，这个方法要求大量的训练数据，这些数据需要包含不同姿势和不同姿势之间高密度的对应图片，这些都是很难实现的。但是，随着3D技术的发展和普及，利用3D信息进行人脸识别的技术也开始了他们的旅程。最可靠的处理姿势问题的方法便是具有深度信息的3D人脸模型了。人脸的几何特征对于光照和其他图像条件具有不变性，然而2D图像却是例如光照等条件的直接函数。利用3D人脸模型可以生成在不同光照条件下的人脸图片。另外，3D数据
10、也能用来进行人脸姿势矫正或者用来生成各种新的人脸姿势图片。而且每个人的人脸3D模型都具有良好的可区分性，加上2D的RGB纹理信息，可以使人脸识别技术跨越又一个技术瓶颈。所以利用3D信息进行人脸识别是人脸识别技术的一个值得研究的发展方向。要想让3D人脸识别技术得以普及与应用，首先便要考虑3D信息的获取问题，当下已经有多种3D扫描仪，但是许多高分辨率的扫描仪价格昂贵，获取速率慢，无法满足实际的实时应用需求，也会因为价格而影响了其推广的程度。例如，被用在著名的人脸识别挑战（Face Recognition Grand Challenge）的 Minolta扫描仪，需要花费2.5秒的时间捕获一张3D图
11、片。而便宜的扫描仪所得到的3D信息分辨率又太低，无法满足实际的研究需求。但是自从微软公司退出kinect体感设备以来，这些问题便有了一个折衷的解法。Kinect体感设备所获取的3D图片具有512 * 424分辨率，捕获率达到30帧，且价格为2800人民币。是现下比较合适的研究3D人脸识别的工具。1.2 相关工作自从kinect设备普及以来，利用kinect进行3D人脸识别研究的工作也越来越多。赵启军教授及其团队在【5】中提出了一种简单的利用RGB-D数据进行人脸识别的思路。他们分别将2D纹理数据和深度数据进行分类检测，最后通过加权融合将两种数据的分类结果结合起来得到最后的结果。根据其实验结果，
12、利用2D纹理数据在各种人脸角度下得到的平均识别率是93.4%， 利用深度数据得到的平均识别率是87.1%， 而融合2D和3D结果得到的平均识别率是96.7%。从实验结果可以看出附加的深度数据对提升识别率有显著的改善。Billy Y.L. Li等人在【6】中提出了一种算法，该算法首先利用人脸对称性获得了一张合格的正脸，并对正脸进行平滑处理，在经过这样一系列的预处理工作后，分别对深度数据以及经过判别彩色空间变换（DCST）处理的纹理数据进行多模稀疏矩阵编码。最后得到在RGB-D数据下的识别率可以达到96.7%而单独利用富含噪声的深度数据可以达到88.7%的识别率。Rahul，Aditya和Phal
13、guni在【7】中的算法是基于经过改进的对RGB图像的SURF特征描述算子。其中，这些RGB图像是与通过利用深度和彩色图像来自动生成的训练图像的增强体结合得到的图像。他们的算法在CurtinFace数据库上对30度偏角的图像识别率达到了98.07%，在EURECOM数据库上达到了89.28%的识别率，而在15度偏角的Internal数据库上达到了98.00%的识别率及30度偏角的Internal数据库上的81.00%的识别率。1.3 研究内容基于kinect的3D人脸识别技术同时利用kinect获取的深度数据和彩色纹理数据来进行人脸识别的研究，希望能够找到一种好的方法能够充分利用深度数据提升人
14、脸识别的效果，突破2D人脸识别所具有的局限性。首先，我们利用kinect手动进行了数据的采集过程，以获取试验样本。在实验样本获取过程中如何得到一张稳定且包含完整脸部3D信息的数据是我们研究与实现的内容。在采集到完整的样本后，我们提出了一种将RGB纹理信息和3D深度数据融合的算法并进行了实现与实验。1.4本文组织本文为基于kinect的3D人脸识别系统提供了各个环节的处理方法。基于kinect v2.0开发工具包，及OpenCV库实现了基于kinect的3D人脸识别过程。第二章论述了利用kinect获取稳定3D数据的算法，以及利用深度熵图结合2D纹理熵图和显著性图结合的识别过程，利用hog特征算
15、子提取特征，最后利用决策树进行分类识别过程。第三章描述了各个模块部分的设计和实现，详细阐述了人脸识别过程中的图像预处理，特征提取以及分类识别过程。第四章则给出了相应的训练过程以及实验结果。在论文的第五章则给出了我们的实验结果以及我们工作中的不足和需要改进的地方。2, 相关技术基础本章节主要对实现kinect3D人脸识别系统中用到的各种关键技术做了简要的介绍。首先是软件开发工具库OpenCV视觉库以及Kinect开发工具库。接着对人脸识别工程用使用的热熵图和显著性图进行了简介，然后对用于训练的Hog特征提取算子做了介绍，以及最后介绍了我们的分类识别算法随机森林。2.1，OpenCV库与kinec
16、t开发工具库OpenCV（ Open Source Computer Vision Library）是一个基于BSD许可（开源）发行的跨平台计算机视觉库【8】，该库支持多种运行环境，包含Linux、Windows和Mac OS操作系统上，并且现在也有android版本的OpenCV库。它轻量级而且高效，既提供了C+实现接口，也提供了Python、Ruby、MATLAB等语言的接口。该库在图像处理和计算机视觉方面的很多通用算法。开发者可以调用OpenCV提供的相应接口，实现快速开发计算机视觉项目的目标，并且由于该视觉库的快平台性能和高运行效率及低容量让它在世界各地赢得了大量的用户。该项目主要由英特尔公司在1999年启动，并且不断在更新和优化，陷入经已经更新到3.1版本，经过多年的试错和改进，该视觉库十分稳定高效。Kinect设备是微软公司在2010年对XBOX360体感周边外设正式发布的名字。虽然该设备是专门为了体感游戏开
