张文静基于Kinect的手势提取及识别研究

《张文静基于Kinect的手势提取及识别研究》由会员分享，可在线阅读，更多相关《张文静基于Kinect的手势提取及识别研究（12页珍藏版）》请在金锄头文库上搜索。

1、大学生创新训练筹划项目申 请 书项目名称:基于Kinect的手势提取及辨认研究 项目负责人：张文静 学号： 专业：计算机科学与技术 所在学院：物联网工程学院 联系电话： 电子信箱： 第一指引教师:顾德 职称/学历：副专家/博士 填表日期： 年 8 月 30 日江南大学教务处制项目名称基于Kinect的手势提取及辨认研究项目实行时间起始时间： 年 9 月； 完毕时间： 年 9 月。项目负责人状况姓 名 张文静性 别女民 族汉出生年月1991.12所在学院物联网工程学院学号0304110631所学专业计算机科学与技术联系电话E-mail项目构成员(不涉及项目负责人)姓名性别学号所在学院所学专业项目

2、分工金科男物联网工程学院计算机科学与技术算法性能分析颜潇雨女物联网工程学院计算机科学与技术撰写研究报告赵富文男物联网工程学院计算机科学与技术代码编写李越宁男物联网工程学院计算机科学与技术代码编写第一指引教师状况职称副专家专业控制科学与工程研究领域机器视觉与图像解决、无线传感器网络姓名顾德性别男年龄30学历/学位博士所在学院物联网工程学院手机E-mail第二指引教师简况姓名性别职称专 业所在学院手机项目摘要（100字左右）本项目采用微软的Kinect 摄像头，通过肤色辨认和深度分割的措施，对手势进行提取和辨认，然后进行编程实既有关算法，达到用手势替代鼠标进行屏幕操作的目的，如左击、右击、换页、启

3、动、关闭、暂停、放大、缩小等。1、项目的立项根据（涉及项目的研究意义、应用价值、国内外研究现状分析，并附重要参照文献目录）（1）项目的研究意义与应用价值随着计算机技术的迅速发展，人与计算机的交互活动逐渐成为人们平常生活的一种重要构成部分。鼠标、键盘等老式的人机交互设备在使用的自然性和和谐性等方面存在一定的局限，因此研究符合人际交流习惯的人机交互技术，建立和谐自然的人机交互环境成为目前的发展趋势。手势是一种自然直观的交互方式，体现意义丰富便捷，因此手势辨认是目前人机交互的研究热点。（2） 国内外研究现状分析新型的人机交互技术是目前的研究热点,如M Akay等提出了一种基于语音辨认,手势辨认和眼睛

4、跟踪的远程医疗系统。S Pastoor等构建了一种多媒体实验系统,让三维数据可视化,该系统通过眼睛来实现人机交互,查看所要的信息,不需要其她交互设备。国内的高文专家等提出了一种基于手势辨认和唇读检测的措施,使得聋人可以和计算机交流,进而和正常人进行交流。如上所述,新型的人机交互技术是目前的研究热点,并且该技术带给人们全新的人机交互体验。手势作为一种自然且符合人的行为习惯的交互方式,具有天然的和谐性和直观性,是作为新型人机交互技术的抱负选择。手势能体现的含义有诸多,从手的构造来分,手势可以分手掌和手指两部分;从手的移动角度看,可以分解为水平,竖直和深度三个方向的移动。这些信息所体现的不同含义,可

5、以用来作为控制信息,可以实现类似于鼠标控制的应用,例如图片的查看、窗口的移动等等。老式的手势跟踪措施,有基于数据手套和基于计算机视觉两种措施。基于数据手套的措施长处是响应速度快,精度高,缺陷是顾客需要佩戴数据手套,行动受限制。而基于计算机视觉的措施根据使用的摄像头的数目分为单个摄像头和多种摄像头两种类型。如果只使用单个摄像,无法获取到手势的深度信息,只能获取到手势在二维平面的投影信息,如果想要获取到手势的深度信息的话,需要用多种摄像头,或者采用深度摄像头。此外,为了减少干扰,基于计算机视觉的手势跟踪方案往往需要将手部放置在某个背景简朴且固定的地方,在计算时再做减背景的操作,以提取手的部分,但是

6、,这种措施对于顾客的限制太大,不太实用。本项目所使用的Kinect,带有一种RGB摄像头和一对由红外发射器和CMOS接受器构成的深度摄像头,可以获取到物体的颜色信息和物体的深度信息。本项目提出的手势跟踪和辨认的方案,不对顾客的手的位置以及顾客的背景做限制,也不需要带任何手套之类的辅助道具。本项目的措施的长处在于原理简朴,实现相对容易,代价相对比较低廉,并且对顾客的限制也更小。Kinect简介： 年微软推出了用于Xbox 360 的体感外设3D 摄像机Kinect，使用构造光编码技术获取拍摄图像的深度信息。Kinect 的摄像部分涉及一种RGB 摄像头，一种红外摄像头和一种红外发射器。红外发射器

7、可以发出近红外激光，当激光照射到粗糙物体时会形成具有高度随机性的衍射斑点，称为激光散斑。激光散斑会随着成像物体的距离不同而变换图案，当激光散斑照射到整个空间时即对空间进行了标记。红外摄像头则接受空间标记，传递至Kinect 内部的PS1080 Soc图像解决器芯片。图像解决器通过度析散斑图案获得的空间距离生成深度影像，并使用USB2.0 合同传播至PC 端。相比TOF 摄像机，Kinect 价格低廉，拍摄辨别率可达640480像素，并且由于使用了图像解决器芯片，不需要PC 端额外的计算量，可以使PC 端以较低的配备达到实时性的规定。使用微软的Kinect 传感器获取深度数据，对深度图像进行手势

8、分割和辨认，不受光照、背景等因素的影响，提高了手势轨迹辨认的稳定性和鲁棒性。（3） 参照文献:1Kinect简介，http:/baike.百度.com/view/3766855.htm2Kinect深度信息的获取原理，http:/www.futurepicture.org/?p=1163李清水,方志刚,沈模卫等. 手势辨认技术及其在人机交互中的应用 J. 人类工效学, , 8(1):27-294邓 瑞，周玲玲，应忍冬.基于Kinect 深度信息的手势提取与辨认研究J.上海：上海交通大学 电子信息与电气工程学院，:1-3.5张毅，张烁，罗元，徐晓东.基于Kinect 深度图像信息的手势轨迹辨认及

9、应用J.重庆：重庆邮电大学，:2-4.6蔡睿妍.基于Kinect的多点触控系统的设计与实现J.大连：大连大学信息工程学院，:1-2.7狄海进.基于三维视觉的手势跟踪及在人机交互中的应用D.南京：南京大学，:21-34.8杨学志，徐勇，方静，等结合区域分割和双边滤波的图像去噪新算法J中国图象图形学报，,17(1)：40-489谢勤岚结合双边滤波和多帧均值滤波的图像降噪J计算机工程与应用，,45(27)：154-15610陈晓明，蒋乐天，应忍冬.基于Kinect深度信息的实时三维重建和滤波算法研究J上海：上海交通大学 电子工程系，:2-6.2、 研究内容、研究目的及拟解决的核心问题(1) 研究内容

10、及目的本项目选用了肢体语言中的手势作为研究出发点,探讨了手势辨认技术在人机交互中的应用。本项目将采用一款新型的摄像头Kinect,该摄像头可以采集物体的RGB信息和深度信息。根据采集得到的RGB信息和深度信息,本项目提出了基于三维视觉的手势跟踪算法,并给出了其在人机交互中的应用实例。本项目拟采用基于三维视觉的手势跟踪算法，该算法结合了肤色辨认和深度分割结合的各自长处。运用老式的肤色辨认来检测手势往往需要对顾客所处的位置做限制,在复杂背景下,肤色辨认很难分割出图像中手的部位。本项目提出的方案是,先对RGB图像做肤色辨认,再运用深度信息做图像分割,将手所在区域的深度图像提取出来,再通过三维空间到二

11、维空间的转换计算,将深度分割的成果映射到RGB图像中,对比肤色辨认的成果,从而滤去背景的干扰,提取出手的位置。最后,根据持续两帧图像的手势检测的成果做跟踪。和老式的手势检测的措施相比较,本项目提出的措施在环境背景相对复杂的状况下,手势检测和跟踪的效果比较抱负,对顾客的限制较小,更重要的是,可以对手势做三维空间的检测和跟踪。（2） 拟解决的核心问题三维图像数据的解决。相比于老式视频解决，本项目的图像信息中涉及深度数据，因此图像去噪等方面需要一定的特殊解决。对手型手势的辨认。将静态的一帧图像进行解决获得手型信息，在此基本上进一步进一步，从动态的图像中获得手的运动信息。并对某些特定的手型和手的运动赋

12、予一定的意义，这将对我们的算法的实时性提出较高的规定。模拟硬件。我们打算通过编写软件，将辨认出的手势意义发送给操作系统，使之完毕相应的动作。3、拟采用的研究措施及可行性分析（1）拟采用的研究措施图像去噪 对既有的双边滤波措施进行改善，提出新的去噪措施，并且结合图像弥补缺失的深度信息。对手型手势的辨认单纯通过肤色检测和单纯通过深度的分割的措施存在着多种制约,效果并不抱负。本项目将两种措施结合起来做手的检测。拟设计的算法基本流程如下:在Kinect采集到某一帧的RGB图像和相应的深度图像后,一方面对RGB图像做肤色辨认,将肤色辨认的成果保存为二值化图像,然后,运用深度图像做深度分割,只对阈值范畴内

13、的图像做计算,将阈值范畴内的点映射到RGB图像中,如果映射后的点相应于肤色,则保存,否则剔除该点。最后就得到了只有手部的二值化图像。将手部的某些三维信息做记录,作为跟踪信息,提供应上层应用。在运用深度信息做分割时,需要将深度信息和RGB信息相应起来，Kinect采集到的RGB信息和深度信息是有映射关系的，根据该映射关系,可以将深度分割后的图像中的像素点映射到RGB图像中。为了减少对顾客的限制，本项目采用的方案将支持自动追踪和更新深度阈值范畴。也就是说，深度分割的阈值在初始化之后可以做到自动更新，而不需要限制在一种固定的范畴里面。具体的做法是，一方面设定一种固定阈值，做半自动分割，当检测到手之后

14、，取手的中心点位置，作为下一帧深度分割的阈值参照值。如果浮现了手的位置移出了摄像头的拍摄范畴，则下一次检测手的时候，只需将手放置在固定阈值范畴内，即可再次检测到。这样对于顾客的手的位置基本不做限制。通过Kinect采用到顾客的手势信息后，通过软件对读取到的图像进行解决,以获取到手势的跟踪信息,然后将信息发送给上层应用,作为控制指令,以完毕相应动作。编写软件，与操作系统结合 本项目构成员都具有一定的编程能力，我们将改善算法、编写软件，使获取的手势意义被计算机辨认并作出响应。（2）可行性分析学校提供大量资金及场地器材为该项目提供了足够的外部资源。我校为增强学生创新实践能力，培养学生积极摸索研究的精神，大力实行了“创新训练筹划”。不仅为这次项目研究提供了较好的资源条件，也作为一种指引精神，引领我们如何更好地做好本次研究项目。本项目得到了顾德教师及研究生学长的大力支持，为顺利进行有关研究提供了有力的技术指引。顾德教师指引的本科毕业论文基于Kinect的PowerPoint 播放方案获得学院优秀毕业论文，也证明本科生可以完毕类似的研究项目。