《基于Kinect的静态手势识别》由会员分享，可在线阅读，更多相关《基于Kinect的静态手势识别（9页珍藏版）》请在金锄头文库上搜索。
1、上海大学2013学年秋季学期研究生课程考试小论文课程名称：模式识别技术及其应用 课程编号：09Z117009论文题目: 基于Kinect的静态手势识别 研究生姓名: 王 罡 学 号: 13721323论文评语:成 绩: 任课教师: 杨帮华 评阅日期: 基于Kinect的静态手势识别王罡（上海大学机电工程与自动化学院，上海200072）摘要：在开发用于物体抓取、排爆排雷、人机交互的灵巧手过程中，为了实现手势跟踪控制等人机交互功能，需要对手势进行识别。微软发布的Kinect套件能够提供丰富的图像信息特别是深度信息，采用其进行手势识别简单方便。本文着重介绍基于Kinect的静态手势识别实现过程，包括
2、手势分割、运用Border-Following算法识别手势图像轮廓、运用K-curvature算法辨别指尖，通过实验分析K-curvature算法K参数等。经过测试证明方法可行，实现了静态手势识别功能。关键词：模式识别；Kinect；手势识别Kinect-Based Static Gesture RecognitionWANG Gang(School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China)Abstract: In the developing of Dexte
3、rous-Hand for objects grasping,explosive disposal and demining,human-computer interaction,in order to achieve gesture tracking control and other interactive features,gesture recognition is needed.The Kinect suite released by Microsoft can provide a wealth of image information including in particular
4、 the depth information so that gesture recognition becomes simple and convenient using it.Kinect-Based static gesture recognition is mainly introduced in the dissertation including gesture segmentation, the use of Border-Following algorithm to recognize the gesture image contours, the use of K-curva
5、ture algorithm to identify fingertips, analysis of K parameters of K-curvature algorithm through experimental.It is proved feasible after testing to achieve a static gesture recognition.Key words:Pattern Recognition; Kinect; Gesture Recognition随着计算机技术的发展，人机交互也经过了命令行界面、图形用户界面，到自然用户界面（NUI）的发展过程。自然用户界面
6、即用户以自然的方式与计算机进行交流，如语音、触控、手势等。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术。Kinect 作为一个革命性的产品，能够捕捉、跟踪以及解密人体的动作、手势以及声音，使人机互动的理念更加彻底地展现出来。1手势识别和Kinect简介生物特征识别技术是一种根据人体自身所固有的生理特征和行为特征来识别身份的技术。生理特征包括虹膜、人脸、指纹、掌纹等由先天生成的固有特性；行为特征包括手势、签名、语音、步态等后天形成的特征行为方式。生物特征具有“人各有异、终生不变、随身携带”三个特点，具有不会丢失、不会遗忘、不易伪造等优点。各类生物特征识别技术各有利弊：指纹识别技
7、术成熟，成本低廉实用度广，但属于接触式识别，不够卫生；虹膜识别具有极高的识别率和安全性；人脸采集简单，特征明显，具有光明的前景；新兴的静脉识别和手势识别也有很好的应用价值，在人机交互的大环境下，其潜力有待进一步挖掘。不同于特征身份验证的生物识别技术，手势识别技术属于人机交互的范畴，是通过手的姿势或者手势运动的轨迹来鉴别手势定义的课题。从起初的数据手套采集手势到现如今的3D手势摄像技术，手势应用经过了几十年的发展，现如今手势电视机、体感摄像头等应用层出不穷，其光明的应用前景也可见一斑。由于人手形变的高维度性以及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的研究课题。虽然难度大，
8、但因为可以使人手解除束缚，所以前景广阔。基于视觉的手势识别即通过一个或者多个摄像头采集图像或视频，并利用视频图像处理方法分析识别手势信息。特点是无标记，非接触式手势识别，且对人的自然手不附带任何条件，从而使得人机交互更趋于自然化。摄像头除普通摄像头以外，还可以是深度摄像头，如微软发布的 Kinect1，如图1所示，无需使用任何体感手柄，便可达到体感的效果。因此，选用其进行以计算机视觉为基础的手势识别。图1 Kinect结构图Fig.1 Kinects structureKinect 作为一款姿态传感输入设备，它主要由一个主摄影头、一对深度传感器、一组麦克风及一个马达构成。Kinect具备即时动
9、态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等多种功能。一次可获取 3 种信息，分别是彩色影像、3D 深度影像和声音讯号。其机身上有 3 个镜头，中间的镜头是一般常见的 RGB 彩色摄影机，用来辨识使用者身份；左右两边的镜头则分别为红外线发射器和红外线 CMOS 摄影机所构成的 3D 深度传感器，可以侦测使用者的动作。Kinect 内建了麦克风系统，由多组麦克风同时收音，比对后消除杂音，等于提供了降噪功能，主要用于语音识别。2设计过程2.1基本原理基于视觉的手势识别总体流程2如图2所示。首先，通过一个或多个摄像机获取视频数据流信息。接着对这些信息流进行处理以判断是否含有静态手势。如果有手势
10、，则需要把该手势从视频信号中切分出来，然后选择已经训练好手势模型进行手势分析，分析过程包括提取特征值，针对这些特征值信息进行识别评估。最终生成手势描述，系统将这些描述转化成具体操作由计算机去完成。图2 基于视觉的手势识别的流程Fig.2 Vision-based gesture recognition process静态手势识别3是指对于静态图片中的手形和手的姿势进行识别。包括手势分割、手势特征提取、手势识别等模块。其中，手势识别多采用模板匹配等方式。流程如图3。图3 静态手势识别流程图Fig.3 Static gesture recognition process静态手势识别的实现主要如图4
11、经过三个过程：首先根据 Kinect SDK 提供的深度图骨骼节点的三维位置，利用深度信息进行手势分割；其次利用 Border-Following 算法对分割后的图片进行处理，找出图片中手形的轮廓；最后利用 K-curvature 算法对边界点进行处理，判断是否为尖峰点，以确定是否为指尖。图4 Kinect 静态手势识别实现过程Fig.4 The implementation process of Kinect static gesture recognition2.2手势分割Kinect 可以利用它的景深摄像头提供深度图像，其中的像素记录了场景中各点的校准深度，可以很好地消除背景噪音，提取出
12、人的信息。将图片中人物身体各个部位进行标记，运用大型、丰富多样的训练数据，从而保证决策树分类器在评估身体各部分时，不会因为个人、衣着、姿势等的不同，而造成分类错误。当身体各部分进行划分之后，可在此基础上预测出身体各关节的三维位置。在识别过程只需一张深度图就能判别人体各个关节的三维位置，如图5所示。将对应的各关节点连接成线，即为人体的骨骼。分类的开始之前，一般情况下首先要利用手势分割算法来确定手在图片中的位置，然后在分割后的图片中进行分析。手势分割算法主要有阈值分割算法、主动轮廓模型算法、基于边界的分割算法和区域增长分割算法。在基于视觉的手势识别中，通常会结合肤色进行辨别分割。由于Kinect
13、SDK 已经提供了骨骼识别的功能，即能够提供左右手的节点的三维位置。同时在其提供的深度图中，将人的像素点与背景的像素点进行区分标记（由于 Kinect SDK 利用PlayerIndex标记人物，所以当PlayerIndex0 时，表示该像素点属于人）。图5 Kinect骨骼识别流程Fig.5 The process of Kinect skeletal identification基于 Kinect 的静态手势分割公式1所示，其中 Alpha 为深度图中各像素点的透明度， 255 表示完全不透明，0 表示完全透明。PlayerIndex为人物索引号，DepthOfHand为手的关节点的深度值
14、，depth 为深度图中各像素点对应的深度值，uLimit为上限深度值，dLimit为下限深度值。以右手为例，手势分割的预处理阶段具体步骤如下：Alpha=0255255-255(depth-DepthOfHand+dLimit)uLimit+dLimitdepthuLimit或PlayIndex0depth0其他， (1)（1）首先判断手关节节点位置距离身体是否足够远（当距离过近时，凭借深度很难区分手的像素点和身体其他部分的像素点）。主要与左右肩膀的关节节点进行比较。经过试验，发现250毫米已经足够区分。（2）当满足（1）的条件时，根据一些实验性研究，寻找到一个合适的宽度Width，如公式2
15、所示，Width=Min(155DepthOfHand,480-xOfHand), (2)其中xOfHand为右手节点的X坐标值，当手的节点位于1米的深度时，将宽度大小设定为155像素点，随着深度的增大而线性减小，由于要防止手形超过深度图（其宽度为480像素点）的右边界，所以取两者间的最小值。对以右手的关节节点为中心，宽度为Width的范围内的深度图，进行逐点遍历。过程中，若PlayerIndex0，则将其Alpha置为0，RGB置为白色。（3）其次在遍历过程中对应PlayerIndex0的点，进行处理，主要分三种情况，当depth小于dLimt(其值为DepthOfHand-10mm）。该像素点Alpha为255，RGB为红色。当depth大于Uplimit(DepthOfHand+80mm)，由于人手面向镜头张开或者握拳，在一般情况下其在深度方向上半径小于80毫米时，Alpha为0，且RGB为白色。在其它情况中，对Alpha做如静态分割公式1所示的处理。（4）以右手关节节点为中心位置，在经过以上处理的深度图中进行截图，对由于人手面向镜头张开或者握拳，在一般情况下其在深度方向上半径小于80毫米，所以将上限值Uplimt定义为De
