《基于单目手势识别交互系统毕业论文》由会员分享，可在线阅读，更多相关《基于单目手势识别交互系统毕业论文（40页珍藏版）》请在金锄头文库上搜索。
1、 本科毕业设计（论文）基于单目手势识别交互系统的设计与实现学 院 机电工程学院 专 业 数字媒体技术 基于单目手势识别交互系统的设计与实现 李林钢 机电工程学院摘 要随着计算机技术的逐渐发展，出现了一些符合人的习惯的人机交互技术。其中，手势的检测和识别技术作为一种有着自然性、简洁性和直接性的一种新型的交互方式，是这些交互技术当中倍受重视的研究和应用的技术之一。近几年来，已经有相当一部分的应用采用了这种手势识别的方式作为跟机器交互的手段，受到了世界各个国家的科研机构和科技企业的重视与青睐。基于计算机视觉的手势识别需要解决一系列的问题。首先是要做到的是从背景中将手分割出来；然后将有用的信息与冗余的
2、信息分离开来，并将相关的手势信息提取出来；最后从一样的手势中根据实际情况，解读出它的特定的含义。针对这些问题，本文讨论里一种采用基于单目的特定颜色模型的背景分离方法和基于关键信息的手势提取方法，用Visual C+ 2010和OpenCV进行开发，实现在多种摄像头下的手势识别交互系统，主要包括以下方面：（1）针对不同摄像头画质的缺陷，采用中值滤波或均值滤波然后还原细节的方法实现图像较好的降噪，再用不同采样半径的USM锐化的方式实现图像信息的强化。（2）根据人手和背景色相等方面的差异，采用亮度+两个颜色通道的色彩模型进行色彩分离，并将未选择到的阴影和高光等区域利用连续色的原理进行进一步的选取。（
3、3）根据选取结果有很多干扰区域的情况，实现最大面积连通区域的提取算法，以排除关键信息提取时的干扰。（4）根据手的区域的情况和交互的自然性，采用稳定的手的重心作为手的位置，利用近大远小的关系，采用手占摄像头面积的大小判断手离摄像头的距离。（5）针对以上识别的结果，实现了一些常见的人机交互应用，包括屏幕画图器、鼠标模拟器等。关键词：手势识别；Visual C+；背景消除；连通区域；关键信息提取AbstractWith the development of computer technology, some human-computer interaction techniques which me
4、et peoples habitsappear. Among them, gesture detection and recognition technology, as a new natural, simple and directtechnology, is highly valued. In recent years, there have been considerable part of the application using this gesture recognition approach as a means of an interaction with the mach
5、ine, andit draws attention of and was favored by the scientific research and technology enterprises of various countries.Computer vision-based gesture recognition needs to solve a series of problems. The first is is how to split the hand from the background; then separate the useful information and
6、redundant one, and extractthe relevant information gesture; finally, decipher the specific meaning of the same gesture in accordance with the actual situation. To solve these problems, this paper discusses a gesture recognition interactive system with a kind of background separation methods based on
7、 specific color model, and a kind of gesture extraction method on key information, developed by Visual C + + 2010 and OpenCV, fits a variety of camera, which includes the following aspects:(1) For different quality defects among cameras, this system uses median filter or mean filter and restores the
8、 detail method to reduce the image noiseconservatively.Thenuse different sampling radius of USM sharpening to enhance the image information.(2) According to the difference of colors between backgroundand hands, this system uses the brightness and the two color channels as a color model for color sep
9、aration.The not chosen distinct, such as the shadow and highlight areas will be furtherselectedusing a continuous color method.(3) According to the results there are a lot of interfering regionsof selected areas. The system achieves the maximum connected area region extraction algorithm, which exclu
10、des the interference of the key information extraction.(4) According to the hand region of the case and for the naturalist interactive, the system uses the stable point- gravity center of the hand as the hand position, and usesthe size of the handto know the distancefrom the area with the near-far s
11、maller principle.(5) According to the results above, the system achieves some common interactive applications, including screen drawing control, mouse simulator, etc.Keywords:Gesture Recognition; Visual C+; Background Removal; Connected Region; Key Information Extraction目录1 绪论11.1 手势识别交互的背景11.2 手势与识
12、别方式的分类21.3 基于计算机视觉的手势识别技术需要解决的问题21.4 本程序主要实现的功能32 摄像头信息的采集和预处理52.1 OpenCV关于摄像头操作的API52.2 在控件中呈现有关摄像头的图像62.2.1 HDC的获取62.2.2 将IplImage*位图渲染到控件当中62.3 摄像头图像的预处理72.3.1 图片的缩放72.3.2 图片的降噪82.3.3 图片的锐化113 手的区域的提取133.1 肤色种子的获取133.1.1 获取鼠标相对图像位置的颜色133.1.2 自定义肤色种子143.2 基于手与背景在一定颜色模型上的区别的初步提取143.3 将手的围扩展到其他区域153
13、.4 外部孤立点的消去163.4.1 获取连通区域的面积和标记区域ID183.4.2 最大面积和对应区域的获取193.5 部孤立点的修补194 手的关键点的提取214.1 手的重心和面积的确定214.2 手的边缘的提取215 程序主体代码的实现235.1 工程的环境和架构235.2 主类成员变量的定义245.3 程序的初始化代码245.4 从输入控件中获得识别参数265.5 总体识别语句的实现286 应用设计306.1 屏幕画图的设计306.1.1 获取CWindowDC306.1.2 定义和设置笔刷306.1.3 绘图语句306.2 模拟鼠标功能的实现316.2.1 手的有效偏移量的获取32
14、6.2.2 鼠标点击功能的实现327 手势识别的综合测试34结论36总结36展望与改进36参考文献38致39 / 1 绪论1.1 手势识别交互的背景随着整个社会逐步的信息化，带给了我们一种新的交互方式人机交互(human-computer interaction)。而这一交互活动越来越成为人们日常生活的一个重要容。近几年来，随着计算机技术的逐渐发展，出现了一些符合人的习惯的人机交互技术，如头部跟踪、人脸识别、表情识别、唇读、体势识别以与手势识别等等1，并逐步向以人为本的方向迈进。其中，手势的检测和识别技术作为一种新型的方式，是这些交互技术当中倍受重视的研究和应用的技术之一。手势是一种有着自然性
15、、简洁性和直接性的一种人机交互手段。1如果能只用人手作为计算机的输入设备，那么我们就无需学习其他繁重的硬件设备的操作，仅需根据人们的习惯，确定一些适当的手势，即可用简单的方式控制机器。而手势是人的一种很常用的交流方式。像人可以用手指的方向来表示物体的位置，用挥手来表示过来或再见，用一定的手势表示数字等等2。近几年来，已经有相当一部分的应用采用了这种手势识别的方式作为跟机器交互的手段。受到了世界各个国家的科研机构和科技企业的重视与青睐，如IEEE自1995年起召开的人脸与姿势自动检测年会FG(IEEE Conference on Automatic Face and Gesture Recognition)以促进包括手势检测识别技术在的技术交流与发展。2图1.1 手势识别应用1.2 手势与识别方式的分类手势(gesture)本身具有多义性和多样性，由于领域、文化背景等的不同，对手势的定义也会不同。这里把手势定义为：手势是人手产生的各种姿势和动作，手势和姿势(posture)的主要区别在于姿势更为强调身体的总体形态而手势更强调手的细节。1
