《基于单目手势识别交互系统-毕业设计论文》由会员分享，可在线阅读，更多相关《基于单目手势识别交互系统-毕业设计论文（45页珍藏版）》请在金锄头文库上搜索。
1、本科毕业设计（论文） 基于单目手势识别交互系统的设计与实现学 院 机电工程学院 专 业 数字媒体技术 基于单目手势识别交互系统的设计与实现 李林钢 机电工程学院摘 要随着计算机技术的逐渐发展，出现了一些符合人的习惯的人机交互技术。其中，手势的检测和识别技术作为一种有着自然性、简洁性和直接性的一种新型的交互方式，是这些交互技术当中倍受重视的研究和应用的技术之一。近几年来，已经有相当一部分的应用采用了这种手势识别的方式作为跟机器交互的手段，受到了世界各个国家的科研机构和科技企业的重视与青睐。基于计算机视觉的手势识别需要解决一系列的问题。首先是要做到的是从背景中将手分割出来；然后将有用的信息与冗余的
2、信息分离开来，并将相关的手势信息提取出来；最后从相同的手势中根据实际情况，解读出它的特定的含义。针对这些问题，本文讨论里一种采用基于单目的特定颜色模型的背景分离方法和基于关键信息的手势提取方法，用Visual C+ 2010和OpenCV进行开发，实现在多种摄像头下的手势识别交互系统，主要包括以下方面：（1）针对不同摄像头画质的缺陷，采用中值滤波或均值滤波然后还原细节的方法实现图像较好的降噪，再用不同采样半径的USM锐化的方式实现图像信息的强化。（2）根据人手和背景色相等方面的差异，采用亮度+两个颜色通道的色彩模型进行色彩分离，并将未选择到的阴影和高光等区域利用连续色的原理进行进一步的选取。（
3、3）根据选取结果有很多干扰区域的情况，实现最大面积连通区域的提取算法，以排除关键信息提取时的干扰。（4）根据手的区域的情况和交互的自然性，采用稳定的手的重心作为手的位置，利用近大远小的关系，采用手占摄像头面积的大小判断手离摄像头的距离。（5）针对以上识别的结果，实现了一些常见的人机交互应用，包括屏幕画图器、鼠标模拟器等。关键词：手势识别；Visual C+；背景消除；连通区域；关键信息提取AbstractWith the development of computer technology, some human-computer interaction techniques which me
4、et peoples habits appear. Among them, gesture detection and recognition technology, as a new natural, simple and direct technology, is highly valued. In recent years, there have been considerable part of the application using this gesture recognition approach as a means of an interaction with the ma
5、chine, and it draws attention of and was favored by the scientific research and technology enterprises of various countries.Computer vision-based gesture recognition needs to solve a series of problems. The first is is how to split the hand from the background; then separate the useful information a
6、nd redundant one, and extract the relevant information gesture; finally, decipher the specific meaning of the same gesture in accordance with the actual situation. To solve these problems, this paper discusses a gesture recognition interactive system with a kind of background separation methods base
7、d on specific color model, and a kind of gesture extraction method on key information, developed by Visual C + + 2010 and OpenCV, fits a variety of camera, which includes the following aspects:(1) For different quality defects among cameras, this system uses median filter or mean filter and restores
8、 the detail method to reduce the image noise conservatively. Then use different sampling radius of USM sharpening to enhance the image information.(2) According to the difference of colors between background and hands, this system uses the brightness and the two color channels as a color model for c
9、olor separation. The not chosen distinct, such as the shadow and highlight areas will be further selected using a continuous color method.(3) According to the results there are a lot of interfering regions of selected areas. The system achieves the maximum connected area region extraction algorithm,
10、 which excludes the interference of the key information extraction.(4) According to the hand region of the case and for the naturalist interactive, the system uses the stable point - gravity center of the hand as the hand position, and uses the size of the hand to know the distance from the area wit
11、h the near-far smaller principle.(5) According to the results above, the system achieves some common interactive applications, including screen drawing control, mouse simulator, etc.Key words: Gesture Recognition; Visual C+; Background Removal; Connected Region; Key Information Extraction目 录1 绪论11.1
12、 手势识别交互的背景11.2 手势及识别方式的分类21.3 基于计算机视觉的手势识别技术需要解决的问题21.4 本程序主要实现的功能32 摄像头信息的采集和预处理52.1 OpenCV关于摄像头操作的API52.2 在控件中呈现有关摄像头的图像62.2.1 HDC的获取62.2.2 将IplImage*位图渲染到控件当中62.3 摄像头图像的预处理72.3.1 图片的缩放72.3.2 图片的降噪82.3.3 图片的锐化113 手的区域的提取133.1 肤色种子的获取133.1.1 获取鼠标相对图像位置的颜色133.1.2 自定义肤色种子143.2 基于手与背景在一定颜色模型上的区别的初步提取1
13、43.3 将手的范围扩展到其他区域153.4 外部孤立点的消去163.4.1 获取连通区域的面积和标记区域ID183.4.2 最大面积和对应区域的获取193.5 内部孤立点的修补194 手的关键点的提取214.1 手的重心和面积的确定214.2 手的边缘的提取215 程序主体代码的实现235.1 工程的环境和架构235.2 主类成员变量的定义245.3 程序的初始化代码245.4 从输入控件中获得识别参数265.5 总体识别语句的实现286 应用设计306.1 屏幕画图的设计306.1.1 获取CWindowDC306.1.2 定义和设置笔刷306.1.3 绘图语句306.2 模拟鼠标功能的实现316.2.1 手的有效偏移量的获取326.2.2 鼠标点击功能的实现327 手势识别的综合测试34结论36总结36展望与改进36参考文献38致谢39 1 绪论1.1 手势识别交互的背景随着整个社会逐步的信息化，带给了我们一种新的交互方式人机交互(human-computer interaction)。而这一交互活动越来越成为人们日常生活的一个重
