《基于kinect的人机交互设计》由会员分享，可在线阅读，更多相关《基于kinect的人机交互设计（32页珍藏版）》请在金锄头文库上搜索。
1、2016届毕业（设计）论文题 目 基于kinect的人机交互设计 专业班级 自动化（过程）01班 学 号 学生姓名 第一指导教师 指导教师职称 高级工程师 第二指导教师 指导教师职称 学院名称 完成日期： 2016 年 5 月 25 日 武汉工程大学本科毕业（设计）论文摘 要 随着计算机技术的飞速发展，人机交互的模式也日益增多。传统的鼠标键盘的输入方式已不能满足人们的追求，体感输入控制模式取得了快速发展，也更符合人们的行为习惯。本设计通过kinect摄像头采集深度图像捕捉手指在屏幕前的位置，处理图像数据定位手指的坐标点，然后更改鼠标指针执行相应操作.通过交互设计将不可触控的电脑屏变为手指非接触
2、式控制模式。指尖的识别方式有很多种，本文不涉及到指尖识别的相关算法，通过分析处理图像数据的方式得到指尖位置。提取手部图像的前景图像数据，逐行的读取数据，找出手部位对应的数据点，确定手部最前端指尖为控制点，计算指尖坐标再更新鼠标指针完成鼠标的移动和相关动作。关键词：kinect；人机交互； 深度图像； 指尖识别；非接触控制AbstractWith the rapid development of computer technology,the control mode of human computer interaction(HCI) becomes more and more.Traditi
3、onal input methods by using keyboard and mouse cant meet peoples need.Somatosensory input control mode has achieved rapid development,and Conform to peoples behavior habits.This design gets the position of the finger in front of the screen through handling the depth image which is captured by the Ki
4、nect camera. Then change the mouse pointer to execute relevant opertions.Througt the human computer interaction design ,we can make the screen which can be controled by touching become one which can be controled by finger non-contact control mode. Finger recognition methods have many kinds, this pap
5、er does not relate to the fingertip recognition algorithm.Throughing analysing the image data,we can get the fingers position,First,we must get the foreground image data.Then read the data line by line,find out hand parts corresponding data.Computing the fingertipcoordinate which has be set as contr
6、ol point,then update the mouse pointer to complete the movement of the mouse and action. Keywords: kinect; HCI; depth image; fingertip recognition; non-contact controlII目 录摘 要IAbstractII1 绪论11.1 研究背景及意义11.2 国内外的发展情况21.3 kinect的应用32 Kinect 工作原理52.1 kinect的硬件组成52.2 kinect的投影机和摄像头62.3 kinect的产品设计72.4 k
7、inect深度图像的工作原理83 交互系统设计方案93.1 常用非接触式触摸屏方案对比93.2 设计基本流程123.3 指尖识别133.4 根据手指坐标更新鼠标指针184 软件开发调试194.1 kinect对硬件要求194.2 开发环境194.3 读取深度图像数据194.4 获取手部深部图像204.5 指尖识别的实现204.6 定位鼠标位置224.7 调试效果225 总结和展望235.1 总结235.2 展望23致谢24参考文献：25IV 1 绪论1.1 研究背景及意义随着计算机科学技术高速发展，人机交互（HCI Human-Computer-Interaction)技术已经从以计算机为中心
8、逐步转移到以人为中心。新的人机交互方式给人们带来了新的体验，计算机更加智能，能够理解人的自然语言，人机交互过程更加自然、方便、高效。人机交互越来越多的影响并改变着人们的生活，人机交互技术的不断发展让人们实现了过去不敢想象的事情，将人类的智慧和创造力变为现实，影响着整个人类的发展。真正意义上的人机交互方式是：人将摆脱任何形式的交互界面，输入信息的方式变得越来越简单、随意，借助于人工智能与大数据的融合，能够非常直观、全面地捕捉到人的需求，并且协助我们处理。换一句话来说就是智能设备能读懂我们心里所想的意图，并按照我们的意图去自发的执行相应的操作，带给我们一种有精神层面控制的惊喜，就像是一个最亲密朋友
9、，总能从你的眼神中读懂你想要干什么。然而真正意义上的人机交互确实很难做到的，目前的大部分的交互方式还没有摆脱界面这个层次，虽然在很多场合人们已经不需要去直接去操作设备，借助于组态界面便可让设备执行相应的动作，但这种形式的人机交互显然已无法满足当今人们对智能化的追求。当今时代的人机交互不足之处概括起来应该主要有三方面：1.使用范围局限，在人机交互技术领域，尽管当前已经有许多新兴交互方式的尝试，比如体感交互、眼动跟踪、语音交互、生物识别等方式，但大部分的交互方式使用率都不是非常高，也还未进入真正意义上的商业应用普及中，更没有哪种人机交互方式，能够达到人可以毫无障碍、随心所欲地和设备（机器）交流的水
10、平。如体感交互，现在的使用还基本局限在游戏领域，在游戏娱乐中，人们可以通过体感交互身临其境的去感受游戏的乐趣，一旦有什么不足，最多是被吐槽设备感知度不够，而一旦进入了生活层次，人机交互还不够成熟的缺点就会被无限的放大，比如使用人体感知来控制电机的速度时，一旦出现什么差错，带来的可能就是不可计量的经济损失，甚至是安全问题。2.仍未摆脱界面交互，现如今，界面交互已经发展的特别成熟，从某种意义上，触控的发展让键盘得到了释放，但是在根本意义上却还是一样的，将硬键盘变成了软键盘，手指的点击取代了鼠标的功能，但这一切都是在交互界面的前提下完成，如果设备能读懂我们的一个眼神亦或是一个心理动作，那在人机交互技
11、术上将是一个重大的发展。3.信息识别困难，目前很多语音设备对信息识别不够准确，也让这种交互方式难以奏效，其根本原因就是信息识别的不够精确。Kinect是2009年微软发布的一款体感周边外设，它是一种3D的体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能，在硬件设施上做到了采集人体行为、语音以及追踪目标的功能。在软件上，微软开发了一系列的软件库，比如识别人别人体骨骼、标定人体动作行为等等，在体感交互上做到了极大的创新，软件的开发也实现了极大的精确度。本设计主要是对kinect进行软件开发，通过其深度图像的功能，定位手指的位置，做到在PC机上释放鼠标这个功能。其
12、意义在于开发学习人机交互的相关知识，通过实际的操作学习了解kinect的机构，完成人机交互的相应操作。在开发研究上没有太大的意义，设计的目的在于学习图像处理的程序算法和其稳定性相关的研究。1.2 国内外的发展情况在2012年10月，Microsoft正式宣布kinect登陆中国市场，在近几年内kinect已取得了飞速的发展。在农业方面，kinect被用来采集果树的图像进行三维点云配准，以实现对果园的智能化管理。利用kinect的精确体感控制技术，设计出基于kinect体感控制技术的幻影成像展示台，实现了由人体控制的三维建模。这些都是对kinect的极大发展，然而kinect在现实生活中并未有太
13、多的实际应用，绝大部分都是用于科学研发，离实际的应用还有一段距离。Kinect在某种程度上说就只是一种输入设备，在国内，体感交互的发展并没有达到相应的高度，作为旨在改变游戏输入方式的kinect难以在这个已适应键盘鼠标输入的游戏时代有极好的发展，人们已经习惯了硬件设备的输入方式，人机交互的游戏方式很难进入日常的生活中。在2010年微软正式发布kinect后，在60天内总计卖出了800万台，同时成功的拿下了“吉尼斯世界记录中销售速度最快消费者设备”的头衔，游戏开发者也争相为这一设备开发游戏。但是由于其魔法只有85%是有效的，另外的15%简直令人失望，kinect的光环开始褪去，其为用户提供前所未
14、有的操作体验的真正价值没有得到完美的体现，基于该平台的游戏逐渐没落，甚至全面溃败。但在别的领域，kinect却取得了不菲的成绩，在医疗领域，教育领域，工业领域，kinect发挥了其神奇的魔力。不接触的体感控制让kinect在一些特定的场合得到了应用，如在医疗领域，手术时的不接触体感控制读取光片，阅读病例等等。1.3 kinect的应用Kinect在实际生活中的应用，不仅仅局限在游戏方面，很多的开发者将其安装在自己的设备上，以达到体感交互的控制方式，代替自己的去进行一些操作。国内外的应用有很多。1 3D试衣间，日本东芝使用kinect开发的3D试衣间，使购买者免去了试衣服的烦，在购买时，直接通过手势选择标定的相关服饰，即可
