《多点触控(Multi-Touch)屏幕技术综述》由会员分享，可在线阅读，更多相关《多点触控(Multi-Touch)屏幕技术综述（7页珍藏版）》请在金锄头文库上搜索。
1、1多点触控（Multi-Touch）屏幕技术综述摘要：随着 iPhone 等触控手机和平板电脑的日益火爆，人机互动领域成为新时尚热点，人们追求这种效果华丽、科技感强大的触控技术产品。多点触控技术，支持复杂的姿势识别，通过手势操作，可以实现放大缩小图像等功能。从此，人们可以甩开鼠标键盘，用双手就可以浏览图片、拖拽文件，甚至大玩游戏，一点一拨之间就轻松体验到充满科技乐趣的全新产品。本文将从多点触控技术的定义，发展，当前应用，主要的研究方法分类和发展前景这几个发面对多点触控技术进行综述。关键词：多点触控；Multi-touch；多通道交互技术1、多点触控（Multi-Touch ）屏幕技术定义多点触
2、控 (又称多重触控、多点感应、多重感应，英译为 Multi-touch 或 Multi-touch)是一项由电脑使用者透过数只手指达至图像应用控制的输入技术。是采用人机交互技术与硬件设备共同实现的技术，能在没有传统输入设备（如鼠标、键盘等）的情况下进行计算机的人机交互操作 1。多点触控系统特点:1、多点触控是在同一显示界面上的多点或多用户的交互操作模式，摒弃了键盘、鼠标的单点操作方式。2、用户可通过双手进行单点触摸，也可以以单击、双击、平移、按压、滚动以及旋转等不同手势触摸屏幕，实现随心所欲地操控，从而更好更全面地了解对象的相关特征（文字、录像、图片、卫片、三维模拟等信息）。3、可根据客户需求
3、，订制相应的触控板，触摸软件以及多媒体系统；可以与专业图形软件配合使用。2、多点触控（Multi-Touch ）屏幕技术发展历史多点触控技术始于 1982 年由多伦多大学发明的感应食指指压的多点触控屏幕。同年贝尔实验室发表了首份探讨触控技术的学术文献。1984 年，贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。同时上述于多伦多大学的一组开发人员终止了相关硬件技术的研发，把研发方向转移至软件及界面上，期望能接续贝尔实验室的研发工作。1991 年此项技控取得重大突破，研制出一种名为数码桌面的触屏技术， 容许使用者同时以多个指头触控及拉动触屏内的影像。1999 年，“约翰埃利亚斯” 和“鲁
4、尼韦斯特曼”生产了的多点触控产品包括 iGesture 板和多点触控键盘。经过多年维持专利的 iGesture 板和多点触控键盘。22006 年，Siggraph 大会上，纽约大学的 Jefferson Y Han 教授向众人演示最新成果，其领导研发的新型触摸屏可由双手同时操作,并且支持多人同时操作。利用该技术，Jefferson Y Han 在 36 英寸 27 英寸大小的屏幕上，同时利用多只手指 (拇指似乎还无法感应到)，在屏幕上画出了好几根线条。与普通的触摸屏技术所不同的是，它同时可以有多个触摸热点得到响应，而且响应时间非常短小于 0.1 秒。3、主要的研究方法分类1 基于传感器的 Mu
5、lti-Touch 系统许多Multi-Touch装置基于传感器技术，这些传感器能同时检测到多个接触点，从而识别多个点的输入。和基于计算机视觉的Multi-Touch系统相比，基于传感器的Multi-Touch系统一般不能从现成的组件来组装，搭建的成本较高。而且环境温度、湿度的会影响到系统的性能。但是由于可以把传感器集成在接触表面上，可用于手机、Pads等屏幕较小的手持设备上。Lee等在1985年提出的FMTSID(Fast Multiple-Touch-Sensitive Input Device) 2多点触控装置是最早的基于传感器的多点触控装置之一。该系统由一个传感器矩阵面板、行列选择寄存
6、器、A/D转换器和一个控制 CPU组成。通过测量电容的改变，来检测手指的触摸点。FMTSID可以精确的检测多个手指的触摸位置，而且还可以检测出手指的接触压力。表 1 Multi-touch 技术分类FMTSID(Fast Multiple-Touch-Sensitive Input Device) Diamond TouchSmart Skin基于传感器技术iPhone 手机Everywhere Display 完全基于计算机视觉PlayAnywhereFTIR(Frustrated Total Internal Reflection)基于计算机视觉技术基于计算机视觉和光学Microsoft
7、Surface三菱电子研究实验室的Dietz等在2001年提出了DiamondTouch（DT ） ，是一个支持多用3户的前置摄像头的多点触控系统。桌面是投影的屏幕，同时也是接触屏。触屏下面镶嵌大量的触角，每一个触角传递一个特定的信号，每一个使用者有独立的接收器，利用使用者的导电性，通过其座椅将信号传递。当使用者接触面板，在接触点附近的触角在使用者的身体和接收器之间传递微弱的信号。这种独特的接触技术支持单一使用者的多种接触（例如双手接触的动作） ，还能区别不同使用者之间的同时输入（多达4个）而互不干扰。该系统还可以检测接触点的压力，支持丰富的手势，不受外来物体的干扰。和许多的多点触控技术一样，
8、DT不能区分来自同一个用户的多个接触点是那个手指的。DiamondTouch 存在如下的缺点：只能检测到“touch”动作，而不能识别放在他表面上的物体；DT 则从桌子上方投射图像，因此使用的时候，人的肢体遮挡显示屏，从而带来操作上的不变。根据Lee等提出的FMTSID原理，Sony计算机科学实验室的 Rekimoto等在2002年提出具有更高分辨率的SmartSkin 3多点触控系统，该系统由网格状发射器/接收器组成。SmartSkin可以不仅可以识别多个手的接触位置和它们的形状，而且通过电容感应和网格式的天线来计算手和接触面的距离。和DiamondTouch 相比， SmartSkin能够
9、返回更加丰富的接触信息（如手指的接触形状） 。这激发了Cao等人利用手指的接触形状来设计新颖的交互方式。Apple在2007年推出的iPhone手机，是第一个支持多点触控的移动设备。iPhone使用电容耦合来感应多个触控点。iPhone 能够实现具有有限维度的多点触控，允许人们以徒手的方式进行操作，并且可以通过虚拟的键盘进行打字，拨电话号码以及由Krueger最先介绍的“pinching”技术（用一只手的大拇指和食指实现对地图和照片的缩放操作） 。这是鼠标、键盘这些传统的输入方式所办不到的，iPhone 的这些功能让人们耳目一新。随着Apple公布了iPhone SDK，引起了研究人员对于Mu
10、lti-touch技术在手持设备中的应用研究的极大兴趣。2 基于计算机视觉的 Multi-Touch 系统由于计算机成本的下降和性能的提高，计算机视觉技术得到了很大的进步，这使我们能够实时、高速处理视频信号，这足以满足实时交互和人机交互的要求。由此研究人员提出了许多以计算机视觉为核心的 Multi-Touch 系统。2.1 完全基于计算机视觉的多点触控系统完全基于计算机视觉的多点触控系统仅使用图像处理技术来识别接触点及其接触的位置。采用该技术的多点触控系统可以在任何平整的表面使用，而不需要专门的显示设备，具有很高的便携性。但这种便携性是以牺牲选择精度为代价的。Pinhanez 等人设计了一个完
11、全基于计算机视觉的触摸显示系统Everywhere 4Display4。该系统使用一个摄像头和投影仪通过图像处理技术把一个普通的屏幕变成可以触控互动的显示屏幕。虽然 Pinhanez 在文章中没有提供任何接触检测算法的选择精度的数据，但很明显为了便携性而牺牲了选择的精度。比起其它 Multi-touch 技术来说，Everywhere Display 要精确确定手指触摸显示屏的时间和时长很困难。Microsoft 的 Wilson 等提出的 PlayAnywhere 系统 是一个相对比较紧凑和具有较好的移动性的前置摄像头的桌面交互系统。Wilson 为基于计算机视觉的前置摄像头桌面交互系统提出
12、了多种图像处理技术，最显著的是基于阴影的触摸检测算法，该算法能够准确、可靠地检测触摸事件和它们的接触位置。但 Agarwal 等指出，该算法只有在手指的指向是垂直的情况下效果才是最好的，这限制了该系统在协作环境下的应用。Agarwal 等人根据立体图像和机器学习技术开发了计算机视觉算法，该算法改善了基于计算机视觉的多点交互桌面的选择精度（精确度 23mm），能够准确地检测指尖的触摸事件，其准确率达到了 98.48%，这和以前的技术级相比（之前的选择精度一般是 cm 级别的），有了很大的提高。2.2 基于计算机视觉和光学的多点触控系统基于计算机视觉和光学的 Multi-touch 技术搭建起来的
13、设备具有很好的扩展性，而且成本相对较低，但其体积一般都比较大。下面介绍两种基于计算机视觉和光学的 Multi-touch系统。(1)受抑全内反射技术（FTIR）FTIR（Frustrated Total Internal Reflection）是一种光学现象，LED( 发光二极管)发出的光束从触摸屏截面照向屏幕的表面后，将产生反射。如果屏幕表层是空气，当入射光的角度满足一定条件时，光就会在屏幕表面完全反射。但是如果有个折射率比较高的物质(例如手指) 压住丙烯酸材料面板，屏幕表面全反射的条件就会被打破，部分光束透过表面，投射到手指表面。凹凸不平的手指表面导致光束产生散射(漫反射 )，散射光透过触
14、摸屏被架设在亚克力板面下面的红外摄像头读取，通过对应的软件（Touchlib）就可以检测到相应的触摸信息。Touchlib 是 NUI Group 为多点触控系统开发的一套软件库，它实现了计算机视觉大部分算法。这种技术使用简单的 Blob 检测算法就能检测多个触摸点和接触的位置。实际上，FTIR 原理很早就被用来生产一些输入设备，例如指纹阅读器。Jefferson 首次利用 FTIR 原理搭建了一个低成本的多点触摸显示屏，大大降低了 Multi-touch 技术的研究成本。根据 Jefferson 的方法，我们搭建了一个 60cmx45cm 的 Multi-touch 平台，总共花费不到 50
15、0 元。5(2)散射光照明技术（DI）DI（Diffused Illumination ）多点触摸技术指红外光从底部照射在触摸屏幕上，将漫反射幕放在触摸屏幕的上面或者底部，当物体触摸屏幕的时候会反射比漫反射幕更多的红外光，然后被摄像头读取，通过 Touchlib 就可以检测到相应的触摸信息。用这个漫反射幕也可以用来检测悬停和在界面上的物体。DI 技术和 FTIR 相比，有一定的优势，DI 系统可以检测物体的悬停状态（系统能识别手或者手指在屏幕上移动或者移近屏幕，而不需要真正触摸）。另外，基于 DI 的系统依靠“看”什么在屏幕上，而不是检测触摸本身，因此，DI 能够识别和检测物体和物体的标记。但
16、是，和 FTIR 中使用的简单的 Blob 跟踪检测算法相比， DI 使用的图像处理技术比较复杂。此外，DI 系统容易受到外界光线的影响。Microsoft 的 Surface 是基于背面 DI (Diffuse Illumination)技术的多点触控系统。Surface 内置的摄像头可以感知触摸和姿势等用户输入（手指在屏幕上移动） ，还能够捕捉识别放在上面的物体所需信息。这些信息发送到普通类型的 Windows PC 进行处理，处理结果由数字光处理（DLP）投影仪返回给 Surface。Microsoft Surface 能感应多个手指和手，能识别多种物体和它们在表面上的位置。还有其他一些基于计算机视觉和光学的 Multi-touch 系统，例如：Alex 提出的激光平面多点触摸技术（LLP） 5；由 Nima 提出发光二极管平面多点触摸技术（ LED-LP） ；由Tim Roth 提出的散射光平面多点触摸技术（DSI ） 。这些技术都可以用来搭建 Multi-touch设备。更多的信息可以浏览自然用
