回顾：人机交互中的手势的可视化解释

《回顾：人机交互中的手势的可视化解释》由会员分享，可在线阅读，更多相关《回顾：人机交互中的手势的可视化解释（9页珍藏版）》请在金锄头文库上搜索。

1、本科毕业设计（论文）外文参考文献译文及原文学院机电工程学院专业数字媒体技术年级班别2008级（1）班学号3109000746学生姓名李林钢指导教师冯开平2013 年 6 月译文： 回顾：人机交互的手势的可视化解释 11 引言 12 手势建模 32.1 定义手势 32.2 手势分类 52.3 手势的暂时性模型 52.4 空间建模手势 63 手势分析 7原文： Visual Interpretation of Hand Gestures for Human-Computer Interaction:A Review（见同名文献）错误！未定义书签。1 INTRODUCTION错误！未定义书签。2 G

2、ESTURE MODELING错误！未定义书签。2.1 Definition of Gestures 错误！未定义书签。2.2 Gestural Taxonomy错误！未定义书签。2.3 Temporal Modeling of Gestures 错误！未定义书签。2.4 Spatial Modeling of Gestures 错误！未定义书签。3 GESTURE ANALYSIS 错误！未定义书签。译文：回顾：人机交互的手势的可视化解释1 引言随着计算机在社会的大量涌入，人机交互（HCI）,已经成为我们日常生活中越来越 重要的一部分。人们普遍认为，计算，通信和显示技术的进步，甚至进一步，现

3、有的人 机交互技术可能会成为可用信息流的有效利用率的一个瓶颈。例如，最流行的人机交互 模式是基于简单的机械装置的键盘和鼠标。这些设备已发展到很家喻户晓，但它有固有 的限制，就是在我们跟计算机进行交互的速度和自然性方面。随着新的显示技术的出现， 例如虚拟现实2 ，78， 41，此限制已变得更加明显。因此，近年来向新颖的设备和技术发展的研究已经有了一个巨大的推动，这将解决这个人机交互的瓶颈。一个长期一直在人机交互的尝试就是要迁移到“自然”，也就是指人类借助人机交互 与对方沟通。有了这个动机，自动语音识别一直都保持着几十年来的研究课题的地位。 语音识别已经取得了巨大的进步，几个成功商业化的演讲接口的

4、已经部署75。然而， 只是在最近几年来才增加了将人和人的交流方式引入人机交互中，这包括了以人的手 臂，或手的运动为基础的一类技术。人类的手势是人与人之间的非言语互动的一种手段。 它们的范围从简单的行动，用我们的手来指向和移动对象到更复杂的表达我们的感情， 从而能够让我们与他人进行沟通。为了在人机交互中利用手势，有必要提供方法，使手势可以被计算机解释。手势的 人机交互解释要求的人的手，手臂的动态和/或静态的配置，甚至是对人体的其他部分时， 是可被机器所测量的。第一次尝试来解决这个问题的时候引出了机械装置用来直接测量 的手和/或手臂的关节角度和空间位置。所谓的手套的是这一组设备表现力最好的 9，

5、32， 88， 70， 101。手套基于手势界面，要求用户穿戴笨重的装置，一般通过电缆 将设备连接到一台计算机。这阻碍了与该用户可以与计算机控制的环境中进行交互的易 用性和自然性。即使使用这种特定的设备可能是合理的一个高度专业化的应用领域，例 如在一个虚拟现实环境中模拟手术，“日常”的用户肯定会对这样繁琐的接口工具望而 却步。这催生了活跃的研究朝着更“自然”的人机交互技术。潜在的，任何的笨拙地使用手套和其他设备是可以克服的，也就是使用以视频为主 的非接触式交互技术。此方法建议使用一组的视频摄像机和计算机视觉技术用来解释手 势。在这方面所产生的基于视觉的接口的无阻碍性导致了在最近的活动的一个新突

6、破。 在计算机视觉技术的最新进展中，可能促成这种兴趣不断增加的其他因素，包括快速计 算的实现，使得实时视觉处理是可行的。很多方法已被应用到人机交互手势的视觉解释 的问题，如将在以下各节中看到。许多这些方法已被选用和实施，使他们专注于一个特 定方面的手势，比如，专人跟踪，手的姿势估计，或手的姿态分类。在一些特定的应用 程序，如用手指作为指针来控制电视，或美国手语解释的背景下，已经开展了许多研究。直到最近，大多数基于视觉的手势人机交互工作一直侧重于静态手势或姿势识别。 多种型号，其中大部分直接取自一般物体识别方法，已被用于这一目的。手的图片，几 何矩，轮廓，剪影，3D手骨架模型是几个例子。然而，在

7、最近一年中，才产生了结合 手势的动态特性的兴趣。其基本原理是动态手势动作和手的运动传递尽可能多的意义， 他们的手势一样。已经提出了许多方法，包括从全局手动分析，独立的指尖运动分析， 手势分析。基于视觉的手势分析的推动下，需要开发更自然，高效的人机接口，有关的 各种研究也因此获得了快速增长。这些研究报告分布在不同的文献中，但是有时候他们 的研究角度和阐述会产生一定程度的混乱。因此，有越来越多的需要去调查最先进的基 于视觉的手势识别，和去系统分析基于视觉的手势的人机界面的进展。本文试图汇集在 它作用的不同的人机交互背景下，视觉手势解释的最新进展。我们以对手势识别系统的通常看法为基础，将后面的讨论分

8、成了以下的几个部分， 开展了调查：手势建模（第 2 节）手势分析（第3节）手势识别（第 4 节）基于手势的系统和应用程序（第 5）识别任务（在一个研究中或清晰或隐约被考虑到）的第一阶段是选择一个模型的手 势的数学模型可以同时考虑空间和时间特性的手和手势。我们致力于手势建模问题深入 讨论。用于建模的方法，解释手势的性质和证明性能起着举足轻重的作用。一旦决定了模型之后，分析阶段从单个或多个视频输入流中提取图像的特征，作为 计算模型的参数。这些参数构成手部姿势或轨迹，取决于所使用的建模方法的一些描述。 参与分析的重要问题是手势定位，专人跟踪，以及选择合适的图像特征。我们在第3节 中讨论这些和其他问题

9、的姿态分析。其次是手势识别模型参数的计算。在这里，会有参数的分类和解释公共的模型，也 许是一些语法规则约束。语法可以反映的不仅仅是内部语法的手势命令，但也可能与其 他通信模式，如讲话，目光，表情手势的互动。评价中的一个特定的手势识别方法包括 精确度，健壮性和速度，以及不同类别的手/手臂的动作，它涵盖变化的数量。我们调查 了在第 4 节的各种手势识别方法。做手势识别的研究报告的一个主要动机就是去研究各种应用程序使用手势的可能 性，旨在在人和各种计算机控制的监视器之间的一个自然的互动。其中的一些应用已被 用来作为定义手势识别的基础，因此可以有目的地，制定相关的计算机视觉问题。在第 5 章中，我们将

10、调查一些报告，以及其他潜在的可视化解译手势的应用虽然在手势识别中的目前的进展是令人鼓舞的，需要进一步的理论和计算的进步手 势之前，可广泛用于人机交互。我们讨论一些手势识别，包括在第6 章提及的人机交互 模式的整合与研究方向，以及第 7 章的结束语。2手势建模为了系统地讨论本文提及的手势解释，重要的是要首先考虑的是什么类型的手势。 事实上，一个手势的人机交互界面的范围，直接关系到适当的手势建模。如何模拟手势 主要取决于预期的应用程序内的人机交互上下文。对于一个给定的应用程序，非常粗糙 和简单的模型，就足够了。然而，如果目标是一个类似天然的交互则必须建立一个模型， 它允许许多不是自然的手势来解释计

11、算机。以下讨论将围绕解决人机交互的手势建模的 问题而展开。2.1 定义手势人机交互框架之外，手势不能很容易地定义。如果它们存在，特别是关于对人的手 和身体动作的通信方式。在韦伯斯特的词典中，手势定义为“的四肢或身体作为表达的手段的一种运用，即一个通常表达或强调一个想法，情绪，或态度的身体或四肢的运 动”。心理和社会的研究往往以缩小这种宽泛的定义，主要讨论人的表达和社会互动。 然而，在人机交互领域的手势的概念是有所不同的。在一台电脑控制的环境中，要求使 用的人的手来执行任务，模仿手的自然使用作为一个操作者，或使用在人机交流中(通 过手势对计算机/机器功能的控制)。以前定义手势，在另一方面，是很少

12、的，如果有的 话，关注同前所述使用人的手(所谓实用的手势48)。手势是一种通信手段，类似于口语。对于生产和感知手势，可以因此使用常见的在 口语语言识别领域的一个模型来描述85，100。该模型的解释，适用于手势。根据该 模型，手势起源于一个进行手势的人的心理概念，可能是在配合讲话。手臂和手的运动， 就像通过人的声道的气流变化讲话一样，起到了表达的作用。此外，观察者发现手 势实际上是一种用来用已有知识解释事物的虚拟手势图像的流。手势的生产和感知的模 型也可以归纳成以下表格：H = ThgG (1)V = T H (2)vhV = Tvh(ThgG) = TvgG (3)变换T.可以被看作是不同的模

13、型:Thg是手或手臂的运动给定的手势G的一个模型， Tvh 是一个可视化的图像的手或手臂动作的模型 H，Tvg 描述的是在给定手势 G 的条件 下，视觉图像 V 的是如何形成的。这些模型是参数化的，参数属于其各自的参数空间 07。根据这种记法，可以说，用视觉解释手势的目的是使用一个合适的手势模型，从可 视的图像V去反推断手势，使用一个合适的模型T，或vg在视觉手势解释的背景下，在考虑下面的定义中它可能是有用的：每次手势的实现 就可以被看作是一个模型参数空间中的轨迹。例如，在执行一个手势的过程中，人的手 的位置在 3D 空间中描述了一种在这样的空间中的轨迹图。手势定义的随机属性的肯定 他们的自然

14、风貌：相同的手势不存在两个不同的表现，这将导致同样的手和手臂的运动 或同样的的视觉图像。时间间隔的呈现，暗示了姿态的动态特性。手势的分析和识别问题可以由以上定义牵扯到的参数而被提出。例如，在参数 MT中构建手势模型T的问题，和定义手势间隔的问题。2.2 手势分类一些在心理学上未统一的分类的手势会在文中提到。肯登 48区分了“自主型手势 （不在讲话中出现的手势）跟“做手势”（手势在和讲话配合中出现）。麦克尼尔和李维 认出了这三种手势：符号型手势和暗示性手势，还有“击打”这种分类似乎在Quek最 近设计的人机交互的内容中更恰当。这里给出了一个轻微修改过的分类版本。所有的手和臂的动作，将会首先分类在

15、这两个主要范畴中。手势非自主运动非自主运动是手臂的不表达任何意义的运动，而手势本身也有两个方式：交流性的手势操纵性的手势操纵性的手势用于在环境中的对象（对象的移动，旋转等） 交际的手势，在另一方 面，有一个固有的通信目的。在自然环境中，它们通常是伴随着语音。交际手势可以是 行为或符号。符号是那些有语言的作用的手势。他们象征着一定的参考作用（例如，食 指的圆形运动可能是一个指一个车轮）或用作的模型化的，往往讲话（例如，“看，机 翼！”和模型化的手势指定机翼振动）。在人机交互的内容中，这些手势，到目前为止， 是最常用的手势之一，因为它们可以由不同的手的静态姿势来表示，正如我们将在第 5 节进一步讨论的一个。最后，行为是直接跟运动相关的手势。这种运动被分为模仿（模 仿一些动作）和指示（指着行为）。手势的分类很大程度上影响确定参数空间 MT 和手势间隔。一个相关的问题是手势 动力学，这是我们之后讨论的内容。2.3 手势的暂时性模型由于人类的手势是一个动态的过程，因而重要的是要考虑手势的时空特征。这可能 有助于区分手势和其他不经意的手/手臂动作。在我们的一般手势的定义，相当于确定手 势间隔。令人惊讶的是，心理学研究是相当一致的时空性质的手势。肯登调用此区间48 “手势语”已确定三个阶段构成了一个个手势：准备，核（峰值或平