人机交互技术及其应用

《人机交互技术及其应用》由会员分享，可在线阅读，更多相关《人机交互技术及其应用（9页珍藏版）》请在金锄头文库上搜索。

1、人机交互技术及其应用(科普)信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。高科技成果为人们带来便捷、快乐的同时，也促进着人机交互技术的发展。作为信息 技术的重要内容，人机交互技术比计算机硬件和软件技术的发展要滞后许多， 已成为人类运用信息技术深入探索和认识客观世界的瓶颈。因此，人机交互技 术已成为21世纪信息领域亟需解决的重大课题和当前信息产业竞争的一个焦 点，世界各国都将人机交互技术作为重点研究的一项关键技术，例如，在美国 21 世纪信息技术计划中，将软件、人机交互、网络、高性能计算列为基础研 究内容，美国国防关键技术计划也把人机交互列为软件技术发展的重要内容之 一，在我国的“8

2、63”、“973”和自然科学基金等项目中，也将人机自然交互 理论与方法作为信息技术中需要解决的关键科学问题。一、人机交互的概念人机交互(Human-Computer InteractipnHCI )是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要现象进行研究的科学， 狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人 到计算机和计算机到人的信息交换两部分。人们可以借助键盘、鼠标、操纵杆、 数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声 音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息，同时，计算机通 过打印机、绘图仪、显示

3、器、头盔式显示器、音箱等输出或显示设备给人提供信 息。人机交互与计算机科学、人机工程学、多媒体技术和虚拟现实技术、心理学、 认知科学和社会学以及人类学等诸多学科领域有密切的联系，其中，认知心理学 与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机 交互技术相互交叉和渗透。作为是信息技术的一个重要组成部分，人机交互将继 续对信息技术的发展产生巨大的影响。二、人机交互的研究内容人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及 在移动计算、虚拟现实等方面的应用研究与开发，在此列出几个主要的方向： 人机交互界面表示模型与设计方法(Model and Methodo

4、logy)一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开 发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计 方法，是人机交互的重要研究内容之一。 可用性分析与评估( Usability and Evaluation)可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的 目标，以及实现这一目标的效率与便捷性。人机交互系统的可用性分析与评估的 研究主要涉及到支持可用性的设计原则和可用性的评估方法等。 多通道交互技术( Multi-Modal)在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式 与计算机系统进行通信。多通道交互主

5、要研究多通道交互界面的表示模型、多通 道交互界面的评估方法以及多通道信息的融合等。其中，多通道整合是多通道用 户界面研究的重点和难点。 认知与智能用户界面( Recognition and Intelligent User Interface)智能用户界面(Intelligent User Interface, IUI)的最终目标是使人机交互和 人人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语 音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解 决的重要问题。 虚拟环境(Virtual Environment)中的人机交互“以人为本”的、自然和谐的人机交

6、互理论和方法是虚拟现实的主要研究内 容之一。通过研究视觉、听觉、触觉等多通道信息融合的理论和方法、协同交互 技术以及三维交互技术等，建立具有高度真实感的虚拟环境，使人产生“身临其 境”的感觉。 移动界面设计( Mobile and Ubicomp)移动计算(Mobile Computing)、普适计算(Ubiquitous Computing)等对人机 交互技术提出了更高的要求，面向移动应用的界面设计问题已成为人机交互技术 研究的一个重要应用领域。针对移动设备的便携性、位置不固定性和计算能力有 限性以及无线网络的低带宽高延迟等诸多的限制，研究移动界面的设计方法，移 动界面可用性与评估原则，移动

7、界面导航技术，以及移动界面的实现技术和开发 工具，是当前的人机交互技术的研究热点之一。三、人机交互技术的发展自 1946 年世界上第一台数字计算机诞生以来，计算机为人的能力的扩展提 供了巨大的帮助，作为计算机系统的一个重要组成部分，人机交互一直伴随着计 算机的发展而发展。人机交互的发展过程，也是人适应计算机到计算机不断地适 应人的发展过程。从人机界面（ Interface ）的到人机交互（ Interaction ），从 1969 年 第一次人机系统国际大会，到 2010 年的中国人机交互研讨会， 人机交互理 论和技术经历了多个阶段的发展。特别是20 世纪 90 年代后期以来，人机交互 的研究

8、重点放在了智能化交互，多模态（多通道） -多媒体交互，虚拟交互 以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。 概括地讲，人机交互的发展经历了以下几个阶段： （1）早期的手工作业阶 段 ；（2）作业控制语言及交互命令语言阶段 ；（3）图形用户界面（ GUI ） 阶段 ；（4）网络用户界面的出现 ；（5）多通道、多媒体的智能人机交互 阶段 ；（6）虚拟交互界面。鼠标的出现， 使人们更流畅地进行人机交互。 与键盘中的方向键相比， 它显然更加符合人的自然习惯。这是人机交互的第一次革命。键盘与鼠标 的人机交互组合，从 PC 时代一直延续到互联网时代，并无太大改变，直到 智能手机和多

9、点触摸的出现。迅速普及的多点触摸技术，是人机交互史上 的第二次革命，而引领它的又是苹果公司与它的革命性手机 iPhone 。多点 触摸打开了另外一扇窗户，它让所有人意识到其实键盘可以成为触摸的一 部分，而很多命令其实能通过多个手指在触摸屏上划动方式的不同来完成， 比如放大和缩小图片。问世不久的 Kinect 则可以称得上人机交互的引领新 潮流的第三次革命。它整合了具有革命性的技术 3D 图片识别与视频捕捉， 加上硬件体验的不断优化，再加上对应其特性的专属游戏开发，在游戏这 一特定的应用场景对技术的强化，最终塑造了 Kinect 这一人机互动的革命 性产品。四、自然和谐的人机交互当前，虚拟现实、

10、移动计算、普适计算等新技术发展迅速，对人机交 互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。在这 一阶段，自然和谐的人机交互方式得到了一定的发展，其主要特点是基于 语音、手写体、姿势或者跟踪、表情等输入手段进行多通道交互，其目的 是使人能以声音、动作、表情等自然方式进行交互操作，这正是理想的人 机交互所强调的“用户自由”之所在。在自然和谐的人机交互的发展过程中，人们除了致力于研究开发友好 的逼真的三维用户界面，基于声音、动作、表情等多种通道的自然交互方 式，还发明了大量的新交互设备，如头盔式立体显示器，数据手套等。目 前，对于人类重要的自然交互方式语音和笔的交互技术，包括手写识

11、别、笔式交互、语音识别、语音合成、数字墨水（ Digital Ink ）等，其发 展已经有了很大的成效，如中科院自动化所开发的“汉王笔”手写汉字识 别系统，经过近 20年的研究和开发，已能识别 27000汉字，当用非草写汉 字、以每分钟 12个汉字的速度书写时，识别率可达 99.8% ；微软亚洲研究 院多通道用户界面组发明的数字墨水技术，采用全新易操纵的笔交互设备、 高质量的墨水绘制技术、智慧的墨迹分析技术等，使它不仅可用作为文字 识别、图形绘制的输入，而且作为一种全新的“ Ink ”数据模型，使手写笔 记更易阅读、获取、组织和使用。数字墨水技术已作为产品，结合在微软 的 Tablet PC

12、操作系统中，产生了巨大的社会影响。它还将继续发展，有 可能成为新一代优秀的自然交互设备 ；在笔式交互技术研究中，中国科学 院软件所人机交互技术与智能信息处理实验室在笔式交互软件开发平台、 面向教学的笔式办公套件（包括课件制作、笔式授课、笔式数学公式计算 器、笔式简谱制作等）、面向儿童的神笔马良系统的开发应用方面均有出色 的工作，其中不少已经实用化、产品化；IBM公司的Via Voice，中国科学 院自动化所“汉语连续语音听写系统”等等。虚拟现实（Virtual Reality，VR）技术的发展和进步极大的推动了人 机交互技术的发展。虚拟现实是借助于计算机技术及硬件设备，建立高度 真实感的虚拟环

13、境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在 其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。 虚拟现实技术有三个鲜明特征：真实感、沉浸感和交互性。其中，自然和 谐的交互方式也是虚拟现实技术的一个重要研究内容，其目的是使人能以 声音、动作、表情等自然方式与虚拟世界中的对象进行交互 ,人们除了致力 于研究开发虚拟友好的用户界面，还发明了大量的三维交互设备，如立体 眼镜、 WorkBench 、头盔式显示器、洞穴式立体显示器（ CAVE ）、墙式大屏 幕立体显示器、数据服装、位置跟踪器、眼动跟踪器、触觉和力反馈装置、 三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆等等。虽然人

14、机交互 并不是虚拟现实的全部，但虚拟现实为人机交互的研究提供了很好的契机 和媒介。五、基于人手的人机交互技术与应用自然人机交互模式是以直接操纵为主的的人机交互形式，而理想的人 机交互模式就是要充分体现“用户自由” 。现在很多人使用触摸屏是因为触 摸屏更容易得心应手，而在人的身体构成上，人手是最为灵活的部件，具 有高度的自由度，所以基于人手的交互，体现了人机交互的和谐自然所在。手势是一种自然、直观、易于学习的人机交互手段 ,手势输入是实现 自然、直接人机交互不可缺少的关键技术。目前的手势识别技术主要分为 基于数据手套和基于视觉两种。这两种方法各有自己的长处，也都取得了 一些研究成果，但都还不成熟

15、。手势输入作为一种自然、丰富、直接的交 互手段在人机交互技术中占有重要的地位。其研究内容包括手势的定义、 手势分割、手势建模、手势分析、手势识别以及基于手势的人机交互等。由于人手是一个复杂的非刚性的多链接物体 ,且手势本身具有多义性、 多样性以及在时间和空间上存在差异性的特点，手势的这种高维状态表达 是姿态估计中有效全局搜索真实手势的最大障碍。济南大学XX重点实验室结合计算机科学和认知心理学等相关学科 ,对 3D 运动人手跟踪进行多学科 的交叉讨论和研究，提出了基于认知模型的运动人手的三维跟踪方法，并 对涉及的关键问题进行了研究。下面主要对基于人手的人机交互的应用进 行概括和总结。1）手语识别

16、和合成中国科学院计算所研制成功了基于多功能感知的中国手语识别与合成 系统，它采用数据手套可识别大词汇量（ 5177 个）的手语词。该系统建立 了中国手语词库。对于给定文本句子 （可由正常人话语转换而成 ），自动合 成相应的人体运动数据。最后用计算机人体动画技术，将运动数据应用于 虚拟人，由虚拟人完成合成的手语运动。它可输出大词汇量的手语词，为 中国聋哑人的教育、生活提供了有用的辅助工具，使他们用手语与正常人 的交流成为可能。2）手势遥控器澳大利亚、台湾、日本的一些科学家和公司已经发明了手势遥控装置， 能够使用简单的手势进行家用电器，如电视、DVD、音响等的操作，进行开关、音量调节、换频道等。例如，握紧拳头表示“开始” ，将手掌舒展开表 示“开机”，用V字形手势，再将手掌横过来表示“选择频道”，翘起大拇 指则表示“向上调频道”等。日本松下公司已经试制了电视机用手势输入 遥控器，遥控器在功能上类似于游戏手柄，用户