人机交互的进展及面临的挑战

《人机交互的进展及面临的挑战》由会员分享，可在线阅读，更多相关《人机交互的进展及面临的挑战（85页珍藏版）》请在金锄头文库上搜索。

1、人机交互的进展及面临的挑战董士海北京大学计算机科学技术系 人机交互与多媒体研究室1 1人机交互与多媒体研究室人机交互与多媒体研究室 人机交互的进展及面临的挑战一 引言 二 回顾 三 进展 四 挑战 五 结论2 2人机交互与多媒体研究室人机交互与多媒体研究室 *3一 引言3 3人机交互与多媒体研究室人机交互与多媒体研究室 *4人机交互与用户界面l人机交互（Human-Computer Interaction, HCI): 是研究人、计算机以及它们间相互影响的技 术 l用户界面: 是人与计算机之间传递、交换信息 的媒介和对话接口，是计算机系统的重要组成部分 l人机交互与用户界面是两个有着紧密联系而

2、又 不尽相同的概念 l人机交互强调的是技术和模型，用户界面是计 算机的关键组成部分 4 4人机交互与多媒体研究室人机交互与多媒体研究室 *5人机交互技术与计算机始终相伴发展l计算机的发展历史，不仅是处理器速度、存储 器容量飞速提高的历史，也是不断改善人机交互技 术的历史。 l人机交互技术, 如鼠标器、窗口系统、超文本、 浏览器等等，已对计算机的发展产生了了巨大的影 响，而且还将继续影响整个人类的生活。l人机交互技术是当前信息产业竞争的一个焦点 ，世界各国都将人机交互技术作为重点研究的一项 关键技术。 5 5人机交互与多媒体研究室人机交互与多媒体研究室 *6人机交互技术的目标l美国总统信息技术顾

3、问委员会的“21世纪的信息技术报 告”中列出了新世纪四项重点发展的信息技术l研制能听、能说、能理解人类语言的计算机 l使计算机更易于使用，操作起来更愉快，从而提高使用 者的生产率 pp人机交互和信息管理人机交互和信息管理pp软件软件pp可伸缩信息基础设施可伸缩信息基础设施pp高端计算高端计算6 6人机交互与多媒体研究室人机交互与多媒体研究室 *7计算机的三个作用ACM图灵奖1992年获得者、微软研究院软件总 工程师Butler Lampson在题为“二十一世纪的计算研 究”报告中指出“计算机有三个作用： 模拟; 帮助人们进行通信; 互动：与实际世界的交流”“人们希望计算机能够看、听、讲，甚至比

4、人做 得更好，并能够进行实时处理。” 7 7人机交互与多媒体研究室人机交互与多媒体研究室 *8两个重要的应用趋势l计算机系统的拟人化以虚拟现实为代表 l计算机的微型化、随身化和嵌入化以手持电脑、智能手机为代表 人机交互技术是面临这种趋势的瓶颈 技术。 以人为中心、自然、高效将是新一代 人机交互的主要目标。 8 8人机交互与多媒体研究室人机交互与多媒体研究室 *9VR & Embodied Virtuality9 9人机交互与多媒体研究室人机交互与多媒体研究室 *10VR & Embodied Virtuality1010人机交互与多媒体研究室人机交互与多媒体研究室 *11二 回顾1111人机交

5、互与多媒体研究室人机交互与多媒体研究室 *12人机交互的发展历史l人机交互的发展历史，是从人适应计算机 到计算机不断地适应人的发展史 l人机交互的发展经历了几个阶段： 1. 早期的手工作业阶段 2. 作业控制语言及交互命令语言阶段3. 图形用户界面（GUI）阶段 4. 网络用户界面的出现 5. 多通道、多媒体的智能人机交互阶段 1212人机交互与多媒体研究室人机交互与多媒体研究室 *131313人机交互与多媒体研究室人机交互与多媒体研究室 *14最有影响的事件和成果 l1945年美国V. Bush提出了应采用设备或技术 来帮助科学家检索、记录、分析及传输各种信息的 新思路和名为“Memex”的

6、一种工作站构想。l1963年美国麻省理工学院I.Sutherland开创了 计算机图形学的新领域，而获1988年ACM图灵奖。 他还在1968年开发了头盔式立体显示器，成为现代 虚拟现实技术的重要基础。1414人机交互与多媒体研究室人机交互与多媒体研究室 *15最有影响的事件和成果 l1963年发明鼠标器的美 国斯坦福研究所的 D.Engelbart，他预言 鼠标器比其他输入设备都好，并在超文本 系统、导航工具方面做了杰出的成果 (Augmented Human Intellect project )， 而获1997年ACM图灵奖。10年后鼠标器 经不断改进，成为影响当代计算机使用的 最重要成

7、果。 1515人机交互与多媒体研究室人机交互与多媒体研究室 *16最有影响的事件和成果l70年代Xerox研究中心的 Alan Kay提出了Smalltalk面向 对象程序设计等思想，并发明 了重叠式多窗口系统。l1989年Tim Berners-Lee 在日内瓦的CERN用HTML及 HTTP开发了WWW网，随后 出现了各种浏览器（网络用户 界面），使互联网飞速发展起 来。1616人机交互与多媒体研究室人机交互与多媒体研究室 *17最有影响的事件和成果l90年代美国麻省理工学 院N.Negroponte领导的媒体 实验室在新一代多通道用户 界面方面（包括语音、手势 、智能体等），做了大量开

8、创性的工作。l90年代美国Xerox公司 PARC的首席科学家Mark Weiser首先提出“无所不在 计算（Ubiquitous Computing）”思想 。 1717人机交互与多媒体研究室人机交互与多媒体研究室 *18三 进展1818人机交互与多媒体研究室人机交互与多媒体研究室 *19人机交互技术的进展l自然、高效的多通道交互 l人机交互模型和设计方法 l虚拟现实和三维交互 l可穿戴计算机和移动手持设备的人机交互 l智能空间及智能用户界面 l标准化及其它 1919人机交互与多媒体研究室人机交互与多媒体研究室 *201。自然、高效的多通道交 互2020人机交互与多媒体研究室人机交互与多媒体

9、研究室 *21通道与多通道交互l多通道交互(Multi-Modal Interaction)：一种使 用多种通道与计算机通信的人机交互方式。采用这 种方式的计算机用户界面称为“多通道用户界面”。 l通道(Modality)：源于心理学的概念，涵盖了用 户表达意图、执行动作或感知反馈信息的各种通信 方法，如言语、眼神、脸部表情、唇动、手动、手 势、头动、肢体姿势、触觉、嗅觉或味觉等。 2121人机交互与多媒体研究室人机交互与多媒体研究室 *22多通道交互l多通道交互是近年来迅速发展的一种人机交互 技术，它既适应了“以人为中心”的自然交互准则， 也推动了互联网时代信息产业（包括移动计算，移 动通信

10、、网络服务器等）的快速发展。 l多通道交互的各类通道（界面）技术中，有不 少已经实用化、产品化、商品化。其中我国科技人 员做出了不少优异的工作。 2222人机交互与多媒体研究室人机交互与多媒体研究室 *23手写汉字识别l中科院自动化所开发的“汉王笔”手写汉字识别 系统，经过近20年的研究和开发，已能识别27000 汉字，当用非草写汉字、以每分钟12个汉字的速度 书写时，识别率可达99.8%。我国现在已约有300万 手写汉字识别系统的用户。 2323人机交互与多媒体研究室人机交互与多媒体研究室 *24数字墨水技术l微软亚洲研究院多通道用户界面组发明的数字 墨水技术，采用全新易操纵的笔交互设备、高

11、质量 的墨水绘制技术、智慧的墨迹分析技术等，使它不 仅可用作为文字识别、图形绘制的输入，而且作为 一种全新的“Ink”数据模型，使手写笔记更易阅读、 获取、组织和使用。数字墨水技术已作为产品，结 合在微软的Tablet PC 操作系统中，产生了巨大的 社会影响。它还将继续发展，有可能成为新一代优 秀的自然交互设备 。2424人机交互与多媒体研究室人机交互与多媒体研究室 *25笔式交互技术 l在笔式交互技术研究中，中国科学院软件所人 机交互技术与智能信息处理实验室在笔式交互软件 开发平台、面向教学的笔式办公套件（包括课件制 作、笔式授课、笔式数学公式计算器、笔式简谱制 作等）、面向儿童的神笔马良

12、系统的开发应用方面 均有出色的工作，其中不少已经实用化、产品化。 2525人机交互与多媒体研究室人机交互与多媒体研究室 *26基于笔的字处理 EasyEditor2626人机交互与多媒体研究室人机交互与多媒体研究室 *27手写数学公式2727人机交互与多媒体研究室人机交互与多媒体研究室 *28中文语音识别 lIBM/Via Voice连续中文语音识别系统经过不断 改进，已广泛应用于Office/XP的中文版等办公软件 和应用软件中，在中文语音识别领域有重要影响。 l中国科学院自动化所“汉语连续语音听写系统” 的特点是建立了基于决策树的上下文相关模型；针 对连续语音中声调之间的协同发音问题，建立

13、了相 应的变调模型；建立了与识别系统配套的自适应平 台，降低35%左右音节误识率；提出了领域自适应 方法，通过较少的领域语料，可得到较好的领域自 适应模型和字典 2828人机交互与多媒体研究室人机交互与多媒体研究室 *29语音合成技术 l1990年提出的基音同步叠加（PSOLA）方法使 合成语音的音色和自然度明显提高。 l在国家支持下，汉语语音合成取得了显著进展 ，多家国内研究单位都成功开发了自己的语音合成 系统。 l1999年在国家智能计算机研究开发中心、中国 科技大学人机语音通信实验室的基础上组建的科大 讯飞公司在汉语语音合成技术领域已达到了国际先 进水平。 2929人机交互与多媒体研究室

14、人机交互与多媒体研究室 *30语音 和 笔l上述成果表明，作为人类最重要的自然通道 语音和笔的交互技术，包括手写识别、数字墨水 、笔交互、语音识别、语音合成等通道技术，近年 来已有显著的进步，我国的不少成果已具有国际先 进水平，并达到了一定的产业规模。 l虽然语音和笔（手势）通道因其自身的特点， 在抗干扰、准确度等方面仍嫌不足，但它们在多通 道整合、领域受限应用等配合下，最有希望成为新 一代实用的自然交互技术。 3030人机交互与多媒体研究室人机交互与多媒体研究室 *31手语识别和合成 中国科学院计算所研制成功了基于多功能感知 的中国手语识别与合成系统，它采用数据手套可识 别大词汇量（5177

15、个）的手语词。 该系统建立了中国手语词库。对于给定文本句 子(可由正常人话语转换而成)，自动合成相应的人 体运动数据。最后用计算机人体动画技术，将运动 数据应用于虚拟人，由虚拟人完成合成的手语运动 。 它可输出大词汇量的手语词，为中国聋哑人的 教育、生活提供了有用的辅助工具，使他们用手语 与正常人的交流成为可能。 3131人机交互与多媒体研究室人机交互与多媒体研究室 *32视线跟踪（眼动）技术 l视线跟踪（眼动）技术由于其可能代替键盘输 入、鼠标移动的功能，可能达到“所视即所得”(What You Look at is What You Get),因而对残疾人和飞行 员等使用有极大的吸引力。

16、l视线跟踪技术，一是研究高质量的眼动跟踪设 备，二是如何构造易于操作的用户界面。 l眼动跟踪设备有强迫式与非强迫式、穿戴式与 非穿戴式、接触式与非接触式之分 。 l眼动跟踪设备的精度和对用户的限制和干扰是 一对尖锐的矛盾。 3232人机交互与多媒体研究室人机交互与多媒体研究室 *33视线跟踪（眼动）技术目前一类产品是采用头戴微 型摄像头的设备，它用来获取两 眼瞳孔（或角膜）中视点。其采 样率、精度高，可靠。 另一类是在另一类是在PCPC机前机前 装了两个微型摄像头的设装了两个微型摄像头的设 备，精度不高，适合残疾备，精度不高，适合残疾 人操作计算机使用。人操作计算机使用。3333人机交互与多媒体研究室人机交互与多媒体研究室 *34“注视用户界面(Attentive User Inte