《人机交互技术和智能信息处理实验室.ppt》由会员分享，可在线阅读，更多相关《人机交互技术和智能信息处理实验室.ppt（75页珍藏版）》请在金锄头文库上搜索。
1、戴国忠 人机交互技术和智能信息处理实验室人机交互技术和人机交互技术和实物操作界面实物操作界面(TUI)Tangible User Interfacen人机交互技术和用户界面人机交互技术和用户界面n无处不在计算及其用户界面无处不在计算及其用户界面n实物操作界面实物操作界面(TUI)提纲提纲Douglas C. Engelbart 什么造就了计算机辉煌历史什么造就了计算机辉煌历史?National Medal of Technology , 2000IEEE, John Von Neumann Medal Award , 1999ACM, A. M. Turing Award , 1997影响几代
2、人，创造计算机的历史影响几代人，创造计算机的历史PC plus GUI made the historynThings behind GUInDesktop metaphornWIMP (Windows, icons, menu, and pointer)nDirect manipulation and WYSIWYGnKiller applicationnWord processingnElectronic spreadsheet什么造就了计算机辉煌历史什么造就了计算机辉煌历史?计算机是什么计算机是什么?无处不在的计算无处不在的计算Desktop PCTablet PCPocket PCPh
3、one PCWrist PC无线连接(a)：Wacom Intuos(b)：Wacom Cintiq PL550与桌面PC相连的Tablet交互设备（Wacom公司产品）Wacom计算机是什么计算机是什么?PC手写设备手写设备（a）交互墙DynaWall（b）交互椅CommChair（c）交互桌InteracTable由GMD IPSI设计的Roomware计算机是什么计算机是什么?Roomwaren1950年，年，n大型机计算时代大型机计算时代 n多人一机多人一机n1975年，年，nPC计算时代计算时代 信息交流信息交流n一人一机一人一机n2000年，年，n普适计算时代普适计算时代 服务服务
4、n一人多机一人多机字符用户界面字符用户界面键盘键盘图形用户界面图形用户界面鼠标，鼠标，GUI，WIMP新世纪用户界面新世纪用户界面(?)笔、语音笔、语音(?)计算机是什么计算机是什么?计算的三次革命计算的三次革命(计算空间、角色计算空间、角色、界面界面)计算机是什么计算机是什么?计算的三次革命计算的三次革命一只眼睛 十一个指头计算机能做什么计算机能做什么?不能做什么不能做什么?计算机计算模式计算机计算模式(1.2)人人环境环境活动活动Desktop无处不在的计算无处不在的计算Mainframe大型机台式机移动环境三维空间Post desktop键盘鼠标?文本命令GUI 命令 / WIMPPos
5、t WIMPNon WIMP?Non WIMP?人机环境虚拟现实VR无处不在的计算AR 办公自动化科学计算用户界面的发展历史用户界面的发展历史(1.3)人机交互和用户界面人机交互和用户界面-计算机应用的主要障碍计算机应用的主要障碍硬件：摩尔定律硬件：摩尔定律(18个月翻一倍个月翻一倍)软件：每五年升一代软件：每五年升一代界面：界面：15-20年换一代年换一代 60年代一年代一70年代：键盘，字符界面年代：键盘，字符界面 80年代一年代一90年代：鼠标，图形界面年代：鼠标，图形界面 21世纪世纪: 新一代界面新一代界面“凡有助于缩小人机隔阂，建立和谐人机环境的凡有助于缩小人机隔阂，建立和谐人机环
6、境的理论、方法、技术和产品都具有强大的生命力理论、方法、技术和产品都具有强大的生命力”什么是今后计算机应用的障碍什么是今后计算机应用的障碍?计算机硬件技术已不是阻碍计算机硬件技术已不是阻碍人机交互和用户界面人机交互和用户界面-计算机应用的主要障碍计算机应用的主要障碍人机交互技术一人机交互技术一21世纪重大信息技术世纪重大信息技术计算机研究发展的主干计算机研究发展的主干: 计算如硬件技术，计算机软件技术，智能接口技术计算如硬件技术，计算机软件技术，智能接口技术 -863计划计算机发战研讨会计划计算机发战研讨会 2002.1.18一普适计算的认识(1)nUbiquitous Computing(u
7、bicopm)nMark Weiser 1991nA vision: (人人+环境环境)*计算资源计算资源n基础设施基础设施 ( Net) + Devices at varying scalesn任何时间任何地点提供信息和服务任何时间任何地点提供信息和服务 A new paradigms of interactionFocus on ApplicationsThe real purpose for ubiquitous computing, of course, are the applications.”Mark Weiser普适计算的认识(2)普适计算的认识(3)nUbiquitous C
8、omputingn多人可以使用的计算，计算环境多人可以使用的计算，计算环境n如交互墙如交互墙(会议室会议室)、电子白板、电子白板(教室教室)n普遍、到处普遍、到处 无处不在的计算无处不在的计算nPervasive Computing(Computing pervasive)n个人所拥有的计算，日用品个人所拥有的计算，日用品n如可穿戴计算设备如可穿戴计算设备n扩散、渗透扩散、渗透普适计算的认识(4)人机融合过人机融合过程程人计算机弱智十奇才人适应计算机计算机适应人主机时代PC时代普适时代普适计算中人机交互的三个主题n自然界面(natural interfaces )n上下文感知应用(contex
9、t-aware ) 基于物理和计算环境感知到的信息的行为。 简单的上下文、重用性、和复杂的上下文 n自动捕捉及访问 (automated capture and access) 无处不在计算的应用试图自动捕捉生活经历, 提供以后对这些经历的灵活访问普适计算中人机交互的三个特征自然化自然化多通道多通道模糊模糊非结构非结构连续连续人性化人性化显式感知显式感知(符号、动作、表象、情感符号、动作、表象、情感)隐式感知隐式感知-用户意图捕捉用户意图捕捉智能化智能化学习能力学习能力数据挖掘数据挖掘自然界面（1）nIntegrate into human lifePen inputGestureSpeech
10、Perceptual UITangible UIn脱离桌面脱离桌面自然界面（2）n第一类自然数据类型第一类自然数据类型 （First-Class Natural Data Types） 视觉、听觉、笔画、作为基本数据类型，视觉、听觉、笔画、作为基本数据类型，并支持并支持对这类数据类型对这类数据类型的操作。的操作。n基于识别交互的容错技术基于识别交互的容错技术 识别的准确度识别的准确度/ 纠错的复杂度及有效度纠错的复杂度及有效度 1）减少错误）减少错误 2）发现错误）发现错误 3）可修）可修正错误正错误 locationidentityobjects上下文感知（上下文感知（1）上下文感知（上下文
11、感知（2）n上下文定义上下文定义 用户行为的介释WhatWhyWhoWhereWhen为什么?(结果)谁使用?(用户十环境十它人)做什么?(用户行为)何时?何地?n上下文表示上下文表示n上下文融合上下文融合自动捕捉及访问生活经历自动捕捉及访问生活经历信息获取：听信息获取：听/看看-记录记录-提取提取 听听/看看-提取提取-记录记录目目 的：计算机擅长十人擅长的：计算机擅长十人擅长主要主要 应应 用：会议用：会议室、室、课堂课堂环境、个人环境、个人note-taking Phoneslave Xcapture Classroom 2000捕捉：源信息流记录十关健信息的捕捉捕捉：源信息流记录十关健
12、信息的捕捉访问：多捕捉流同步重放访问：多捕捉流同步重放普适计算面临的其它挑战n评估评估n人的需人的需求求n使用的可信度使用的可信度n方法方法(以任务为中心的评估技术是不合适以任务为中心的评估技术是不合适)n社会社会问题问题 安全性，可视性，可控制性，个人隐私安全性，可视性，可控制性，个人隐私普适计算的理解(1) 三个层次n计算计算n为基础层次，提供必要的软硬件技术为基础层次，提供必要的软硬件技术n计算机科学计算机科学n信息交流信息交流n计算设备之间的交流：计算机网络计算设备之间的交流：计算机网络n人机交流：人机界面人机交流：人机界面n计算机科学、心理学等学科计算机科学、心理学等学科n服务服务n
13、没有感觉计算的存在，却无处不在的享受着服务。没有感觉计算的存在，却无处不在的享受着服务。计算主要以服务的形态提供人们，并自然地融入社计算主要以服务的形态提供人们，并自然地融入社会会n计算机科学、社会科学计算机科学、社会科学普适计算的理解(2) 三个层次mobility Interface transparencyInterface transparencyDesktopcomputingMobile ComputingWearable ComputingUbiquitous Computing计算 信息交流 服务n从社会科学的角度出发从社会科学的角度出发n从根本上彻底改造技术以适应人从根本上彻
14、底改造技术以适应人n目标是使人获得真正的效率目标是使人获得真正的效率n使得计算机使得计算机“Invisible”n“最好的仆人是看不见的仆人最好的仆人是看不见的仆人”n多种多样的服务形式，更为自然信息获多种多样的服务形式，更为自然信息获取取普适计算的用户界面普适计算的用户界面n充分利用人们在现实生活中的获得的 生活体验，易学习n自然直观的用户界面n直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程信息技术的尴尬(TUI的动机)n传统的计算工具n结绳记事 沙漏计时 算盘n简单，可触摸，易学习n触觉和肌肉运动知觉n现在的数字技术n功能强大，学习门槛高n人们必须不断学习适应其发展n原因
15、：生活经验毫无用处，界面本身就是新生事物信息空间和物理空间( Bits & Atoms )POPOPOEYPO:Physical objectEY:EntityEYEYMouse信息空间(Bits)物理空间(Atoms)信息空间和物理空间(Bits & Atoms )n我们生活在两个世界里：现实的物理世界和虚拟的信息世界 n两种身份之间却缺少一种无缝的、自然的转换和交互方式 n人们和信息空间的交互被局限于传统的图形用户界面(GUI)中n实际上，正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来。从桌面环境到物理世界GUI到TUIn1991年，Mark Weiser提出了“普适计算”：
16、计算是无处不在的，是不可见的 n物理世界本身就是界面n1981年，施乐公司提出了GUI概念n“Star”是第一个采用“WIMP”界面实物操作界面简介(TUI)n定义定义(Tangible User Interface)直接将人们在现实生活中和物体、环境的交互动作映射为和信息空间的交互过程的用户界面。n 特点:充分利用生活体验 ， 易学习 ， 自然n目标:尽可能的把生活体验用到人机交互中，降低计算机技术的学习门槛，增加交互的自然性。TUI的目标n实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。n三个关键的概念：n交互式表面n信息和物体的链接n环境反馈和TUI 相关的工作
17、 n1. Ubiquitous Computing（普适计算） n计算无处不在n计算之间，设备之间的通讯是“透明” 的n例子：会议桌、便签条 n二者差别：n普适计算更大程度上是把GUI的交互隐喻分布到了物理环境中 的各种交互设备中，GUI的拓展（适应）nTUI界面则试图摒弃GUI界面范式，力图使物理环境成为界面本身，更多的借鉴了在计算机出现以前的人们的交互方式（回归）。 和TUI 相关的工作nAugmented Reality（增强现实）n研究如何集成现实世界和虚拟世界的问题n二者的区别n输入手段不同。TUI强调把直接抓取实物作为输入手段；AR是重叠显示现实世界和虚拟信息的投影。TUI的研究现
18、状 nMIT Media Lab TUI Groupn斯坦福大学 Interactivity Labn华盛顿大学 Design Machine Groupn加州大学 Group for User Interface Researchn多伦多大学 Department of Computer Science TUI的研究原型.ClearBoard Hiroshi Ishii1994n最早把现实中的表面做为物理空间和信息空间的集成媒介的系统 n支持CSCWn一个背投的显示器充当了物理动作和虚拟信息之间的媒介 Live Wire Weiser 1995n一个给用户提供环境反馈的例子 n塑料绳就会抖动
19、和发声，这样就跟用户提供了声音反馈 Bricks: Graspable User Interfaces（可抓取界面）Fitzmaurice 1995 n方块（Bricks）和虚拟物体链接并同步动作 n方块的数目不限，可以同时操纵多个方块 nTUI界面中借鉴了这个系统的思想 Passive Real-World Interface Props HINCKLEY 1998n用于神经外科手术规划的一个双手交互系统n反馈触觉和肌肉运动知觉 n二者区别：nTUI界面不但是实物操作输入，还能输出环境反馈 MIT Media Lab的研究工作 n三个原型系统nmetaDESK 和 transBOARD 抓取
20、的实物nambientROOM 环境反馈MetaDESK n有Windows中界面构件（如窗口、菜单、图标）的实物对应，也有嵌入了数字信息的现实生活中的物体 MIT Media Lab : IP Network Simulationn用于网络结构设计n基于早期的TUI平台:Sensetablen无线跟踪pucks的位置方位Tangible Geospace n在metaDesk上开发的一个实物操作的三维地图系统 n用真实的路标模型(phicon:实物图标)就可以直接编辑地图 TransBOARD n支持协同工作的白板系统 n经过编码的卡片(hyperCARDs-phicon)可以记载笔迹n单向
21、转换：从物理世界转换到信息世界n白板表面作为信息集成媒介ambientROOM n人们获取信息的两个渠道：n前景: 注意力集中的动作n背景：周围环境信息n光效，声音，气流，阴影都是人们可以感知的背景信息斯坦福的研究工作 iStuff Rafael Ballagas CHI2003nPhysical User Interface Toolkit n主要思想：把GUI中的界面构件用实物来代替，如笔，滑动杆，按钮，玩具狗，铁笔，麦克风 斯坦福的研究工作 iStuffn支持多用户，多个设备，多个应用间的协同工作 n平台无关n实时配置 n各个物理交互设备通过无限网络连接 瑞典Goteborg大学交互实验
22、室开发的Nostalgian带有传感器的织物n消除了老人们对计算机的排斥感 n点击三角块激活老歌曲和音乐多伦多大学 ShapeTape n自由弯曲的带有弹性的带子 n每隔6厘米 共分布了32个传感器 n带子(实物)和自由曲线(虚拟对象)的连接 ,带子的形状直接映射为 曲线的形状 华盛顿大学DMG：Navigation Blocksn用于数据库查询n四个方盒子when, who , what, where n小盒子之间还能通过红外发射通讯 日本ATR实验室：筷子 n数据手套跟踪手部运动 n精确 操作中科院软件所 人机交互技术和智能信息处理实验室n实物笔、纸 n习惯、自然中科院软件所 人机交互技术
23、和智能信息处理实验室Anote专利技术专利技术 瑞典Anote AB公司在年代末开发出了使用数码笔的电脑输入专利技术Anote 数码纸和Anote 数码笔。中科院软件所 人机交互技术和智能信息处理实验室Anote 数码笔数码笔( (普通的圆珠笔)微型摄相头_读入笔尖高速书 写的笔迹和Anote 数码纸的微 点坐标微处理器_分析处理后通过兰 牙无线或USB等方法转送到 电脑或携带手机之中。 Anote 数码纸数码纸 (一般纸)纸上印刷了Anote 专利的核心技术Anote 微细点状形坐标。利用这种微细点状形坐标可以定位识别相当于地球表面大小面积的区域Anote 技术必将带来新世纪的革命技术必将带
24、来新世纪的革命 人们只需用Anote 数码笔在Anote 数码纸上与平常一样书写与记录、就可以将信息简便的输入电脑。这将给办公室自动化及信息产业带来新一轮的革命。中科院软件所 人机交互技术和智能信息处理实验室nVR 指挥捧nVR 导游化身中科院软件所 人机交互技术和智能信息处理实验室TUI的关键技术n心里学上注意机制 n环境反馈不应把用户的注意力从实物操作中吸引开来，反馈应该是隐式的 n注意的平滑转换n协同设计和三维交互技术 n多用户协同工作时，每个用户在自己的小环境中分别操纵自己的实物 ,但是共享信息空间n如果实物在三维空间种运动需要三维交互技术 TUI的关键技术n实物和虚拟对象的链接n链接
25、的建立与取消n实物和虚拟对象间的映射机制n通讯和环境反馈n实物和系统无线通讯和定位n环境实时、隐式信息反馈TUI的关键技术 n传感和无线通讯 n目前跟踪实物的两种实现方案：自带传感器和三维位置跟踪 n实物之间，实物与系统之间的通讯大多数时候无线的，不干扰用户的空间动作 n多通道交互技术 nTUI中的输入虽然比较单一，输出却是多样化的n允许同时操作多个实物n多种感觉通道的输出关键技术：双手交互方式n双手同时操纵两个Puckn典型应用虚拟装配n肌肉运动知觉和本体感受n解决复杂任务的有效途径n符合认知特点，无需 视觉注意开展TUI研究的关键设备n并没有一种固定的硬件配置 n从构造原型系统的角度出发，
26、大致需要以下几种设备 ：n位置跟踪器和无线通讯设备 n投影仪或者背投显示器 n各种经过定制的实物 ：是用户直接抓取的各种物体。如metsDesk中的phicon,Lens，iStuff中的滑动杆，电子狗等 实物的两种类型 nGUI扩展型 nmeaDesk中的各种物理菜单、图标，滑动杆都是这种类型。IStuff中的物理界面中的物理界面工具箱也是这种类型 n自己定制型 n华盛顿大学的方盒子，瑞典Goteborg大学的点播怀旧歌曲的织物。一般都会安装有传感器甚至还有通讯设备 总结(1)n人机交互技术和用户界面是竞争性技术n无处不在计算是未来主要的计算模式nTUI是无处不在计算的主要的界面范式n实物操
27、作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。n三个关键的概念：n交互式表面n信息和物体的链接n环境反馈总结(2)总结(3)n直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程n充分利用人们在现实生活中的获得的生活体验，易学习，自然直观n自然直观的用户界面总结(4)n欢迎讨论!总结(2)n直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程n充分利用人们在现实生活中的获得的生活体验，易学习，自然直观n自然直观的用户界面n将TUI和VR结合反映了从“模拟现实”向“利用现实”的转变TUI和VR的结合n现在的VR技术n设备特殊，价格昂贵n隔离现实世界n
28、缺少环境反馈（如气流等）nVR+TUIn实物操作，易学习,自然性n从“模拟现实”向“利用现实” 转变TUI和VR的结合交互设备认知转换交互原语虚拟环境实物交互原语虚拟环境VRTUIAnote技术在全世界的应用推广进程技术在全世界的应用推广进程2000年11月 由全球多家跨国大企业发起成立了Anote技术应用推进委员会2002年01月 微软公司与AnoteAB公司达成战略合作协议、微软公司将在第二代 WindowsXP电脑操作系统中建立AnotePen的标准接口2002年03月 AnoteAB公司与欧美亚各一家公司达成生产AnotePen的协议、被指定的企业是 爱立信（欧州）、三菱（亚州）、Lo
29、gitech（美国）2002年06月 爱立信公司研制出第一批5000套AnotePen及专用Anote纸、供世界的各企业研究 开发Anote商业及实业模型。2002年09月 三菱公司将在亚州的AnotePen生产权利转让给日立集团2002年11月 美国Logitech公司生产出第一批5000套AnotePen及专用Anote纸供系统开发商用于 商业模型的开发、并将于2003年初开始批量生产2002年12月 中国联通公司在香港投资2,400万美元成立爱你多(中国)有限公司 专业开发AnotePen在移动通信系统中的应用2003年03月 日立公司向中国联想、神州数码、中科集团等企业介绍了AnotePen的 开发及生产预定情况。2003年06月 日立公司研制出第二代AnotePen、并将于2003年09月批量投入市场
