《多媒体计算机技术7》由会员分享，可在线阅读，更多相关《多媒体计算机技术7（34页珍藏版）》请在金锄头文库上搜索。
1、第七讲第七讲 多媒体系统的人机交互技术多媒体系统的人机交互技术 v人机界面概述人机界面概述 v多通道用户界面多通道用户界面 v三维人机交互技术三维人机交互技术 v虚拟现实虚拟现实 人机界面概述vv计算机包括了三个主要部分：人机信息交互、信息处理和计算机包括了三个主要部分：人机信息交互、信息处理和存储以及信息显示，其中存储以及信息显示，其中“ “信息处理和存储信息处理和存储” ”和和“ “信息展信息展示示” ”技术更新和发展的速度相当快。但人机交互技术多年技术更新和发展的速度相当快。但人机交互技术多年来并未有重大技术突破。来并未有重大技术突破。 vv从计算机问世以来，早期用户是以计算机专业人员为
2、主，从计算机问世以来，早期用户是以计算机专业人员为主，但随着计算机广泛进入人们的工作生活领域，计算机用户但随着计算机广泛进入人们的工作生活领域，计算机用户发生了改变，非计算机专业的普通用户成了用户的主体。发生了改变，非计算机专业的普通用户成了用户的主体。这一重大转变使计算机的可用性问题变得日益突出起来。这一重大转变使计算机的可用性问题变得日益突出起来。 人机界面概述vv人机界面指人类用户与计算机系统之间的通信媒体或手段，人机界面指人类用户与计算机系统之间的通信媒体或手段，它是人机双向信息交换的支持软件和硬件。这里它是人机双向信息交换的支持软件和硬件。这里“ “界面界面” ”定义为通信的媒体或手
3、段，它的物化体现是有关的支持软定义为通信的媒体或手段，它的物化体现是有关的支持软件和硬件，如带有鼠标的图形显示终端。件和硬件，如带有鼠标的图形显示终端。vv人机界面和人机对话人机界面和人机对话(Human Computer Dialogue)(Human Computer Dialogue)是两个是两个不同的概念：人机对话是指用户与计算机系统之间的通信，不同的概念：人机对话是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的双向信息交换。它是人与计算机之间各种符号和动作的双向信息交换。 人机界面的发展历史v就用户界面的具体形式而言，经历了批处理联机就用户界面的具体形式而言，经历了
4、批处理联机终端终端( (命令接口命令接口)( )(文本文本) )菜单等多通道菜单等多通道多媒体用多媒体用户界面和虚拟现实系统。户界面和虚拟现实系统。 v就用户界面中信息载体类型而言，经历了以文本就用户界面中信息载体类型而言，经历了以文本为主的字符用户界面为主的字符用户界面(CUI)(CUI)、以二维图形为主的图、以二维图形为主的图形用户界面形用户界面(GUI)(GUI)和多媒体用户界面，使得计算机和多媒体用户界面，使得计算机与用户之间的通信带宽不断增加。与用户之间的通信带宽不断增加。 人机界面的发展历史vv就计算机输出信息的形式而言，经历了以符号为主的字符就计算机输出信息的形式而言，经历了以符
5、号为主的字符命令语言；以视觉感知为主的图形用户界面；兼顾听觉感命令语言；以视觉感知为主的图形用户界面；兼顾听觉感知的多媒体用户界面和综合运用多种感官知的多媒体用户界面和综合运用多种感官( (包括触觉等包括触觉等) )的的虚拟现实系统。虚拟现实系统。 vv就人机界面中的信息维度而言，经历了一维信息就人机界面中的信息维度而言，经历了一维信息( (主要指主要指文本流如早期电传式终端文本流如早期电传式终端) )、二维信息、二维信息( (主要是二维图形技主要是二维图形技术，利用了色彩形状纹理等维度信息术，利用了色彩形状纹理等维度信息) )、三维信息、三维信息( (主要是主要是三维图形技术，但显示技术仍利
6、用二维平面为主三维图形技术，但显示技术仍利用二维平面为主) )和多维和多维信息信息( (多通道的多维信息多通道的多维信息) )。 人机界面的发展历史v不论从何种角度看，人机交互发展的趋势体现了不论从何种角度看，人机交互发展的趋势体现了对人的因素的不断重视，使人机交互更接近于自对人的因素的不断重视，使人机交互更接近于自然的形式，使用户能利用日常的自然技能不须经然的形式，使用户能利用日常的自然技能不须经过特别的努力和学习提高工作效率。这种过特别的努力和学习提高工作效率。这种“以人为以人为中心中心”的思想特别是自的思想特别是自20202020世纪世纪8080年代以来在人机交年代以来在人机交互技术的研
7、究中得到明显的体现。互技术的研究中得到明显的体现。 人机界面设计技术v三维用户界面v多媒体和超媒体界面v多通道交互界面v虚拟现实技术 v组件及可视计算用户界面的设计原则vv从用户的本身需求、生理心理条件和现有硬软件条件出发，从用户的本身需求、生理心理条件和现有硬软件条件出发，可以总结为以下几点可以总结为以下几点： 以用户的行为为基本出发点以用户的行为为基本出发点 考虑用户操作时间长短考虑用户操作时间长短 以用户操作中的出错率为依据，改进界面设计以用户操作中的出错率为依据，改进界面设计 减少用户短期记忆负担、长期记忆和学习负担减少用户短期记忆负担、长期记忆和学习负担 采用日常生活的常识和比喻，较
8、少计算机逻辑思维和采用日常生活的常识和比喻，较少计算机逻辑思维和专业术语专业术语 注重用户的个人特性和区别，例如老年人、残疾人的注重用户的个人特性和区别，例如老年人、残疾人的特殊需要特殊需要 为提高通用性，用户界面最好采用一致性原则为提高通用性，用户界面最好采用一致性原则 用户界面的设计原则v对于软件界面的设计的特殊性，我们可将其设计对于软件界面的设计的特殊性，我们可将其设计目的概括成以下目的概括成以下3 3个个: : 用户界面软件标准化用户界面软件标准化 用户界面的一致性用户界面的一致性 用户界面的有效性、可靠性、安全性、可移植用户界面的有效性、可靠性、安全性、可移植性性( (各种软件的数据
9、可以交换各种软件的数据可以交换) )和数据的一体性和数据的一体性 第七讲第七讲 多媒体系统的人机交互技术多媒体系统的人机交互技术 v 人机界面概述人机界面概述 v多通道用户界面多通道用户界面 v三维人机交互技术三维人机交互技术 v虚拟现实虚拟现实 多通道用户界面vv多通道人机界面技术基于视线跟踪、语音识别、手势输入、多通道人机界面技术基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人
10、机交互的自然性和高效计算机系统进行交互，旨在提高人机交互的自然性和高效性性 vv它代表了人机交互的一种新范式，与传统的图形用户界面它代表了人机交互的一种新范式，与传统的图形用户界面相比，能将互补的通道进行整合来获取增强的混合，通道相比，能将互补的通道进行整合来获取增强的混合，通道之间可以相互补充，克服彼此的缺陷，或者是针对不同的之间可以相互补充，克服彼此的缺陷，或者是针对不同的应用采取不同的交互方式，具有更强大的表达能力、自然应用采取不同的交互方式，具有更强大的表达能力、自然性、灵活性和便携性性、灵活性和便携性 多通道概念v通道通道：指传送或获得信息的通信通道的类型，它指传送或获得信息的通信通
11、道的类型，它包含了信息表达、感知以及动作执行的方式，定包含了信息表达、感知以及动作执行的方式，定义了交换数据的类型义了交换数据的类型v模式模式：指一种状态或上下文信息，它决定了如何指一种状态或上下文信息，它决定了如何对信息解释以获取意义对信息解释以获取意义 v通道整合通道整合：指用户在与计算机系统交互时，多个指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程交互通道之间相互作用形成交互意图的过程 多通道、多媒体与虚拟现实vv多通道系统力求对语义的理解它对用户的原始输入在较多通道系统力求对语义的理解它对用户的原始输入在较高的层次上高的层次上( (如任务领域如任务领域) )进行
12、解释、分析和综合，提取语进行解释、分析和综合，提取语义内容，达到对用户的某种理解，然后，从较高的表现层义内容，达到对用户的某种理解，然后，从较高的表现层次上传达给用户最恰当的反馈，它侧重于信息的理解和解次上传达给用户最恰当的反馈，它侧重于信息的理解和解释释vv多媒体侧重于信息的表现多媒体侧重于信息的表现 vv虚拟现实依靠三维立体视觉、头盔式显示器、身体跟踪和虚拟现实依靠三维立体视觉、头盔式显示器、身体跟踪和立体音响等技术来模拟现实世界，旨在使用户获得一种沉立体音响等技术来模拟现实世界，旨在使用户获得一种沉浸式的多种感知通道的灵境体验浸式的多种感知通道的灵境体验 多通道用户界面的特点v多通道用户
13、界面主要关注人机界面中用户向计算多通道用户界面主要关注人机界面中用户向计算机输入信息以及汁算机对用户意图理解的问题，机输入信息以及汁算机对用户意图理解的问题，它所要达到的目标可归纳为如下方面：它所要达到的目标可归纳为如下方面： 交互自然性交互自然性 交互高效性交互高效性 吸取已有人机交互技术的成果，与传统的用户吸取已有人机交互技术的成果，与传统的用户界面特别是广泛流行的图形用户界面兼容，使界面特别是广泛流行的图形用户界面兼容，使老用户、专家用户的知识和技能得以利用老用户、专家用户的知识和技能得以利用 多通道用户界面的主要研究内容v认知心理学v界面模型及描述方法v软件结构v多通道整合v多通道的错
14、误纠正机制 第七讲第七讲 多媒体系统的人机交互技术多媒体系统的人机交互技术 v 人机界面概述人机界面概述 v 多通道用户界面多通道用户界面 v三维人机交互技术三维人机交互技术 v虚拟现实虚拟现实 三维人机交互技术v三维人机交互技术与传统的三维人机交互技术与传统的WIMPWIMP（WindowWindow，IconIcon，MenuMenu，PointerPointer，窗口、图标、菜单和指点，窗口、图标、菜单和指点装置）图形交互技术不同。它采用六自由度输入装置）图形交互技术不同。它采用六自由度输入设备。设备。 v由于自由度的增加，使三维交互的复杂性大大提由于自由度的增加，使三维交互的复杂性大大
15、提高。另外，窗口、菜单、图标和传统的二维光标高。另外，窗口、菜单、图标和传统的二维光标在三维交互环境会破坏空间感，同时也使得交互在三维交互环境会破坏空间感，同时也使得交互过程非常不自然过程非常不自然 三维设备vv浮动鼠标（浮动鼠标（Flying MouseFlying Mouse）：浮动鼠标类似于标准的计算）：浮动鼠标类似于标准的计算机鼠标，但当离开桌面后就成为一个六自由度探测器，大机鼠标，但当离开桌面后就成为一个六自由度探测器，大多数浮动鼠标器内部装有电磁探测器。多数浮动鼠标器内部装有电磁探测器。vv数据手套（数据手套（Data GloveData Glove）：早期的数据手套是美国加州）：
16、早期的数据手套是美国加州VPLVPL公司开发的指示手势的输入装置。数据手套是一种虚公司开发的指示手势的输入装置。数据手套是一种虚拟工具，它将人手的各种手势、动作通过手套上所带的光拟工具，它将人手的各种手势、动作通过手套上所带的光导纤维传感器，输入计算机中进行分析，这种手势可以是导纤维传感器，输入计算机中进行分析，这种手势可以是一符号表示或命令，也可以是动作。一符号表示或命令，也可以是动作。 三维设备vv手持式操作器（手持式操作器（WandWand）：手持式操纵器包含一个位置跟）：手持式操纵器包含一个位置跟踪探测器和几个按钮，专门用于手中使用。手持式操作器踪探测器和几个按钮，专门用于手中使用。手
17、持式操作器类似于浮动鼠标，但没有鼠标球，因此不能在桌面上滚动。类似于浮动鼠标，但没有鼠标球，因此不能在桌面上滚动。vv力矩球（空间球力矩球（空间球Space BallSpace Ball）：手持式操作器和浮动鼠标）：手持式操作器和浮动鼠标的问题之一是用户必须将设备拿在手中，而力矩球是一种的问题之一是用户必须将设备拿在手中，而力矩球是一种可以提供六自由度的桌面设备，它安装在一个小型的固定可以提供六自由度的桌面设备，它安装在一个小型的固定平台上，可以扭转、压下的拉出、来回摇摆等。力矩球通平台上，可以扭转、压下的拉出、来回摇摆等。力矩球通常使用发光二极管和光接收器进行测量。常使用发光二极管和光接收器
18、进行测量。 三维交互方式v在三维人机交互中，用户主要通过以下两种交互在三维人机交互中，用户主要通过以下两种交互方式在三维空间中进行操作：方式在三维空间中进行操作： 直接操作直接操作三维三维widgetswidgets 人机交互中的视线跟踪技术人机交互中的视线跟踪技术视线跟踪技术早期主要应用于心理学研究(如阅读研究)、助残等领域，后来才被应用于图像压缩及人机交互技术。从理论上说，由于几乎所有的人机交互形式都离不开视觉介入，因此，当用户凝视其感兴趣的目标时，如果系统能“自动”将光标置于其上或触发必要的动作，则比利用鼠标器等间接指点设备甚至触屏这样的直接指点设备更为直接。 人机交互中的视线跟踪技术人
19、机交互中的视线跟踪技术伺服机构半反射镜瞳孔摄像机光源红外滤光镜一种远距离视线跟踪系统原理图视线跟踪技术视线跟踪技术v在多通道用户界面研究中，将视线输入作为一个辅助通道加以利用，可充分发挥视觉与语音的互补作用。研究者认为，视线跟踪技术固有的不精确性与视线运动的随意性使其不宜作精确输入，而作为附加约束信息有重要价值。 ABCD感兴趣区域语音与手势整合示例基于手势的人机交互技术基于手势的人机交互技术手势是人手或者手和臂结合所产生的各种姿势和动手势是人手或者手和臂结合所产生的各种姿势和动作，它包括静态手势作，它包括静态手势(指姿态，单个手形指姿态，单个手形)和动态手和动态手势势(指动作，由一系列姿态组
20、成指动作，由一系列姿态组成)。静态手势对应空间里的一个点，而动态手势对应着静态手势对应空间里的一个点，而动态手势对应着模型参数空间里的一条轨迹，需要使用随时间变化模型参数空间里的一条轨迹，需要使用随时间变化的空间特征来表述。的空间特征来表述。手势和姿势手势和姿势(Posture)的主要区别在于，姿势更为强的主要区别在于，姿势更为强调手和身体的形态和状态，而手势更为强调手的运调手和身体的形态和状态，而手势更为强调手的运动。动。 基于手势的人机交互技术基于手势的人机交互技术v手势逐渐成为人机界面中一种新颖的交互手段，研究手势识别的主要目的就是把手势这种既自然又直观的交流方式引入人机接口中，实现更符
21、合人类行为习惯的人机接口。v手势识别还可用于虚拟现实、三维设计、临场感、可视化、医学研究、手语理解等领域v手势识别问题的解决方法对于表情识别、唇读、步态识别、时空纹理分类、视觉导航、图像拼接和基于内容的视频检索等研究都有直接推广的意义。基于手势的人机交互技术基于手势的人机交互技术第七讲第七讲 多媒体系统的人机交互技术多媒体系统的人机交互技术 v 人机界面概述人机界面概述 v 多通道用户界面多通道用户界面 v 三维人机交互技术三维人机交互技术 v虚拟现实虚拟现实 虚拟现实v19651965年，年，SutherlandSutherland在篇名为在篇名为的论文中首次提出了包括具有交互图形显示、的论
22、文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们正式开始了对虚拟现实系统的思想，从此，人们正式开始了对虚拟现实系统的研究探索历程。研究探索历程。 虚拟现实v 19661966年，美国年，美国MITMIT的林肯实验室正式开始了头的林肯实验室正式开始了头盔式显示器的研制工作。在这第一个盔式显示器的研制工作。在这第一个HMDHMD（HeadMountDisplayHeadMountDisplay）的样机完成不）的样机完成不久，研制者又把能模拟力量和触觉的力反馈装置久，研制者又把能模拟力量和触觉的力反馈装置加入到这
23、个系统中。加入到这个系统中。19701970年，出现了第一个功能年，出现了第一个功能较齐全的较齐全的HMDHMD系统。基于从系统。基于从6060年代以来所取得年代以来所取得的一系列成就，美国的的一系列成就，美国的JaronLanierJaronLanier在在8080年代初年代初正式提出了正式提出了“VirtualReality”VirtualReality”一词。一词。虚拟现实vv8080年代，美国宇航局（年代，美国宇航局（NASANASA）及美国国防部组织了一系）及美国国防部组织了一系列有关虚拟现实技术的研究，并取得了令人瞩目的研究成列有关虚拟现实技术的研究，并取得了令人瞩目的研究成果，从
24、而引起了人们对虚拟现实技术的广泛关注。果，从而引起了人们对虚拟现实技术的广泛关注。19841984年，年，NASAAmesNASAAmes研究中心虚拟行星探测实验室的研究中心虚拟行星探测实验室的M.McGreevyM.McGreevy和和J.HumphriesJ.Humphries博士组织开发了用于火星博士组织开发了用于火星探测的虚拟环境视觉显示器，将火星探测器发回的数据输探测的虚拟环境视觉显示器，将火星探测器发回的数据输入计算机，为地面研究人员构造了火星表面的三维虚拟环入计算机，为地面研究人员构造了火星表面的三维虚拟环境。在随后的虚拟交互环境工作站（境。在随后的虚拟交互环境工作站（VIEWV
25、IEW）项目中，他）项目中，他们又开发了通用多传感个人仿真器和遥现设备。们又开发了通用多传感个人仿真器和遥现设备。虚拟现实v9090年代，迅速发展的计算机硬件技术与不断改进年代，迅速发展的计算机硬件技术与不断改进的计算机软件系统相匹配，使得基于大型数据集的计算机软件系统相匹配，使得基于大型数据集合的声音和图像的实时动画制作成为可能合的声音和图像的实时动画制作成为可能v19931993年的年的1111月，宇航员利用虚拟现实系统成功地月，宇航员利用虚拟现实系统成功地完成了从航天飞机的运输舱内取出新的望远镜面完成了从航天飞机的运输舱内取出新的望远镜面板的工作，而用虚拟现实技术设计波音板的工作，而用虚
26、拟现实技术设计波音777777获得获得成功，是近年来引起科技界瞩目的又一件工作成功，是近年来引起科技界瞩目的又一件工作虚拟现实技术发展的瓶颈v虚拟现实设备的虚拟现实设备的“贵族化贵族化”。v要构建一个高质量的虚拟现实系统，首先需要昂要构建一个高质量的虚拟现实系统，首先需要昂贵的外部设备，无论是高分辩率的头盔显示器贵的外部设备，无论是高分辩率的头盔显示器HMDHMD，还是立体投影显示器，无论是空间定位器，还是立体投影显示器，无论是空间定位器，还是高精度的数据手套，都是价格不菲。其次，还是高精度的数据手套，都是价格不菲。其次，为完成复杂场景的实时渲染，还需要高性能的图为完成复杂场景的实时渲染，还需
27、要高性能的图形工作站以及相应的软件。在一些专用领域，但形工作站以及相应的软件。在一些专用领域，但普通的信息系统用户可能会望而却步。普通的信息系统用户可能会望而却步。虚拟现实技术发展的瓶颈vv繁琐的三维建模。繁琐的三维建模。vv基于图形的虚拟环境首先要解决的问题便是三维造型。当基于图形的虚拟环境首先要解决的问题便是三维造型。当图形渲染技术在向实现真实感大踏步前进的时候，生成精图形渲染技术在向实现真实感大踏步前进的时候，生成精确三维模型的过程还像二十几年前一样困难。大部分的模确三维模型的过程还像二十几年前一样困难。大部分的模型仍需要人工绘制，而且需要聘请高水平的专业人士，所型仍需要人工绘制，而且需
28、要聘请高水平的专业人士，所以其费用是相当惊人的。比如在电影以其费用是相当惊人的。比如在电影坦克尼克号坦克尼克号中，中，为实现场景三维建模及各种特技处理所花的人工费用高达为实现场景三维建模及各种特技处理所花的人工费用高达25002500万美元，这笔钱足以制造一艘同样规模的真船。万美元，这笔钱足以制造一艘同样规模的真船。虚拟现实技术发展的瓶颈v数据量大。数据量大。v虚拟现实技术要想得到很大的发展，需要与虚拟现实技术要想得到很大的发展，需要与InternetInternet结合。目前虚拟现实技术应用的数据量结合。目前虚拟现实技术应用的数据量仍然很大，在现有网络整体速度较慢的情况下，仍然很大，在现有网络整体速度较慢的情况下，InternetInternet用户必须等待较长时间，这往往令人难用户必须等待较长时间，这往往令人难以忍受。应该在虚拟现实系统中考虑数据压缩问以忍受。应该在虚拟现实系统中考虑数据压缩问题，这个问题可能现在还未引起人们的重视，但题，这个问题可能现在还未引起人们的重视，但是随着应用的深入，这是一个不可回避的问题。是随着应用的深入，这是一个不可回避的问题。
