多媒体人机交互技术课件

《多媒体人机交互技术课件》由会员分享，可在线阅读，更多相关《多媒体人机交互技术课件（41页珍藏版）》请在金锄头文库上搜索。

1、第十二章多媒体人机交互技术1 1多媒体人机交互技多媒体人机交互技术课术课件件本章导读本章导读 从多媒体技术的角度看，人机交互技术是在计算机具备从多媒体技术的角度看，人机交互技术是在计算机具备处理声音、图像、视频等多种媒体信息能力的基础上发展起处理声音、图像、视频等多种媒体信息能力的基础上发展起来的，是多媒体技术的不同应用。另一方面，人机交互技术来的，是多媒体技术的不同应用。另一方面，人机交互技术的研究又促进了多媒体技术的快速发展，充分表现了多媒体的研究又促进了多媒体技术的快速发展，充分表现了多媒体技术的交互性。技术的交互性。本章将从多媒体信息处理的角度，简单介绍本章将从多媒体信息处理的角度，简

2、单介绍目前已经广泛应用的几种典型的人机交互技术目前已经广泛应用的几种典型的人机交互技术，如触摸技术、，如触摸技术、手写识别技术、语音识别与合成技术、虚拟现实技术等。同手写识别技术、语音识别与合成技术、虚拟现实技术等。同时，还将介绍基于多媒体技术的人机交互界面的发展方向。时，还将介绍基于多媒体技术的人机交互界面的发展方向。 主主讲人：人：杨帆帆2 2多媒体人机交互技多媒体人机交互技术课术课件件本章主要内容本章主要内容12.1 12.1 人机交互技术概述人机交互技术概述 12.2 12.2 触摸屏技术触摸屏技术 12.3 OCR12.3 OCR与手写识别技术与手写识别技术 12.4 12.4 语音

3、识别技术语音识别技术 12.5 12.5 语音合成技术语音合成技术 12.6 12.6 虚拟现实技术虚拟现实技术 主主讲人：人：杨帆帆3 3多媒体人机交互技多媒体人机交互技术课术课件件12.112.1人机交互技术概述人机交互技术概述12.1.1 12.1.1 人机交互简介人机交互简介 人机交互人机交互（ Computer Human InteractionComputer Human Interaction，CHICHI）也称）也称HCIHCI（Human Computer InteractionHuman Computer Interaction），），是研究人、计算机及其是研究人、计算机及

4、其相互影响的技术相互影响的技术，其核心是人机界面，它是计算机与人之间通，其核心是人机界面，它是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。信和对话的接口，是计算机系统的重要组成部分。 人机交互技术是指通过计算机系统的输入人机交互技术是指通过计算机系统的输入/ /输出设备，以有输出设备，以有效的方式实现人与计算机系统之间信息交流的技术。效的方式实现人与计算机系统之间信息交流的技术。 目前，人们已经能够与计算机系统较为方便地进行交互，目前，人们已经能够与计算机系统较为方便地进行交互，具体应用的交互技术有具体应用的交互技术有键盘交互、手写文字交互、语音交互、键盘交互、手写文字交互、语

5、音交互、图像与视频交互、多语言交互、虚拟现实系统中的交互图像与视频交互、多语言交互、虚拟现实系统中的交互等。等。 主主讲人：人：杨帆帆4 4多媒体人机交互技多媒体人机交互技术课术课件件12.1.2 12.1.2 多模态人机交互多模态人机交互1 1、模态、模态 是心理学领域中的一个标准术语，指感知信息的感觉，是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。也就是感觉模态。 2 2、多模态人机交互、多模态人机交互 多模态（多模态（MultimodalityMultimodality）人机交互，就是基于智能接口）人机交互，就是基于智能接口技术，充分利用人的多种感知通道，技术，充分利用

6、人的多种感知通道，以并行的、非精确的方以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高式与计算机系统进行交互，旨在提高人机交互的自然性和高效性效性。主主讲人：人：杨帆帆5 5多媒体人机交互技多媒体人机交互技术课术课件件3 3、多模态人机交互的研究内容、多模态人机交互的研究内容 1 1）语音识别、）语音识别、2) 2) 理解及合成、理解及合成、3 3）手势识别技术、）手势识别技术、4 4）人脸的研究、）人脸的研究、5 5）唇读的研究、）唇读的研究、6 6）人体动作的研究。）人体动作的研究。 主主讲人：人：杨帆帆6 6多媒体人机交互技多媒体人机交互技术课术课件件4 4、多模

7、态人机交互的基本特点、多模态人机交互的基本特点 1 1）使用多个感觉和动作模态；）使用多个感觉和动作模态； 2 2）三维的和直接操纵的要求；）三维的和直接操纵的要求； 3 3）允许模糊交互；）允许模糊交互； 4 4）交互双向性；）交互双向性； 5 5）交互的隐含性；）交互的隐含性；主主讲人：人：杨帆帆7 7多媒体人机交互技多媒体人机交互技术课术课件件12.1.3 12.1.3 可视化可视化 可视化是指充分利用人们对可视模式快速识别的自然能可视化是指充分利用人们对可视模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。力，将数据信息和知识转化为一种视觉形成的过程。可视化操作过程可视

8、化操作过程可视化科学计算可视化科学计算可视化信息可视化信息可视化 利用利用计算机算机图形学和形学和图像像处理技理技术，将科学将科学计算算过程中（包括程中（包括计算算结果）的数据果）的数据转换为图形或形或图像在像在屏幕上屏幕上显示出来，示出来，进行交互行交互处理的理的理理论、方法和技、方法和技术。 层次信息可次信息可视化化多位信息可多位信息可视化化文档（文本）信息可文档（文本）信息可视化化Web可可视化化 现代操作系代操作系统提供人机交提供人机交互互环境的基本要求，它通境的基本要求，它通过GUI技技术来来实现 主主讲人：人：杨帆帆8 8多媒体人机交互技多媒体人机交互技术课术课件件12.1.4 1

9、2.1.4 新型人机界面的主要特征新型人机界面的主要特征1 1）人性化）人性化 2 2）自然化）自然化 3 3）智能化）智能化4 4）高带宽）高带宽 5 5）不限制地点）不限制地点 6 6）图示编程）图示编程 (a) (a) 交互墙交互墙(b) (b) 交互桌交互桌(c) (c) 交互椅交互椅图图12-1 12-1 物面用户接口举例物面用户接口举例主主讲人：人：杨帆帆9 9多媒体人机交互技多媒体人机交互技术课术课件件12.212.2触摸屏技术触摸屏技术12.2.1 12.2.1 触摸屏简介触摸屏简介 触摸屏是一种定位装置，安装在显示屏幕前面，它的触摸屏是一种定位装置，安装在显示屏幕前面，它的功

10、能是报告手指（或物体）触摸到屏幕的位置。用户可以功能是报告手指（或物体）触摸到屏幕的位置。用户可以直接用手指触摸屏幕以实现与计算机的交互。直接用手指触摸屏幕以实现与计算机的交互。 工作过程工作过程：手指或其他物体触摸触摸屏：手指或其他物体触摸触摸屏 触摸触摸屏控制器检测位置（以坐标形式）屏控制器检测位置（以坐标形式） 通过计算机接口通过计算机接口送到送到CPUCPU确定用户所输入的信息。确定用户所输入的信息。 触摸屏具有界面直观，操作简单，触摸屏具有界面直观，操作简单，“伸手即得伸手即得”的优的优点，大大改善了人与计算机的交互方式。点，大大改善了人与计算机的交互方式。 主主讲人：人：杨帆帆10

11、10多媒体人机交互技多媒体人机交互技术课术课件件l触摸屏是一种定位装置，安装在显示屏幕前面，它的功触摸屏是一种定位装置，安装在显示屏幕前面，它的功能是报告手指（或物体）触摸到屏幕的位置；能是报告手指（或物体）触摸到屏幕的位置；l用户可以直接用手指触摸屏幕以实现与计算机的交互；用户可以直接用手指触摸屏幕以实现与计算机的交互； l工作过程：手指或其他物体触摸触摸屏，触摸屏控制器工作过程：手指或其他物体触摸触摸屏，触摸屏控制器检测位置（以坐标形式），通过计算机接口送到检测位置（以坐标形式），通过计算机接口送到CPUCPU，以确定用户所输入的信息。以确定用户所输入的信息。l触摸屏具有界面直观，操作简单

12、，触摸屏具有界面直观，操作简单，“伸手即得伸手即得”的优点，的优点，大大改善了人与计算机的交互方式。大大改善了人与计算机的交互方式。12.212.2触摸屏技术触摸屏技术12.2.1 12.2.1 触摸屏简介触摸屏简介主主讲人：人：杨帆帆1111多媒体人机交互技多媒体人机交互技术课术课件件12.2.2 12.2.2 触摸屏的主要类型触摸屏的主要类型l矢量压力传感技术触摸屏矢量压力传感技术触摸屏l电阻技术触摸屏电阻技术触摸屏l电容技术触摸屏电容技术触摸屏l红外线技术触摸屏红外线技术触摸屏l表面声波技术触摸屏表面声波技术触摸屏 等五种类型。等五种类型。其中矢量压力传感技术触摸屏已经被淘汰。其中矢量压

13、力传感技术触摸屏已经被淘汰。依据所采用的技术原理，触摸屏可分为：依据所采用的技术原理，触摸屏可分为：主主讲人：人：杨帆帆1212多媒体人机交互技多媒体人机交互技术课术课件件1 1、电阻式触摸屏、电阻式触摸屏 如右图，当手指接触屏幕，如右图，当手指接触屏幕，两层两层 OTIOTI导电层出现一个接触点，导电层出现一个接触点，因其中一面导电层接通因其中一面导电层接通Y Y轴方向轴方向的的5V5V均匀电压场，使得侦测层的均匀电压场，使得侦测层的电压由零变为非零，控制器侦测电压由零变为非零，控制器侦测到这个接通后，进行到这个接通后，进行A/DA/D转换，转换，并将得到的电压值与并将得到的电压值与5V5V

14、相比，即相比，即可得触摸点的可得触摸点的Y Y轴坐标，同理得轴坐标，同理得出出X X轴的坐标。从而实现屏幕定轴的坐标。从而实现屏幕定位。位。图12-2 电阻式触摸屏 主主讲人：人：杨帆帆1313多媒体人机交互技多媒体人机交互技术课术课件件2 2、电容式触摸屏、电容式触摸屏 如右图，用户触摸屏幕如右图，用户触摸屏幕时，由于人体电场，手指与时，由于人体电场，手指与导体层间会形成一个耦合电导体层间会形成一个耦合电容，四边电极发出的电流会容，四边电极发出的电流会流向触点，而电流强弱与手流向触点，而电流强弱与手指到电极的距离成正比，位指到电极的距离成正比，位于触摸屏幕后的控制器便会于触摸屏幕后的控制器便

15、会计算电流的比例及强弱，准计算电流的比例及强弱，准确算出触摸点的位置。确算出触摸点的位置。 图12-3 电容式触摸屏 主主讲人：人：杨帆帆1414多媒体人机交互技多媒体人机交互技术课术课件件3 3、红外线式触摸屏、红外线式触摸屏 红外线触摸屏由装在触摸屏外框上的红外线发射与接红外线触摸屏由装在触摸屏外框上的红外线发射与接收感测元件构成，在屏幕表面上，形成红外线探测网，任收感测元件构成，在屏幕表面上，形成红外线探测网，任何触摸物体可改变触点上的红外线而实现触摸屏操作。何触摸物体可改变触点上的红外线而实现触摸屏操作。 具体实现：在显示器上加上光点距离框，光点距离框具体实现：在显示器上加上光点距离框

16、，光点距离框的四边排列了红外线发射管及接收管，在屏幕表面形成一的四边排列了红外线发射管及接收管，在屏幕表面形成一个红外线网（如图个红外线网（如图11-411-4所示）。所示）。 当手指触摸屏幕某一点当手指触摸屏幕某一点时，便会挡住经过该位置的时，便会挡住经过该位置的横竖两条红外线，计算机便横竖两条红外线，计算机便可即时算出触摸点位置。可即时算出触摸点位置。图12-4 红外线触摸屏 主主讲人：人：杨帆帆1515多媒体人机交互技多媒体人机交互技术课术课件件4 4、表面声波触摸屏、表面声波触摸屏 表面声波触摸屏由触摸屏、声波发生器、反射器和声波表面声波触摸屏由触摸屏、声波发生器、反射器和声波接收器组

17、成，其中声波发生器能发送一种高频声波跨越屏幕接收器组成，其中声波发生器能发送一种高频声波跨越屏幕表面，当手指触及屏幕时，触点上的声波即被阻止，由此确表面，当手指触及屏幕时，触点上的声波即被阻止，由此确定坐标位置。定坐标位置。图12-5 表面声波触摸屏 主主讲人：人：杨帆帆1616多媒体人机交互技多媒体人机交互技术课术课件件12.2.3 12.2.3 触摸屏的基本技术特性触摸屏的基本技术特性 触摸屏通常应具备以下三个基本技术特性：触摸屏通常应具备以下三个基本技术特性： 1 1、透明性能、透明性能 2 2、绝对坐标系统、绝对坐标系统 3 3、检测与定位、检测与定位主主讲人：人：杨帆帆1717多媒体

18、人机交互技多媒体人机交互技术课术课件件12.3 OCR12.3 OCR与手写识别技术与手写识别技术12.3.1 OCR12.3.1 OCR识别技术识别技术 OCR OCR（Optical Character RecognitionOptical Character Recognition，光学字符，光学字符识别）技术，识别）技术，是通过扫描等光学输入方式将文字转化为是通过扫描等光学输入方式将文字转化为图像信息，再利用文字识别技术将图像信息转化为可编图像信息，再利用文字识别技术将图像信息转化为可编辑的文本信息的计算机输入技术辑的文本信息的计算机输入技术。广泛应用于大量文字。广泛应用于大量文字资料

19、、票据、档案卷宗、文案的录入和处理等领域。相资料、票据、档案卷宗、文案的录入和处理等领域。相对一般文本，通常以最终识别率、识别速度、版面理解对一般文本，通常以最终识别率、识别速度、版面理解正确率及版面还原满意度正确率及版面还原满意度4 4个方面作为个方面作为OCROCR技术的评测依技术的评测依据；而相对于表格及票据，据；而相对于表格及票据， 通常以识别率或整张通过率通常以识别率或整张通过率及识别速度为测定及识别速度为测定OCROCR技术的实用标准技术的实用标准。 主主讲人：人：杨帆帆1818多媒体人机交互技多媒体人机交互技术课术课件件 OCROCR的基本工作过程分为的基本工作过程分为图文扫描、

20、预处理、单字识别、图文扫描、预处理、单字识别、后处理以及文档输出后处理以及文档输出等五个环节，如图等五个环节，如图12-612-6所示。所示。 图12-6 OCR的基本工作原理示意 主主讲人：人：杨帆帆1919多媒体人机交互技多媒体人机交互技术课术课件件12.3.2 12.3.2 手写识别技术手写识别技术 手写识别通过手写识别通过提取手写内容的结构特征来分割和识别字提取手写内容的结构特征来分割和识别字符符，从而达到手写输入的目的。，从而达到手写输入的目的。1 1、手写输入、手写输入 手写输入是把要输入的字符写在一块叫书写板的数字手写输入是把要输入的字符写在一块叫书写板的数字化设备上，这种设备将

21、笔尖走过的轨迹按时间采样后发送到化设备上，这种设备将笔尖走过的轨迹按时间采样后发送到计算机中，通过手写识别技术，将手写内容识别成相应的字计算机中，通过手写识别技术，将手写内容识别成相应的字符内容（如汉字、数字、字母等），从而达到手写输入的目符内容（如汉字、数字、字母等），从而达到手写输入的目的。的。主主讲人：人：杨帆帆2020多媒体人机交互技多媒体人机交互技术课术课件件2 2、手写识别、手写识别 就汉字识别而言，其方法基本上分为就汉字识别而言，其方法基本上分为统计识别统计识别、结构识别结构识别以及以及神经网络神经网络方法等几大类。大量的联机方法等几大类。大量的联机手写识别系统采用的都是结构识别

22、方法。手写识别系统采用的都是结构识别方法。 结构识别方法：结构识别方法： 其出发点是汉字的组成结构，从汉字的构成上讲，汉其出发点是汉字的组成结构，从汉字的构成上讲，汉字是由笔划字是由笔划( (点、横、竖、撇、捺等点、横、竖、撇、捺等) )、偏旁、部首构成，、偏旁、部首构成，通过把复杂的汉字模式分解为简单的子模式直至基本模式通过把复杂的汉字模式分解为简单的子模式直至基本模式元素，对子模式的判定，以及基于符号运算的匹配算法，元素，对子模式的判定，以及基于符号运算的匹配算法，达到对复杂模式的识别达到对复杂模式的识别。 主主讲人：人：杨帆帆2121多媒体人机交互技多媒体人机交互技术课术课件件3 3、影

23、响识别率的因素、影响识别率的因素目前影响识别率的因素主要有以下几个方面：目前影响识别率的因素主要有以下几个方面： 1 1）笔顺问题）笔顺问题 2 2）连笔问题）连笔问题 3 3）相似字区分）相似字区分 4 4）对抗干扰能力的要求）对抗干扰能力的要求主主讲人：人：杨帆帆2222多媒体人机交互技多媒体人机交互技术课术课件件12.4 12.4 语音识别技术语音识别技术12.4.1 12.4.1 语音识别技术简介语音识别技术简介 语音识别（语音识别（ASR ASR ：Automatic Speech RecognitionAutomatic Speech Recognition）技术，技术，是指通过计

24、算机的识别和理解过程，将语音信号转是指通过计算机的识别和理解过程，将语音信号转换为相应的文字信息，从而识别说话人的语音指令以及文换为相应的文字信息，从而识别说话人的语音指令以及文字内容的技术字内容的技术。 语音识别是一个多学科交叉的研究领域，涉及语言学、语音识别是一个多学科交叉的研究领域，涉及语言学、认知科学以及计算机科学等多个学科。认知科学以及计算机科学等多个学科。 语音识别技术与语音合成技术的结合，使人和计算机语音识别技术与语音合成技术的结合，使人和计算机之间能够实现双向语言交流，摆脱键盘对人机交互方式的之间能够实现双向语言交流，摆脱键盘对人机交互方式的束缚。束缚。 主主讲人：人：杨帆帆2

25、323多媒体人机交互技多媒体人机交互技术课术课件件12.4.2 12.4.2 语音识别的技术原理语音识别的技术原理l语音特征提取语音特征提取：其目的是从语音波形中提取出随时间变化：其目的是从语音波形中提取出随时间变化的语音特征序列。的语音特征序列。 l声学模型与模式匹配（识别算法）声学模型与模式匹配（识别算法）：声学模型通常通过学：声学模型通常通过学习算法来获取语音特征。在识别时将输入的语音特征同声习算法来获取语音特征。在识别时将输入的语音特征同声学模型进行匹配与比较，得到最佳的识别结果。学模型进行匹配与比较，得到最佳的识别结果。 l语言模型与语言处理：语言模型与语言处理：语言模型包括由识别语

26、音命令构成语言模型包括由识别语音命令构成的语法网络或由统计方法构成的语言模型，语言处理可以的语法网络或由统计方法构成的语言模型，语言处理可以进行语法、语义分析。对小词表语音识别系统，往往不需进行语法、语义分析。对小词表语音识别系统，往往不需要语言处理部分。要语言处理部分。 计算机的语音识别过程与人对语音的识别处理过程基本计算机的语音识别过程与人对语音的识别处理过程基本上是一致的。目前主流的语音识别技术是建立在统计模式识上是一致的。目前主流的语音识别技术是建立在统计模式识别基本理论之上的，其语音识别系统可大致分为三部分：别基本理论之上的，其语音识别系统可大致分为三部分： 主主讲人：人：杨帆帆24

27、24多媒体人机交互技多媒体人机交互技术课术课件件12.5 12.5 语音合成技术语音合成技术12.5.1 12.5.1 语音合成技术简介语音合成技术简介 语音合成（语音合成（Speech synthesisSpeech synthesis，或，或Text To SpeechText To Speech）技术，是指技术，是指将文本信息转变为语音数据，再以语音的方式将文本信息转变为语音数据，再以语音的方式播放出来的技术播放出来的技术，通常被简称为，通常被简称为TTSTTS技术。一个典型的语音技术。一个典型的语音合成系统可分为合成系统可分为文本分析、韵律建模和语音合成文本分析、韵律建模和语音合成三大

28、模块，三大模块，主要功能主要功能是：是：根据韵律建模的结果，从原始语音库中取出根据韵律建模的结果，从原始语音库中取出相应的语音基元，利用特定的语音合成技术对语音基元进相应的语音基元，利用特定的语音合成技术对语音基元进行韵律特性的调整和修改，最终合成出符合要求的语音行韵律特性的调整和修改，最终合成出符合要求的语音。主主讲人：人：杨帆帆2525多媒体人机交互技多媒体人机交互技术课术课件件12.5.2 12.5.2 语音合成的技术方法语音合成的技术方法 语音合成（让计算机说话）的基本思路有两种：一种是语音合成（让计算机说话）的基本思路有两种：一种是参数模拟合成，参数模拟合成，一种是一种是波形拼接合成

29、波形拼接合成。 参数模拟合成参数模拟合成: :是采用数字信号处理的方法，将人类发声是采用数字信号处理的方法，将人类发声过程看作是一个模拟声门状态的源，去激励一个表征声道谐过程看作是一个模拟声门状态的源，去激励一个表征声道谐振特性的时变数字滤波器。振特性的时变数字滤波器。 波形拼接合成波形拼接合成: :是将要合成的语音信息分割成大量不同的是将要合成的语音信息分割成大量不同的语音信息元，并以数字形式存储，合成时根据具体内容和要语音信息元，并以数字形式存储，合成时根据具体内容和要求，选择适当的语音信息元进行拼接，从而形成所需的语音求，选择适当的语音信息元进行拼接，从而形成所需的语音信息。信息。主主讲

30、人：人：杨帆帆2626多媒体人机交互技多媒体人机交互技术课术课件件12.5.3 12.5.3 语音合成技术的应用与发展方向语音合成技术的应用与发展方向 语音合成技术可广泛应用于语音合成技术可广泛应用于语音数据查询、语音提示、语音数据查询、语音提示、电话银行、语音信箱、语音邮件、语音新闻发布、语音广播电话银行、语音信箱、语音邮件、语音新闻发布、语音广播等各类语音业务等各类语音业务，提供更加人性化的人机交互方式。，提供更加人性化的人机交互方式。 语音合成技术的发展方向：语音合成技术的发展方向： 1) 1) 提高合成语音的自然度提高合成语音的自然度 2) 2) 丰富合成语音的表现力丰富合成语音的表现

31、力 3) 3) 降低语音合成技术的复杂度降低语音合成技术的复杂度 4) 4) 多语种文语合成多语种文语合成主主讲人：人：杨帆帆2727多媒体人机交互技多媒体人机交互技术课术课件件12.6 虚拟现实技术虚拟现实技术 12.6.1 12.6.1 虚拟现实技术简介虚拟现实技术简介l虚拟现实（虚拟现实（Virtual RealityVirtual Reality）是）是利用计算机生成一种模利用计算机生成一种模拟环境，通过多种传感设备使用户拟环境，通过多种传感设备使用户“投入投入”到该环境中，到该环境中，实现用户与该环境直接进行自然交互的技术实现用户与该环境直接进行自然交互的技术。l虚拟现实技术的研究内

32、容涉及到人工智能、计算机科学、虚拟现实技术的研究内容涉及到人工智能、计算机科学、电子学、传感器、计算机图形学、智能控制、心理学等。电子学、传感器、计算机图形学、智能控制、心理学等。l虚拟现实技术的虚拟现实技术的特点特点在于，在于，计算机产生一种人为虚拟的环计算机产生一种人为虚拟的环境，这种虚拟的环境是通过计算机图形构成的三维空间，境，这种虚拟的环境是通过计算机图形构成的三维空间，或是把其它现实环境编制到计算机中去产生逼真的或是把其它现实环境编制到计算机中去产生逼真的“虚拟虚拟环境环境”，从而使得用户在视觉上产生一种沉浸于虚拟环境，从而使得用户在视觉上产生一种沉浸于虚拟环境的感觉的感觉。主主讲人

33、：人：杨帆帆2828多媒体人机交互技多媒体人机交互技术课术课件件12.6.2 12.6.2 虚拟现实系统虚拟现实系统 1 1、虚拟现实系统的典型模型、虚拟现实系统的典型模型 如右图所示。使用如右图所示。使用者通过传感装置直接对者通过传感装置直接对虚拟环境进行操作，并虚拟环境进行操作，并得到实时三维显示和其得到实时三维显示和其它它 反馈信息（如触觉、反馈信息（如触觉、力觉反馈等）。当系统力觉反馈等）。当系统与外部世界通过传感装与外部世界通过传感装置构成反馈闭环时，在用户的控制下，用户与虚拟环境置构成反馈闭环时，在用户的控制下，用户与虚拟环境间的交互可以对外部世界产生作用（如遥操作等）。间的交互可

34、以对外部世界产生作用（如遥操作等）。 图12-7 虚拟现实系统的模型主主讲人：人：杨帆帆2929多媒体人机交互技多媒体人机交互技术课术课件件2 2、虚拟现实系统的构成、虚拟现实系统的构成 一般的虚拟现实系统主要由以下五个模块构成，如一般的虚拟现实系统主要由以下五个模块构成，如下图所示。下图所示。 图12-8 虚拟现实系统的构成主主讲人：人：杨帆帆3030多媒体人机交互技多媒体人机交互技术课术课件件l检测模块：检测模块：检测用户的操作命令，并通过传感器模块检测用户的操作命令，并通过传感器模块作用于虚拟环境。作用于虚拟环境。 l反馈模块：反馈模块：接受来自传感器模块信息，为用户提供实接受来自传感器

35、模块信息，为用户提供实时反馈。时反馈。l传感器模块：传感器模块：一方面接受来自用户的操作命令，并将一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面将操作后产生的结果以其作用于虚拟环境；另一方面将操作后产生的结果以各种反馈的形式提供给用户。各种反馈的形式提供给用户。l控制模块：控制模块：对传感器进行控制，使其对用户、虚拟环对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。境和现实世界产生作用。l建模模块：建模模块：获取现实世界组成部分的三维表示，并由获取现实世界组成部分的三维表示，并由此构成对应的虚拟环境。此构成对应的虚拟环境。主主讲人：人：杨帆帆3131多媒体人机交互技多媒

36、体人机交互技术课术课件件12.6.3 12.6.3 虚拟现实技术的特征虚拟现实技术的特征 1）多感知性：）多感知性：除了一般除了一般计算机所具有的算机所具有的视觉感知外，感知外，还有听有听觉感知、力感知、力觉感知、触感知、触觉感知、运感知、运动感知、甚至包感知、甚至包括味括味觉感知、嗅感知、嗅觉感知等。理想的虚感知等。理想的虚拟现实就是就是应该具有具有人所具有的感知功能。人所具有的感知功能。2）存在感：）存在感：指用指用户感到作感到作为主角存在于模主角存在于模拟环境中境中的真的真实程度。理想的模程度。理想的模拟环境境应该达到使用达到使用户难以分辨真以分辨真假的程度。假的程度。3）交互性：）交互

37、性：指用指用户对模模拟环境内物体的可操作程度境内物体的可操作程度和从和从环境得到反境得到反馈的自然程度（包括的自然程度（包括实时性）。性）。4）自主性：）自主性：指虚指虚拟环境中物体依据物理定律境中物体依据物理定律动作的作的程度。程度。主主讲人：人：杨帆帆3232多媒体人机交互技多媒体人机交互技术课术课件件12.6.4 12.6.4 虚拟现实的关键技术虚拟现实的关键技术 就现有的虚拟现实系统而言，其关键技术可以包括以下几就现有的虚拟现实系统而言，其关键技术可以包括以下几个方面：个方面： 1、动态环境建模技境建模技术动态环境建模技境建模技术的目的是的目的是获取取实际环境的三境的三维数据，数据，并

38、根据并根据应用的需要，利用用的需要，利用获取的三取的三维数据建立相数据建立相应的虚的虚拟环境模型。三境模型。三维数据的数据的获取可以采用取可以采用CAD技技术（有（有规则的的环境），而更多的境），而更多的环境境则需要采用非接触式的需要采用非接触式的视觉建模技建模技术，两者的有机，两者的有机结合可以有效地提高数据合可以有效地提高数据获取的效率。取的效率。2、实时三三维图形生成技形生成技术关关键是是“实时”生成。生成。主主讲人：人：杨帆帆3333多媒体人机交互技多媒体人机交互技术课术课件件3、立体、立体显示和示和传感器技感器技术4、应用系用系统开开发工具工具5、系、系统集成技集成技术 现有的虚有的

39、虚拟现实外外设还远远不能不能满足系足系统的需要，例如，的需要，例如，数据手套（如下数据手套（如下图所示）有延所示）有延迟大、分辨率低、作用范大、分辨率低、作用范围小、小、使用不便等缺点；有必要开使用不便等缺点；有必要开发新的三新的三维显示技示技术。主主讲人：人：杨帆帆3434多媒体人机交互技多媒体人机交互技术课术课件件12.6.5 12.6.5 虚拟现实技术的应用领域虚拟现实技术的应用领域 1、遥控机器人的遥、遥控机器人的遥现技技术 2、各、各类仿真技仿真技术 1）飞行仿真系行仿真系统2）与虚）与虚拟生物生物对话3）作）作战仿真系仿真系统 3、对象可象可视化技化技术1）虚）虚拟风洞洞2）虚）虚

40、拟物理物理实验室室3）虚）虚拟电力控制室力控制室主主讲人：人：杨帆帆3535多媒体人机交互技多媒体人机交互技术课术课件件本章小结本章主要介本章主要介绍了人机交互的基本概念、了人机交互的基本概念、现有的人有的人机交互技机交互技术以及新型人机界面的主要特征等内容，以及新型人机界面的主要特征等内容，较为全面地概括了多媒体全面地概括了多媒体计算机系算机系统或多媒体或多媒体终端端（PDA、多媒体手机等）的人机交互形式和途径。、多媒体手机等）的人机交互形式和途径。通通过学学习本章，本章，应掌握人机交互的基本概念、人掌握人机交互的基本概念、人机交互的研究内容以及新型人机界面的主要特征等内机交互的研究内容以及

41、新型人机界面的主要特征等内容，并容，并对目前的各种人机交互技目前的各种人机交互技术（触摸屏技（触摸屏技术、OCR技技术、手写、手写识别技技术、语音音识别与合成技与合成技术、虚、虚拟现实技技术等）有所了解。主要包括以下内容：等）有所了解。主要包括以下内容：主主讲人：人：杨帆帆3636多媒体人机交互技多媒体人机交互技术课术课件件1)人机交互技人机交互技术是指通是指通过计算机系算机系统的的输入入/输出出设备，以有效的方式以有效的方式实现人与人与计算机系算机系统之之间信息交流的技信息交流的技术。它。它包括机器通包括机器通过输出出设备给人提供大量有关信息和操作人提供大量有关信息和操作导向，向，人通人通过

42、输入入设备向向计算机算机输入操作信息等。从第一台入操作信息等。从第一台计算机算机诞生到生到现在，人与在，人与计算机之算机之间的交互方式的交互方式经历了手工操作、了手工操作、字符用字符用户界面（命令界面（命令语言）、可言）、可视化的化的图形用形用户界面界面（GUI）3个个阶段，人段，人们操作使用操作使用计算机的直算机的直观性有了明性有了明显的的改善。改善。 2)多模多模态（Multimodality）人机交互，就是基于智能接口）人机交互，就是基于智能接口技技术，充分利用人的多种感知通道，以并行的、非精确的方，充分利用人的多种感知通道，以并行的、非精确的方式与式与计算机系算机系统进行交互，旨在提高

43、人机交互的自然性和高行交互，旨在提高人机交互的自然性和高效性。效性。主主讲人：人：杨帆帆3737多媒体人机交互技多媒体人机交互技术课术课件件 3)计算机系算机系统中的可中的可视化主要包括操作化主要包括操作过程可程可视化、科学化、科学计算可算可视化和信息可化和信息可视化化3个方面。操作个方面。操作过程可程可视化是化是现代操代操作系作系统提供人机交互提供人机交互环境的基本要求，它通境的基本要求，它通过GUI技技术来来实现；科学；科学计算可算可视化是指运用化是指运用计算机算机图形学和形学和图像像处理技理技术，将科学将科学计算算过程中的数据程中的数据转换为图形或形或图像在屏幕上像在屏幕上显示出示出来，

44、来，进行交互行交互处理的理理的理论、方法和技、方法和技术。 4)新型人机界面的主要特征是，人机交互更加人性化、自新型人机界面的主要特征是，人机交互更加人性化、自然化、智能化、高然化、智能化、高带宽，并且不受地点限制。，并且不受地点限制。 5)触摸屏是一种定位装置，安装在触摸屏是一种定位装置，安装在显示屏幕前面，其功能示屏幕前面，其功能是是报告手指（或物体）触摸到屏幕的位置。用告手指（或物体）触摸到屏幕的位置。用户可以直接用可以直接用手指触摸屏幕以手指触摸屏幕以实现与与计算机的交互。算机的交互。主主讲人：人：杨帆帆3838多媒体人机交互技多媒体人机交互技术课术课件件6)OCR技技术是通是通过扫描

45、等光学描等光学输入方式将各种入方式将各种报刊、刊、书籍、文稿、票据及其他印刷品的文字籍、文稿、票据及其他印刷品的文字转化化为图像信息，再利像信息，再利用文字用文字识别技技术将将图像信息像信息转化化为可可编辑的文本信息的的文本信息的计算算机机输入技入技术。OCR的基本工作的基本工作过程分程分为图文文扫描、描、预处理、理、单字字识别、后、后处理以及文档理以及文档输出等出等5个个环节。 7)手写手写输入是完全以平常的入是完全以平常的书写写习惯，把要，把要输入的字符写入的字符写在一在一块书写板的数字化写板的数字化设备上，上，这种种设备将笔尖走将笔尖走过的的轨迹迹按按时间采采样后后发送到送到计算机中，通

46、算机中，通过手写手写识别技技术，将手写，将手写内容内容识别成相成相应的字符内容（如的字符内容（如汉字、数字、字母等），从字、数字、字母等），从而达到手写而达到手写输入的目的。入的目的。主主讲人：人：杨帆帆3939多媒体人机交互技多媒体人机交互技术课术课件件 8)语音音识别技技术，是指通，是指通过计算机的算机的识别和理解和理解过程，将程，将语音信号音信号转换为相相应的文字信息，从而的文字信息，从而识别说话人的人的语音指音指令及文字内容的技令及文字内容的技术。 9)虚虚拟现实是利用是利用计算机生成一种模算机生成一种模拟环境（如境（如飞机机驾驶舱、操作、操作现场等），通等），通过多种多种传感感设备使用使用户“投入投入”到到该环境中，境中，实现用用户与与该环境直接境直接进行自然交互的技行自然交互的技术。其关。其关键技技术主要有：主要有：动态环境建模技境建模技术，实时三三维图形生成技形生成技术，立体立体显示和示和传感器技感器技术，应用系用系统开开发工具，系工具，系统集成技集成技术等。等。主主讲人：人：杨帆帆4040多媒体人机交互技多媒体人机交互技术课术课件件主主讲人：人：杨帆帆4141多媒体人机交互技多媒体人机交互技术课术课件件