多媒体人机交互技术

《多媒体人机交互技术》由会员分享，可在线阅读，更多相关《多媒体人机交互技术（41页珍藏版）》请在金锄头文库上搜索。

1、第十二章多媒体人机交互技术主讲人：杨帆主讲人：杨帆第第1 1页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术本章导读本章导读 从多媒体技术的角度看，人机交互技术是在计算机具备从多媒体技术的角度看，人机交互技术是在计算机具备处理声音、图像、视频等多种媒体信息能力的基础上发展起处理声音、图像、视频等多种媒体信息能力的基础上发展起来的，是多媒体技术的不同应用。另一方面，人机交互技术来的，是多媒体技术的不同应用。另一方面，人机交互技术的研究又促进了多媒体技术的快速发展，充分表现了多媒体的研究又促进了多媒体技术的快速发展，充分表现了多媒体技术的交互性。技术的交互性。本章将

2、从多媒体信息处理的角度，简单介绍本章将从多媒体信息处理的角度，简单介绍目前已经广泛应用的几种典型的人机交互技术目前已经广泛应用的几种典型的人机交互技术，如触摸技术、，如触摸技术、手写识别技术、语音识别与合成技术、虚拟现实技术等。同手写识别技术、语音识别与合成技术、虚拟现实技术等。同时，还将介绍基于多媒体技术的人机交互界面的发展方向。时，还将介绍基于多媒体技术的人机交互界面的发展方向。 主讲人：杨帆主讲人：杨帆第第2 2页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术本章主要内容本章主要内容12.1 12.1 人机交互技术概述人机交互技术概述 12.2 12.2

3、触摸屏技术触摸屏技术 12.3 OCR12.3 OCR与手写识别技术与手写识别技术 12.4 12.4 语音识别技术语音识别技术 12.5 12.5 语音合成技术语音合成技术 12.6 12.6 虚拟现实技术虚拟现实技术 主讲人：杨帆主讲人：杨帆第第3 3页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.112.1人机交互技术概述人机交互技术概述12.1.1 12.1.1 人机交互简介人机交互简介 人机交互人机交互（ Computer Human InteractionComputer Human Interaction，CHICHI）也称）也称HCIHCI

4、（Human Computer InteractionHuman Computer Interaction），），是研究人、计算机及其是研究人、计算机及其相互影响的技术相互影响的技术，其核心是人机界面，它是计算机与人之间通，其核心是人机界面，它是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。信和对话的接口，是计算机系统的重要组成部分。 人机交互技术是指通过计算机系统的输入人机交互技术是指通过计算机系统的输入/ /输出设备，以有输出设备，以有效的方式实现人与计算机系统之间信息交流的技术。效的方式实现人与计算机系统之间信息交流的技术。 目前，人们已经能够与计算机系统较为方便地进行交互

5、，目前，人们已经能够与计算机系统较为方便地进行交互，具体应用的交互技术有具体应用的交互技术有键盘交互、手写文字交互、语音交互、键盘交互、手写文字交互、语音交互、图像与视频交互、多语言交互、虚拟现实系统中的交互图像与视频交互、多语言交互、虚拟现实系统中的交互等。等。 主讲人：杨帆主讲人：杨帆第第4 4页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.1.2 12.1.2 多模态人机交互多模态人机交互1 1、模态、模态 是心理学领域中的一个标准术语，指感知信息的感觉，是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。也就是感觉模态。 2 2、多模态

6、人机交互、多模态人机交互 多模态（多模态（MultimodalityMultimodality）人机交互，就是基于智能接口）人机交互，就是基于智能接口技术，充分利用人的多种感知通道，技术，充分利用人的多种感知通道，以并行的、非精确的方以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高式与计算机系统进行交互，旨在提高人机交互的自然性和高效性效性。主讲人：杨帆主讲人：杨帆第第5 5页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术3 3、多模态人机交互的研究内容、多模态人机交互的研究内容 1 1）语音识别、）语音识别、2) 2) 理解及合成、理解

7、及合成、3 3）手势识别技术、）手势识别技术、4 4）人脸的研究、）人脸的研究、5 5）唇读的研究、）唇读的研究、6 6）人体动作的研究。）人体动作的研究。 主讲人：杨帆主讲人：杨帆第第6 6页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术4 4、多模态人机交互的基本特点、多模态人机交互的基本特点 1 1）使用多个感觉和动作模态；）使用多个感觉和动作模态； 2 2）三维的和直接操纵的要求；）三维的和直接操纵的要求； 3 3）允许模糊交互；）允许模糊交互； 4 4）交互双向性；）交互双向性； 5 5）交互的隐含性；）交互的隐含性；主讲人：杨帆主讲人：杨帆第第7 7

8、页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.1.3 12.1.3 可视化可视化 可视化是指充分利用人们对可视模式快速识别的自然能可视化是指充分利用人们对可视模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。力，将数据信息和知识转化为一种视觉形成的过程。可视化操作过程可视化操作过程可视化科学计算可视化科学计算可视化信息可视化信息可视化 利用计算机图形学和图像处理利用计算机图形学和图像处理技术，技术，将科学计算过程中（包括计将科学计算过程中（包括计算结果）的数据转换为图形或图像算结果）的数据转换为图形或图像在屏幕上显示出来，进行交互处理在屏

9、幕上显示出来，进行交互处理的理论、方法和技术。的理论、方法和技术。 层次信息可视化层次信息可视化多位信息可视化多位信息可视化文档（文本）信息可视化文档（文本）信息可视化 WebWeb可视化可视化 现代操作系统提供人机交现代操作系统提供人机交互环境的基本要求，它通过互环境的基本要求，它通过GUIGUI技术来实现技术来实现 主讲人：杨帆主讲人：杨帆第第8 8页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.1.4 12.1.4 新型人机界面的主要特征新型人机界面的主要特征1 1）人性化）人性化 2 2）自然化）自然化 3 3）智能化）智能化4 4）高带宽）高带宽

10、 5 5）不限制地点）不限制地点 6 6）图示编程）图示编程 (a) (a) 交互墙交互墙(b) (b) 交互桌交互桌(c) (c) 交互椅交互椅图图12-1 12-1 物面用户接口举例物面用户接口举例主讲人：杨帆主讲人：杨帆第第9 9页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.212.2触摸屏技术触摸屏技术12.2.1 12.2.1 触摸屏简介触摸屏简介 触摸屏是一种定位装置，安装在显示屏幕前面，它的触摸屏是一种定位装置，安装在显示屏幕前面，它的功能是报告手指（或物体）触摸到屏幕的位置。用户可以功能是报告手指（或物体）触摸到屏幕的位置。用户可以直接用

11、手指触摸屏幕以实现与计算机的交互。直接用手指触摸屏幕以实现与计算机的交互。 工作过程工作过程：手指或其他物体触摸触摸屏：手指或其他物体触摸触摸屏 触摸触摸屏控制器检测位置（以坐标形式）屏控制器检测位置（以坐标形式） 通过计算机接口通过计算机接口送到送到CPUCPU确定用户所输入的信息。确定用户所输入的信息。 触摸屏具有界面直观，操作简单，触摸屏具有界面直观，操作简单，“伸手即得伸手即得”的优的优点，大大改善了人与计算机的交互方式。点，大大改善了人与计算机的交互方式。 主讲人：杨帆主讲人：杨帆第第1010页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术l触摸屏是一

12、种定位装置，安装在显示屏幕前面，它的功触摸屏是一种定位装置，安装在显示屏幕前面，它的功能是报告手指（或物体）触摸到屏幕的位置；能是报告手指（或物体）触摸到屏幕的位置；l用户可以直接用手指触摸屏幕以实现与计算机的交互；用户可以直接用手指触摸屏幕以实现与计算机的交互； l工作过程：手指或其他物体触摸触摸屏，触摸屏控制器工作过程：手指或其他物体触摸触摸屏，触摸屏控制器检测位置（以坐标形式），通过计算机接口送到检测位置（以坐标形式），通过计算机接口送到CPUCPU，以确定用户所输入的信息。以确定用户所输入的信息。l触摸屏具有界面直观，操作简单，触摸屏具有界面直观，操作简单，“伸手即得伸手即得”的优点，

13、的优点，大大改善了人与计算机的交互方式。大大改善了人与计算机的交互方式。12.212.2触摸屏技术触摸屏技术12.2.1 12.2.1 触摸屏简介触摸屏简介主讲人：杨帆主讲人：杨帆第第1111页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.2.2 12.2.2 触摸屏的主要类型触摸屏的主要类型l矢量压力传感技术触摸屏矢量压力传感技术触摸屏l电阻技术触摸屏电阻技术触摸屏l电容技术触摸屏电容技术触摸屏l红外线技术触摸屏红外线技术触摸屏l表面声波技术触摸屏表面声波技术触摸屏 等五种类型。等五种类型。其中矢量压力传感技术触摸屏已经被淘汰。其中矢量压力传感技术触摸屏

14、已经被淘汰。依据所采用的技术原理，触摸屏可分为：依据所采用的技术原理，触摸屏可分为：主讲人：杨帆主讲人：杨帆第第1212页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术1 1、电阻式触摸屏、电阻式触摸屏 如右图，当手指接触屏幕，如右图，当手指接触屏幕，两层两层 OTIOTI导电层出现一个接触点，导电层出现一个接触点，因其中一面导电层接通因其中一面导电层接通Y Y轴方向轴方向的的5V5V均匀电压场，使得侦测层的均匀电压场，使得侦测层的电压由零变为非零，控制器侦测电压由零变为非零，控制器侦测到这个接通后，进行到这个接通后，进行A/DA/D转换，转换，并将得到的电压值

15、与并将得到的电压值与5V5V相比，即相比，即可得触摸点的可得触摸点的Y Y轴坐标，同理得轴坐标，同理得出出X X轴的坐标。从而实现屏幕定轴的坐标。从而实现屏幕定位。位。图12-2 电阻式触摸屏 主讲人：杨帆主讲人：杨帆第第1313页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术2 2、电容式触摸屏、电容式触摸屏 如右图，用户触摸屏幕如右图，用户触摸屏幕时，由于人体电场，手指与时，由于人体电场，手指与导体层间会形成一个耦合电导体层间会形成一个耦合电容，四边电极发出的电流会容，四边电极发出的电流会流向触点，而电流强弱与手流向触点，而电流强弱与手指到电极的距离成正比，

16、位指到电极的距离成正比，位于触摸屏幕后的控制器便会于触摸屏幕后的控制器便会计算电流的比例及强弱，准计算电流的比例及强弱，准确算出触摸点的位置。确算出触摸点的位置。 图12-3 电容式触摸屏 主讲人：杨帆主讲人：杨帆第第1414页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术3 3、红外线式触摸屏、红外线式触摸屏 红外线触摸屏由装在触摸屏外框上的红外线发射与接红外线触摸屏由装在触摸屏外框上的红外线发射与接收感测元件构成，在屏幕表面上，形成红外线探测网，任收感测元件构成，在屏幕表面上，形成红外线探测网，任何触摸物体可改变触点上的红外线而实现触摸屏操作。何触摸物体可改

17、变触点上的红外线而实现触摸屏操作。 具体实现：在显示器上加上光点距离框，光点距离框具体实现：在显示器上加上光点距离框，光点距离框的四边排列了红外线发射管及接收管，在屏幕表面形成一的四边排列了红外线发射管及接收管，在屏幕表面形成一个红外线网（如图个红外线网（如图11-411-4所示）。所示）。 当手指触摸屏幕某一点当手指触摸屏幕某一点时，便会挡住经过该位置的时，便会挡住经过该位置的横竖两条红外线，计算机便横竖两条红外线，计算机便可即时算出触摸点位置。可即时算出触摸点位置。图12-4 红外线触摸屏 主讲人：杨帆主讲人：杨帆第第1515页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多

18、媒体人机交互技术4 4、表面声波触摸屏、表面声波触摸屏 表面声波触摸屏由触摸屏、声波发生器、反射器和声波表面声波触摸屏由触摸屏、声波发生器、反射器和声波接收器组成，其中声波发生器能发送一种高频声波跨越屏幕接收器组成，其中声波发生器能发送一种高频声波跨越屏幕表面，当手指触及屏幕时，触点上的声波即被阻止，由此确表面，当手指触及屏幕时，触点上的声波即被阻止，由此确定坐标位置。定坐标位置。图12-5 表面声波触摸屏 主讲人：杨帆主讲人：杨帆第第1616页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.2.3 12.2.3 触摸屏的基本技术特性触摸屏的基本技术特性 触

19、摸屏通常应具备以下三个基本技术特性：触摸屏通常应具备以下三个基本技术特性： 1 1、透明性能、透明性能 2 2、绝对坐标系统、绝对坐标系统 3 3、检测与定位、检测与定位主讲人：杨帆主讲人：杨帆第第1717页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.3 OCR12.3 OCR与手写识别技术与手写识别技术12.3.1 OCR12.3.1 OCR识别技术识别技术 OCR OCR（Optical Character RecognitionOptical Character Recognition，光学字符，光学字符识别）技术，识别）技术，是通过扫描等光学输入

20、方式将文字转化为是通过扫描等光学输入方式将文字转化为图像信息，再利用文字识别技术将图像信息转化为可编图像信息，再利用文字识别技术将图像信息转化为可编辑的文本信息的计算机输入技术辑的文本信息的计算机输入技术。广泛应用于大量文字。广泛应用于大量文字资料、票据、档案卷宗、文案的录入和处理等领域。相资料、票据、档案卷宗、文案的录入和处理等领域。相对一般文本，通常以最终识别率、识别速度、版面理解对一般文本，通常以最终识别率、识别速度、版面理解正确率及版面还原满意度正确率及版面还原满意度4 4个方面作为个方面作为OCROCR技术的评测依技术的评测依据；而相对于表格及票据，据；而相对于表格及票据， 通常以识

21、别率或整张通过率通常以识别率或整张通过率及识别速度为测定及识别速度为测定OCROCR技术的实用标准技术的实用标准。 主讲人：杨帆主讲人：杨帆第第1818页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术 OCROCR的基本工作过程分为的基本工作过程分为图文扫描、预处理、单字识别、图文扫描、预处理、单字识别、后处理以及文档输出后处理以及文档输出等五个环节，如图等五个环节，如图12-612-6所示。所示。 图12-6 OCR的基本工作原理示意 主讲人：杨帆主讲人：杨帆第第1919页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.3.

22、2 12.3.2 手写识别技术手写识别技术 手写识别通过手写识别通过提取手写内容的结构特征来分割和识别字提取手写内容的结构特征来分割和识别字符符，从而达到手写输入的目的。，从而达到手写输入的目的。1 1、手写输入、手写输入 手写输入是把要输入的字符写在一块叫书写板的数字手写输入是把要输入的字符写在一块叫书写板的数字化设备上，这种设备将笔尖走过的轨迹按时间采样后发送到化设备上，这种设备将笔尖走过的轨迹按时间采样后发送到计算机中，通过手写识别技术，将手写内容识别成相应的字计算机中，通过手写识别技术，将手写内容识别成相应的字符内容（如汉字、数字、字母等），从而达到手写输入的目符内容（如汉字、数字、字

23、母等），从而达到手写输入的目的。的。主讲人：杨帆主讲人：杨帆第第2020页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术2 2、手写识别、手写识别 就汉字识别而言，其方法基本上分为就汉字识别而言，其方法基本上分为统计识别统计识别、结构识别结构识别以及以及神经网络神经网络方法等几大类。大量的联机方法等几大类。大量的联机手写识别系统采用的都是结构识别方法。手写识别系统采用的都是结构识别方法。 结构识别方法：结构识别方法： 其出发点是汉字的组成结构，从汉字的构成上讲，汉其出发点是汉字的组成结构，从汉字的构成上讲，汉字是由笔划字是由笔划( (点、横、竖、撇、捺等点、横、

24、竖、撇、捺等) )、偏旁、部首构成，、偏旁、部首构成，通过把复杂的汉字模式分解为简单的子模式直至基本模式通过把复杂的汉字模式分解为简单的子模式直至基本模式元素，对子模式的判定，以及基于符号运算的匹配算法，元素，对子模式的判定，以及基于符号运算的匹配算法，达到对复杂模式的识别达到对复杂模式的识别。 主讲人：杨帆主讲人：杨帆第第2121页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术3 3、影响识别率的因素、影响识别率的因素目前影响识别率的因素主要有以下几个方面：目前影响识别率的因素主要有以下几个方面： 1 1）笔顺问题）笔顺问题 2 2）连笔问题）连笔问题 3 3

25、）相似字区分）相似字区分 4 4）对抗干扰能力的要求）对抗干扰能力的要求主讲人：杨帆主讲人：杨帆第第2222页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.4 12.4 语音识别技术语音识别技术12.4.1 12.4.1 语音识别技术简介语音识别技术简介 语音识别（语音识别（ASR ASR ：Automatic Speech RecognitionAutomatic Speech Recognition）技术，技术，是指通过计算机的识别和理解过程，将语音信号转是指通过计算机的识别和理解过程，将语音信号转换为相应的文字信息，从而识别说话人的语音指令以及文换为

26、相应的文字信息，从而识别说话人的语音指令以及文字内容的技术字内容的技术。 语音识别是一个多学科交叉的研究领域，涉及语言学、语音识别是一个多学科交叉的研究领域，涉及语言学、认知科学以及计算机科学等多个学科。认知科学以及计算机科学等多个学科。 语音识别技术与语音合成技术的结合，使人和计算机语音识别技术与语音合成技术的结合，使人和计算机之间能够实现双向语言交流，摆脱键盘对人机交互方式的之间能够实现双向语言交流，摆脱键盘对人机交互方式的束缚。束缚。 主讲人：杨帆主讲人：杨帆第第2323页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.4.2 12.4.2 语音识别的

27、技术原理语音识别的技术原理l语音特征提取语音特征提取：其目的是从语音波形中提取出随时间变化：其目的是从语音波形中提取出随时间变化的语音特征序列。的语音特征序列。 l声学模型与模式匹配（识别算法）声学模型与模式匹配（识别算法）：声学模型通常通过学：声学模型通常通过学习算法来获取语音特征。在识别时将输入的语音特征同声习算法来获取语音特征。在识别时将输入的语音特征同声学模型进行匹配与比较，得到最佳的识别结果。学模型进行匹配与比较，得到最佳的识别结果。 l语言模型与语言处理：语言模型与语言处理：语言模型包括由识别语音命令构成语言模型包括由识别语音命令构成的语法网络或由统计方法构成的语言模型，语言处理可

28、以的语法网络或由统计方法构成的语言模型，语言处理可以进行语法、语义分析。对小词表语音识别系统，往往不需进行语法、语义分析。对小词表语音识别系统，往往不需要语言处理部分。要语言处理部分。 计算机的语音识别过程与人对语音的识别处理过程基本计算机的语音识别过程与人对语音的识别处理过程基本上是一致的。目前主流的语音识别技术是建立在统计模式识上是一致的。目前主流的语音识别技术是建立在统计模式识别基本理论之上的，其语音识别系统可大致分为三部分：别基本理论之上的，其语音识别系统可大致分为三部分： 主讲人：杨帆主讲人：杨帆第第2424页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互

29、技术12.5 12.5 语音合成技术语音合成技术12.5.1 12.5.1 语音合成技术简介语音合成技术简介 语音合成（语音合成（Speech synthesisSpeech synthesis，或，或Text To SpeechText To Speech）技术，是指技术，是指将文本信息转变为语音数据，再以语音的方式将文本信息转变为语音数据，再以语音的方式播放出来的技术播放出来的技术，通常被简称为，通常被简称为TTSTTS技术。一个典型的语音技术。一个典型的语音合成系统可分为合成系统可分为文本分析、韵律建模和语音合成文本分析、韵律建模和语音合成三大模块，三大模块，主要功能主要功能是：是：根据

30、韵律建模的结果，从原始语音库中取出根据韵律建模的结果，从原始语音库中取出相应的语音基元，利用特定的语音合成技术对语音基元进相应的语音基元，利用特定的语音合成技术对语音基元进行韵律特性的调整和修改，最终合成出符合要求的语音行韵律特性的调整和修改，最终合成出符合要求的语音。主讲人：杨帆主讲人：杨帆第第2525页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.5.2 12.5.2 语音合成的技术方法语音合成的技术方法 语音合成（让计算机说话）的基本思路有两种：一种是语音合成（让计算机说话）的基本思路有两种：一种是参数模拟合成，参数模拟合成，一种是一种是波形拼接合成

31、波形拼接合成。 参数模拟合成参数模拟合成: :是采用数字信号处理的方法，将人类发声是采用数字信号处理的方法，将人类发声过程看作是一个模拟声门状态的源，去激励一个表征声道谐过程看作是一个模拟声门状态的源，去激励一个表征声道谐振特性的时变数字滤波器。振特性的时变数字滤波器。 波形拼接合成波形拼接合成: :是将要合成的语音信息分割成大量不同的是将要合成的语音信息分割成大量不同的语音信息元，并以数字形式存储，合成时根据具体内容和要语音信息元，并以数字形式存储，合成时根据具体内容和要求，选择适当的语音信息元进行拼接，从而形成所需的语音求，选择适当的语音信息元进行拼接，从而形成所需的语音信息。信息。主讲人

32、：杨帆主讲人：杨帆第第2626页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.5.3 12.5.3 语音合成技术的应用与发展方向语音合成技术的应用与发展方向 语音合成技术可广泛应用于语音合成技术可广泛应用于语音数据查询、语音提示、语音数据查询、语音提示、电话银行、语音信箱、语音邮件、语音新闻发布、语音广播电话银行、语音信箱、语音邮件、语音新闻发布、语音广播等各类语音业务等各类语音业务，提供更加人性化的人机交互方式。，提供更加人性化的人机交互方式。 语音合成技术的发展方向：语音合成技术的发展方向： 1) 1) 提高合成语音的自然度提高合成语音的自然度 2)

33、2) 丰富合成语音的表现力丰富合成语音的表现力 3) 3) 降低语音合成技术的复杂度降低语音合成技术的复杂度 4) 4) 多语种文语合成多语种文语合成主讲人：杨帆主讲人：杨帆第第2727页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.6 虚拟现实技术虚拟现实技术 12.6.1 12.6.1 虚拟现实技术简介虚拟现实技术简介l虚拟现实（虚拟现实（Virtual RealityVirtual Reality）是）是利用计算机生成一种模利用计算机生成一种模拟环境，通过多种传感设备使用户拟环境，通过多种传感设备使用户“投入投入”到该环境中，到该环境中，实现用户与该

34、环境直接进行自然交互的技术实现用户与该环境直接进行自然交互的技术。l虚拟现实技术的研究内容涉及到人工智能、计算机科学、虚拟现实技术的研究内容涉及到人工智能、计算机科学、电子学、传感器、计算机图形学、智能控制、心理学等。电子学、传感器、计算机图形学、智能控制、心理学等。l虚拟现实技术的虚拟现实技术的特点特点在于，在于，计算机产生一种人为虚拟的环计算机产生一种人为虚拟的环境，这种虚拟的环境是通过计算机图形构成的三维空间，境，这种虚拟的环境是通过计算机图形构成的三维空间，或是把其它现实环境编制到计算机中去产生逼真的或是把其它现实环境编制到计算机中去产生逼真的“虚拟虚拟环境环境”，从而使得用户在视觉上

35、产生一种沉浸于虚拟环境，从而使得用户在视觉上产生一种沉浸于虚拟环境的感觉的感觉。主讲人：杨帆主讲人：杨帆第第2828页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.6.2 12.6.2 虚拟现实系统虚拟现实系统 1 1、虚拟现实系统的典型模型、虚拟现实系统的典型模型 如右图所示。使用如右图所示。使用者通过传感装置直接对者通过传感装置直接对虚拟环境进行操作，并虚拟环境进行操作，并得到实时三维显示和其得到实时三维显示和其它它 反馈信息（如触觉、反馈信息（如触觉、力觉反馈等）。当系统力觉反馈等）。当系统与外部世界通过传感装与外部世界通过传感装置构成反馈闭环时，在

36、用户的控制下，用户与虚拟环境置构成反馈闭环时，在用户的控制下，用户与虚拟环境间的交互可以对外部世界产生作用（如遥操作等）。间的交互可以对外部世界产生作用（如遥操作等）。 图12-7 虚拟现实系统的模型主讲人：杨帆主讲人：杨帆第第2929页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术2 2、虚拟现实系统的构成、虚拟现实系统的构成 一般的虚拟现实系统主要由以下五个模块构成，如一般的虚拟现实系统主要由以下五个模块构成，如下图所示。下图所示。 图12-8 虚拟现实系统的构成主讲人：杨帆主讲人：杨帆第第3030页页/ /共共4141页页第十二章第十二章 多媒体人机交互技

37、术多媒体人机交互技术l检测模块：检测模块：检测用户的操作命令，并通过传感器模块检测用户的操作命令，并通过传感器模块作用于虚拟环境。作用于虚拟环境。 l反馈模块：反馈模块：接受来自传感器模块信息，为用户提供实接受来自传感器模块信息，为用户提供实时反馈。时反馈。l传感器模块：传感器模块：一方面接受来自用户的操作命令，并将一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面将操作后产生的结果以其作用于虚拟环境；另一方面将操作后产生的结果以各种反馈的形式提供给用户。各种反馈的形式提供给用户。l控制模块：控制模块：对传感器进行控制，使其对用户、虚拟环对传感器进行控制，使其对用户、虚拟环境和现实世

38、界产生作用。境和现实世界产生作用。l建模模块：建模模块：获取现实世界组成部分的三维表示，并由获取现实世界组成部分的三维表示，并由此构成对应的虚拟环境。此构成对应的虚拟环境。主讲人：杨帆主讲人：杨帆第第3131页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.6.3 12.6.3 虚拟现实技术的特征虚拟现实技术的特征 1 1）多感知性：）多感知性：除了一般计算机所具有的视觉感知外，除了一般计算机所具有的视觉感知外，还有听觉感知、力觉感知、触觉感知、运动感知、甚至包还有听觉感知、力觉感知、触觉感知、运动感知、甚至包括味觉感知、嗅觉感知等。理想的虚拟现实就是应该具

39、有括味觉感知、嗅觉感知等。理想的虚拟现实就是应该具有人所具有的感知功能。人所具有的感知功能。 2 2）存在感：）存在感：指用户感到作为主角存在于模拟环境中指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难以分辨真的真实程度。理想的模拟环境应该达到使用户难以分辨真假的程度。假的程度。 3 3）交互性：）交互性：指用户对模拟环境内物体的可操作程度指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性）。和从环境得到反馈的自然程度（包括实时性）。 4 4）自主性：）自主性：指虚拟环境中物体依据物理定律动作的指虚拟环境中物体依据物理定律动作的程度。程度。 主

40、讲人：杨帆主讲人：杨帆第第3232页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.6.4 12.6.4 虚拟现实的关键技术虚拟现实的关键技术 就现有的虚拟现实系统而言，其关键技术可以包括以下几就现有的虚拟现实系统而言，其关键技术可以包括以下几个方面：个方面： 1 1、动态环境建模技术、动态环境建模技术 动态环境建模技术的目的是获取实际环境的三维数据，动态环境建模技术的目的是获取实际环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。三维数据的获取可以采用环境模型。三维数据的获取可以采

41、用CADCAD技术（有规则的环技术（有规则的环境），而更多的环境则需要采用非接触式的视觉建模技术，境），而更多的环境则需要采用非接触式的视觉建模技术，两者的有机结合可以有效地提高数据获取的效率。两者的有机结合可以有效地提高数据获取的效率。 2 2、实时三维图形生成技术、实时三维图形生成技术 关键是关键是“实时实时”生成。生成。主讲人：杨帆主讲人：杨帆第第3333页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术3 3、立体显示和传感器技术、立体显示和传感器技术4 4、应用系统开发工具、应用系统开发工具5 5、系统集成技术、系统集成技术 现有的虚拟现实外设还远远不能

42、满足系统的需要，例如，现有的虚拟现实外设还远远不能满足系统的需要，例如，数据手套（如下图所示）有延迟大、分辨率低、作用范围小、数据手套（如下图所示）有延迟大、分辨率低、作用范围小、使用不便等缺点；有必要开发新的三维显示技术。使用不便等缺点；有必要开发新的三维显示技术。主讲人：杨帆主讲人：杨帆第第3434页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术12.6.5 12.6.5 虚拟现实技术的应用领域虚拟现实技术的应用领域 1 1、遥控机器人的遥现技术、遥控机器人的遥现技术 2 2、各类仿真技术、各类仿真技术 1 1）飞行仿真系统）飞行仿真系统 2 2）与虚拟生物

43、对话）与虚拟生物对话 3 3）作战仿真系统）作战仿真系统 3 3、对象可视化技术、对象可视化技术 1 1）虚拟风洞）虚拟风洞2 2）虚拟物理实验室）虚拟物理实验室3 3）虚拟电力控制室）虚拟电力控制室主讲人：杨帆主讲人：杨帆第第3535页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术本章小结 本章主要介绍了人机交互的基本概念、现有的人本章主要介绍了人机交互的基本概念、现有的人机交互技术以及新型人机界面的主要特征等内容，较机交互技术以及新型人机界面的主要特征等内容，较为全面地概括了多媒体计算机系统或多媒体终端（为全面地概括了多媒体计算机系统或多媒体终端（PDAPD

44、A、多媒体手机等）的人机交互形式和途径。多媒体手机等）的人机交互形式和途径。 通过学习本章，应掌握人机交互的基本概念、人通过学习本章，应掌握人机交互的基本概念、人机交互的研究内容以及新型人机界面的主要特征等内机交互的研究内容以及新型人机界面的主要特征等内容，并对目前的各种人机交互技术（触摸屏技术、容，并对目前的各种人机交互技术（触摸屏技术、OCROCR技术、手写识别技术、语音识别与合成技术、虚拟现技术、手写识别技术、语音识别与合成技术、虚拟现实技术等）有所了解。主要包括以下内容：实技术等）有所了解。主要包括以下内容：主讲人：杨帆主讲人：杨帆第第3636页页/ /共共4141页页第十二章第十二章

45、 多媒体人机交互技术多媒体人机交互技术 1)1)人机交互技术是指通过计算机系统的输入人机交互技术是指通过计算机系统的输入/ /输出设备，输出设备，以有效的方式实现人与计算机系统之间信息交流的技术。它以有效的方式实现人与计算机系统之间信息交流的技术。它包括机器通过输出设备给人提供大量有关信息和操作导向，包括机器通过输出设备给人提供大量有关信息和操作导向，人通过输入设备向计算机输入操作信息等。从第一台计算机人通过输入设备向计算机输入操作信息等。从第一台计算机诞生到现在，人与计算机之间的交互方式经历了手工操作、诞生到现在，人与计算机之间的交互方式经历了手工操作、字符用户界面（命令语言）、可视化的图形

46、用户界面字符用户界面（命令语言）、可视化的图形用户界面（GUIGUI）3 3个阶段，人们操作使用计算机的直观性有了明显的个阶段，人们操作使用计算机的直观性有了明显的改善。改善。 2) 2)多模态（多模态（MultimodalityMultimodality）人机交互，就是基于智能接）人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、非精确的口技术，充分利用人的多种感知通道，以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。高效性。主讲人：杨帆主讲人：杨帆第第3737页页/ /共共4141页页第十二

47、章第十二章 多媒体人机交互技术多媒体人机交互技术 3) 3)计算机系统中的可视化主要包括操作过程可视化、科计算机系统中的可视化主要包括操作过程可视化、科学计算可视化和信息可视化学计算可视化和信息可视化3 3个方面。操作过程可视化是现代个方面。操作过程可视化是现代操作系统提供人机交互环境的基本要求，它通过操作系统提供人机交互环境的基本要求，它通过GUIGUI技术来实技术来实现；科学计算可视化是指运用计算机图形学和图像处理技术，现；科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中的数据转换为图形或图像在屏幕上显示出将科学计算过程中的数据转换为图形或图像在屏幕上显示出来，进行交互处

48、理的理论、方法和技术。来，进行交互处理的理论、方法和技术。 4) 4)新型人机界面的主要特征是，人机交互更加人性化、新型人机界面的主要特征是，人机交互更加人性化、自然化、智能化、高带宽，并且不受地点限制。自然化、智能化、高带宽，并且不受地点限制。 5) 5)触摸屏是一种定位装置，安装在显示屏幕前面，其功触摸屏是一种定位装置，安装在显示屏幕前面，其功能是报告手指（或物体）触摸到屏幕的位置。用户可以直接能是报告手指（或物体）触摸到屏幕的位置。用户可以直接用手指触摸屏幕以实现与计算机的交互。用手指触摸屏幕以实现与计算机的交互。主讲人：杨帆主讲人：杨帆第第3838页页/ /共共4141页页第十二章第十

49、二章 多媒体人机交互技术多媒体人机交互技术 6)OCR6)OCR技术是通过扫描等光学输入方式将各种报刊、书籍、技术是通过扫描等光学输入方式将各种报刊、书籍、文稿、票据及其他印刷品的文字转化为图像信息，再利用文文稿、票据及其他印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可编辑的文本信息的计算机输字识别技术将图像信息转化为可编辑的文本信息的计算机输入技术。入技术。OCROCR的基本工作过程分为图文扫描、预处理、单字识的基本工作过程分为图文扫描、预处理、单字识别、后处理以及文档输出等别、后处理以及文档输出等5 5个环节。个环节。 7) 7)手写输入是完全以平常的书写习惯，把要输入的

50、字符手写输入是完全以平常的书写习惯，把要输入的字符写在一块书写板的数字化设备上，这种设备将笔尖走过的轨写在一块书写板的数字化设备上，这种设备将笔尖走过的轨迹按时间采样后发送到计算机中，通过手写识别技术，将手迹按时间采样后发送到计算机中，通过手写识别技术，将手写内容识别成相应的字符内容（如汉字、数字、字母等），写内容识别成相应的字符内容（如汉字、数字、字母等），从而达到手写输入的目的。从而达到手写输入的目的。主讲人：杨帆主讲人：杨帆第第3939页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术 8) 8)语音识别技术，是指通过计算机的识别和理解过程，语音识别技术，是

51、指通过计算机的识别和理解过程，将语音信号转换为相应的文字信息，从而识别说话人的语音将语音信号转换为相应的文字信息，从而识别说话人的语音指令及文字内容的技术。指令及文字内容的技术。 9) 9)虚拟现实是利用计算机生成一种模拟环境（如飞机驾虚拟现实是利用计算机生成一种模拟环境（如飞机驾驶舱、操作现场等），通过多种传感设备使用户驶舱、操作现场等），通过多种传感设备使用户“投入投入”到到该环境中，实现用户与该环境直接进行自然交互的技术。其该环境中，实现用户与该环境直接进行自然交互的技术。其关键技术主要有：动态环境建模技术，实时三维图形生成技关键技术主要有：动态环境建模技术，实时三维图形生成技术，立体显示和传感器技术，应用系统开发工具，系统集成术，立体显示和传感器技术，应用系统开发工具，系统集成技术等。技术等。 主讲人：杨帆主讲人：杨帆第第4040页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术主讲人：杨帆主讲人：杨帆第第4141页页/ /共共4141页页第十二章第十二章 多媒体人机交互技术多媒体人机交互技术