《研究生多媒体14虚拟现实系统》由会员分享，可在线阅读，更多相关《研究生多媒体14虚拟现实系统（28页珍藏版）》请在金锄头文库上搜索。
1、第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实2. 虚拟现实系统的组成虚拟现实系统的组成3. 全景视频系统全景视频系统1第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实虚拟现实，虚拟现实，Vitual Reality（VR）。）。 于于1989年被提出。年被提出。它它通通常常是是指指用用立立体体眼眼镜镜和和传传感感手手套套等等一一系系列列传传感感辅辅助助设设施施来来实实现现的的一一种种三三维维现现实实，人人们们通通过过这这些些设设施施以以自自然然的的技技能能（如如头头的的转转动动、身身体体的的运运动动等等）向向计计算算机机送送入
2、入各各种种动动作作信信息息，并并且且通通过过视视觉觉、听听觉觉以以及及触触觉觉设设施施使使人人们们得得到三维视觉、听觉及触觉等感觉世界。到三维视觉、听觉及触觉等感觉世界。虚虚拟拟现现实实最最重重要要的的目目标标：真真实实的的体体验验和和方方便便自自然然的的人人机机交交互互。能能够够达达到到或或者部分达到这样目标的系统称为虚拟现实系统。者部分达到这样目标的系统称为虚拟现实系统。1. 1 基本概念基本概念2第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实与与虚虚拟拟现现实实有有关关的的内内容容已已经经扩扩大大到到与与之之相相关关的的很很多多方方面面，虚虚拟拟现现实实
3、的的不不同同形形式式或或术术语：语：人工实现（人工实现（Artificial Reality）遥在（遥在（Telepresence）虚拟环境（虚拟环境（Virtual Environment）赛伯空间（赛伯空间（Cyberspace）1. 1 基本概念基本概念3第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实虚虚拟拟现现实实系系统统就就是是要要利利用用各各种种先先进进的的硬硬件件技技术术及及软软件件工工具具，设设计计出出合合理理的的硬硬件件、软软件件及及交交互互手手段段，使使参参与与者者能能交交互互式式地地观观察察和和操操纵纵系系统统生生成成的的虚虚拟拟世界。世
4、界。 从概念上讲，任何一个虚拟现实系统都可以用三个从概念上讲，任何一个虚拟现实系统都可以用三个“I”来描述其特性：来描述其特性：沉浸（沉浸（Immersion）交互（交互（Interactive）想象（想象（Imagination） 1. 2 虚拟现实系统的特性虚拟现实系统的特性4第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实首先，要使参与者有首先，要使参与者有“真实真实”的体验，这种体验就是沉浸或投入。的体验，这种体验就是沉浸或投入。理理想想情情况况下下虚虚拟拟环环境境应应该该达达到到使使用用户户难难以以辨辨别别真真假假的的程程度度。为为了了达达到到这这个个
5、目目标标，就就必必须须具具有有多多感感知知的的能能力力，理理想想的的虚虚拟拟现现实实系系统统应应该该具具有有人人类类所所具具有的一切感知能力，包括视觉、听觉、触觉，甚至味觉和嗅觉。有的一切感知能力，包括视觉、听觉、触觉，甚至味觉和嗅觉。 1. 2 虚拟现实系统的特性虚拟现实系统的特性5第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实第第二二，系系统统要要能能提提供供方方便便的的、丰丰富富的的、主主要要是是基基于于自自然然技技能能的的人人机机交交互互手手段。段。这这些些手手段段使使得得参参与与者者能能够够对对虚虚拟拟环环境境进进行行实实时时的的操操纵纵，能能从从虚
6、虚拟拟环环境境中中得得到到反反馈馈的的信信息息，也也能能使使系系统统了了解解参参与与者者关关键键部部位位的的位位置置、状状态态、变变形形等等各各种需要系统知道的数据。种需要系统知道的数据。同同时时，实实时时性性是是非非常常重重要要的的，如如果果在在交交互互时时存存在在比比较较大大的的延延迟迟，与与人人的的心心理理经经验验不不一一致致，就就谈谈不不上上自自然然的的交交互互，也也很很难难获获得得沉沉浸浸感感。为为达达到到这这个个目目标，高速计算和处理就必不可少。标，高速计算和处理就必不可少。1. 2 虚拟现实系统的特性虚拟现实系统的特性6第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚
7、拟现实什么是虚拟现实第第三三，因因为为虚虚拟拟现现实实不不仅仅仅仅是是一一种种媒媒体体或或用用户户的的高高端端接接口口，而而且且它它还还是是针针对对某某一一特特定定领领域域、解解决决某某些些问问题题的的应应用用。如如何何解解决决这这些些问问题题，不不仅仅需需要要了了解应用的需求，了解技术的能力，而且还需要有丰富的想象力。解应用的需求，了解技术的能力，而且还需要有丰富的想象力。想象力已经称为虚拟现实系统设计中最关键的问题之一。想象力已经称为虚拟现实系统设计中最关键的问题之一。1. 2 虚拟现实系统的特性虚拟现实系统的特性7第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚
8、拟现实参与者在虚拟环境中的活动或经历有两种形式：参与者在虚拟环境中的活动或经历有两种形式：主主观观参参与与（First-person activities）:参参与与者者是是整整个个经经历历的的中中心心，一一切切围围绕绕参参与者进行；与者进行；客客观观参参与与（second-person activitie）：参参与与者者可可以以在在虚虚拟拟环环境境中中看看到到他他自己与其他物体的交互。自己与其他物体的交互。1. 2 虚拟现实系统的特性虚拟现实系统的特性8第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实显示：头盔三维显示等显示：头盔三维显示等交互：数据手套等交互
9、：数据手套等具有里程碑意义的工作：具有里程碑意义的工作：1.立体电影、立体声与传感影院：立体图像显示、嗅觉、振动等立体电影、立体声与传感影院：立体图像显示、嗅觉、振动等2.模拟器：如飞行系统仿真器模拟器：如飞行系统仿真器1. 3 虚拟现实技术简史虚拟现实技术简史9第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实3. 无障碍虚拟现实环境无障碍虚拟现实环境 VIDEOPLACE4.虚拟视觉环境显示器（虚拟视觉环境显示器（VIVED：Virtual Visual Environment Display）5. MIT的的“白白杨杨城城影影片片地地图图（Aspen Mov
10、ie Map）”，一一个个模模型型在在街街道道上上行行走走的的系系统统。这这种种用用户户导导航航的的运运行行方方式式为为后后来来的的超超媒媒体体、虚虚拟拟空空间间交交互互等提供了丰富的经验。等提供了丰富的经验。6.视觉增强系统视觉增强系统1. 3 虚拟现实技术简史虚拟现实技术简史10第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实（一）非沉浸类虚拟现实系统：（一）非沉浸类虚拟现实系统：（1）全全景景视视频频系系统统：利利用用连连续续拍拍摄摄的的图图像像和和视视频频在在计计算算机机中中拼拼接接建建立立实实景景化虚拟空间。化虚拟空间。（2）基于座舱的系统）基于座舱的
11、系统（3）桌桌面面虚虚拟拟现现实实CAD系系统统：对对虚虚拟拟世世界界进进行行建建模模，通通过过计计算算机机的的显显示示器器进行观察，并能自由的控制观察的视点和视角进行观察，并能自由的控制观察的视点和视角（4）基于剧情的虚拟现实系统）基于剧情的虚拟现实系统1. 4 虚拟现实系统的分类虚拟现实系统的分类11第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实（二二）沉沉浸浸类类虚虚拟拟现现实实系系统统：利利用用特特殊殊的的设设备备把把参参与与者者的的视视觉觉、听听觉觉和和其其它它感感觉觉封封闭闭起起来来，提提供供一一个个新新的的、虚虚拟拟的的感感觉觉空空间间，使使得得
12、参参与与者者产产生生一一种身在身在虚拟环境中，并能够全身心投入和沉浸其中的感觉。种身在身在虚拟环境中，并能够全身心投入和沉浸其中的感觉。（1）基于头盔的系统）基于头盔的系统（2）投投影影虚虚拟拟现现实实系系统统：把把参参与与者者的的动动画画图图像像和和其其他他图图像像结结合合到到一一起起，插插入到虚拟环境中。入到虚拟环境中。（3）遥遥在在系系统统：虚虚拟拟现现实实与与计计算算机机技技术术结结合合的的系系统统，当当在在某某处处的的操操作作员员操操作一个虚拟现实系统时，其结果却在另一个地方发生。作一个虚拟现实系统时，其结果却在另一个地方发生。1. 4 虚拟现实系统的分类虚拟现实系统的分类12第第
13、十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实（三）分布式虚拟现实系统（三）分布式虚拟现实系统如如果果在在上上述述两两种种系系统统的的基基础础上上能能够够使使得得多多个个用用户户连连接接到到一一起起，并并能能够够共共享享同一个虚拟空间，则成为分布式虚拟现实系统。同一个虚拟空间，则成为分布式虚拟现实系统。（四）增强现实系统（四）增强现实系统为了增强操作员对真实环境的感受。辅助数据与观察员所观察到的实际环为了增强操作员对真实环境的感受。辅助数据与观察员所观察到的实际环境叠加到一起，以协助操作员进行操作或工作。这种叠加方式增强了原始境叠加到一起，以协助操作员进行操作或工作
14、。这种叠加方式增强了原始的环境信息。的环境信息。1. 4 虚拟现实系统的分类虚拟现实系统的分类13第第 十四十四 章章 虚拟现实系统虚拟现实系统1. 什么是虚拟现实什么是虚拟现实科学计算可视化科学计算可视化计算机辅助设计计算机辅助设计飞行、骑车、外科手术等的操作模拟飞行、骑车、外科手术等的操作模拟军事模拟与仿真军事模拟与仿真教育与培训教育与培训遥在系统遥在系统心里实验心里实验娱乐娱乐艺术艺术通信与协同工作通信与协同工作1. 5 虚拟现实系统的应用虚拟现实系统的应用14第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成一、系统感知和行为模型一、系统感知和行为
15、模型人与外界的交互分为两大部分：感知与行为。人与外界的交互分为两大部分：感知与行为。感感知知系系统统：感感知知系系统统划划分分为为：方方向向、听听觉觉、触触觉觉、味味觉觉、嗅嗅觉觉及及视视觉觉等等六六个个子子系系统统。在在感感知知系系统统模模型型中中，分分别别对对这这些些子子系系统统的的行行为为方方式式、接接收收单单元元、器官模拟、器官形成、刺激元及外部信息。器官模拟、器官形成、刺激元及外部信息。行为系统：姿势、方向、走动、饮食、动作、表达及语义七个子系统。行为系统：姿势、方向、走动、饮食、动作、表达及语义七个子系统。2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构15第第 十四十四 章
16、章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构16第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成二、虚拟现实系统组成二、虚拟现实系统组成从从总总体体上上看看，系系统统主主要要由由人人机机接接口口设设备备、人人机机接接口口处处理理、现现实实产产生生器器以以及及相应的管理、模型及分布子系统等构成。相应的管理、模型及分布子系统等构成。2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构17第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成2.
17、 1 虚拟现实系统的体系结构虚拟现实系统的体系结构18第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成虚虚拟拟现现实实发发生生器器，又又称称为为虚虚拟拟现现实实引引擎擎，是是任任何何虚虚拟拟现现实实系系统统的的核核心心，由由它处理和产生虚拟环境。它处理和产生虚拟环境。具有强大的处理能力、满足实时性要求等具有强大的处理能力、满足实时性要求等2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构19第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成大视场双眼体视显示技术大视场双眼体视显示技术跟踪装置跟踪装置触觉反馈触觉反
18、馈声音子系统声音子系统三维人机交互三维人机交互2. 2 人机交互的设备及技术人机交互的设备及技术20第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成几何建模：描述虚拟对象的形状和外表；几何建模：描述虚拟对象的形状和外表；运动建模：主要是对象的位置移动和碰撞检测两个部分；运动建模：主要是对象的位置移动和碰撞检测两个部分；物物理理建建模模：定定义义对对象象的的质质量量、重重量量、惯惯性性、表表面面纹纹理理、硬硬度度、形形状状改改变变模模式等；式等；对对象象行行为为建建模模：对对象象可可以以具具有有自自己己的的行行为为特特征征，并并不不一一定定与与用用户户的的
19、输输入入直直接相关；接相关；模型分割：将虚拟环境分割成较小的单元；模型分割：将虚拟环境分割成较小的单元；三维数据格式：三维建模的基础；三维数据格式：三维建模的基础；2. 3 三维场景建模三维场景建模21第第 十四十四 章章 虚拟现实系统虚拟现实系统2. 虚拟现实系统的组成虚拟现实系统的组成1.VRML2.Cult3D3.全景全景2. 4 虚拟现实软件及开发工具虚拟现实软件及开发工具22第第 十四十四 章章 虚拟现实系统虚拟现实系统3. 全景视频系统全景视频系统全景视频（全景视频（panoramic Video）：假定在一室内空间中进行观察，室内空间分为六）：假定在一室内空间中进行观察，室内空间
20、分为六个表面，如果获取了这六个表面许多不同距离、不同方位的实景照片，并将这些照个表面，如果获取了这六个表面许多不同距离、不同方位的实景照片，并将这些照片按照相互的关系有机地连接起来，就可以在视觉上形成对这个房间的整个空间的片按照相互的关系有机地连接起来，就可以在视觉上形成对这个房间的整个空间的整体认识，即全景。整体认识，即全景。在观察时，可以改变角度、改变视点、改变距离。只要照片足够精细，连接的紧密在观察时，可以改变角度、改变视点、改变距离。只要照片足够精细，连接的紧密正确，就可以获得空间感。正确，就可以获得空间感。3. 1 基本概念基本概念23第第 十四十四 章章 虚拟现实系统虚拟现实系统3
21、. 全景视频系统全景视频系统和其他形式的虚拟现实技术相比，全景视频的主要特点：和其他形式的虚拟现实技术相比，全景视频的主要特点：（1）不局限于计算机生成的图像）不局限于计算机生成的图像（2）不需要真正的视频，实际存储和组织的不是视频帧序列，而是不同层次的全）不需要真正的视频，实际存储和组织的不是视频帧序列，而是不同层次的全景图。景图。（3）全景视频可以将）全景视频可以将360度全景图无扭曲地映射到平面显示器上。度全景图无扭曲地映射到平面显示器上。（4）必须有计算机的协助）必须有计算机的协助3. 1 基本概念基本概念24第第 十四十四 章章 虚拟现实系统虚拟现实系统3. 全景视频系统全景视频系统
22、全景图的生成：全景图是利用多幅图像拼接生成的。全景图的生成：全景图是利用多幅图像拼接生成的。静态图像：多幅图像将重叠的部分裁剪，做拼接，对拼接好的全景图利用静态图像：多幅图像将重叠的部分裁剪，做拼接，对拼接好的全景图利用柱面变形技术进行变形，使平面全景图像产生深度感觉。这样，就得到了柱面变形技术进行变形，使平面全景图像产生深度感觉。这样，就得到了一个视点、一个焦距和一种移动下的全景图。一个视点、一个焦距和一种移动下的全景图。对所需要的其他视点和焦距下的图像按同样的方法处理。对所需要的其他视点和焦距下的图像按同样的方法处理。3. 2 全景视频的实现方法全景视频的实现方法25第第 十四十四 章章
23、虚拟现实系统虚拟现实系统3. 全景视频系统全景视频系统全景图的视点空间和移动全景图的视点空间和移动从观察者的角度来看，假设观察者的位置不变，他可以观察的某一时刻的从观察者的角度来看，假设观察者的位置不变，他可以观察的某一时刻的空间是一个球面。如果焦距空间是一个球面。如果焦距f不变，则球半径为不变，则球半径为f。底部和顶部不常用，可以。底部和顶部不常用，可以简化为简化为“柱面柱面”。移动：分为焦距改变的移动和焦距不变的移动移动：分为焦距改变的移动和焦距不变的移动3. 2 全景视频的实现方法全景视频的实现方法26第第 十四十四 章章 虚拟现实系统虚拟现实系统3. 全景视频系统全景视频系统全景图的信息组织全景图的信息组织1.空间上下文：必须建立局部图像的相邻关系空间上下文：必须建立局部图像的相邻关系2.视点的选取原则和空间组织：视点的选取原则和空间组织：信息完整：分布在不同地点的视点在信息上即要相互独立又要互补；信息完整：分布在不同地点的视点在信息上即要相互独立又要互补；空间间隔分布均匀；空间间隔分布均匀；视点分布合理；视点分布合理；3. 2 全景视频的实现方法全景视频的实现方法27第第 十四十四 章章 虚拟现实系统虚拟现实系统小结小结什么是虚拟现实系统什么是虚拟现实系统虚拟现实系统的基本组成虚拟现实系统的基本组成28
