《大洋论文模版-电新》由会员分享，可在线阅读，更多相关《大洋论文模版-电新（9页珍藏版）》请在金锄头文库上搜索。
1、浅析浅析 3D3D 虚拟声音的实现虚拟声音的实现电新 101 班 XXX摘要：摘要：先简要介绍虚拟现实的基本特征，然后从声音的角度阐述声音生成的相关理论，以及具有真实感的声音对虚拟现实沉浸感的营造作用，最后简单介绍使用 DirectSound 模拟真实感声音的方法。关键词：关键词：虚拟现实 3D 虚拟声音 DirectSound一、一、虚拟现实的相关概念和特点虚拟现实的相关概念和特点1、虚拟现实的概念、虚拟现实的概念虚拟现实(又译作灵境、幻真)是近年来出现的高新技术，也称灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如
2、同身临其境一般，可以实时、没有限制地观察三度空间内的事物。它是一项综合集成技术，涉及计算机图形学、人机交互技术、传感技术、人工智能等领域，它用计算机生成逼真的三维视、听、嗅觉等感觉，使人作为参与者通过适当装置，自然地对虚拟世界进行体验和交互作用。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的 3D 世界影像传回产生临场感。该技术集成了计算机图形(CG)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。概括地说，虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式，与传统的人机界面以及流行
3、的视窗操作相比，虚拟现实在技术思想上有了质的飞跃。2、虚拟现实的特征、虚拟现实的特征2.1 多感知性所谓多感知是指虚拟现实系统除了具备一般计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知，甚至包括味觉感知、嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制，目前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉、运动等几种。2.2 沉浸感沉浸感又称临场感，指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假，使用户全身心地投入到计算机创建的三维虚拟环境中，该环境中的一切看上去是真的，听上
4、去是真的，动起来是真的，甚至闻起来、尝起来等一切感觉都是真的，如同在现实世界中的感觉一样。2.3 交互性交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性） 。例如，用户可以用手去直接抓取模拟环境中虚拟的物体，被抓的物体要随着手的移动而实时的改变位置，当把虚拟物体握在手中的时候手有握着东西的感觉，而且可以感受到物体的重量。2.4 想象性强调虚拟现实技术应具有广阔的可想象空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境，以满足人们的好奇心理和想象空间。由于浸没感、交互性和构想性三个特性的英文单词的第一个字母均为 I
5、，所以这三个特性又通常被统称为 3I 特性。一般来说，一个完整的虚拟现实系统由虚拟环境、以高性能计算机为核心的虚拟环境处理器、以头盔显示器为核心的视觉系统、以语音识别、声音合成与声音定位为核心的听觉系统、以方位跟踪器、数据手套和数据衣为主体的身体方位姿态跟踪设备，以及味觉、嗅觉、触觉与力觉反馈系统等功能单元构成。 二、二、声音对虚拟现实沉浸感的作用声音对虚拟现实沉浸感的作用在现实世界中，人类的信息来源有 70%是通过视觉感知获取的，有接近 30%的信息是通过听觉感知获取的，视听是人们了解世界认识世界的主要渠道，他们相互补充，构成了人类认知的主要方式。虚拟现实系统作为对现实世界的仿制和延伸，要达
6、到 3I 特性的要求，就必须要重视声音在虚拟现实中的应用。在虚拟现实系统中，听觉信息作为仅次于视觉信息的第二传感通道，给人的听觉系统提供声音显示，是创建虚拟世界的一个重要的不可或缺的组成部分。在虚拟现实系统中加入与视觉并行的 3D虚拟声音，一方面可以在很大程度上增强用户在虚拟世界中的沉浸感和交互性，另一方面也可以减弱大脑对于视觉的依赖性，降低沉浸感对视觉信息的要求，使用户能从既有视觉感受又有听觉感受的环境中获得更多的信息。1、人类听觉系统结构和听觉特征人类听觉系统结构和听觉特征1.1 人类听觉系统结构人类听觉系统结构人耳的构造是非常复杂的，它是由外耳、中耳和内耳 3 部分组成。一般认为外耳在对
7、声音感知中的作用：一是对声源的定位，二是对声音的放大。声源的定位是虚拟声音系统设计的主要研究内容。中耳的作用是进行声阻抗的变换和保护内耳。内耳是听觉的收纳器，把声音信号通过机械变换产生神经发放信号。1.2 人类听觉特性人类听觉特性3D 虚拟声音系统中 3D 声音质量优劣的最终决断应该是人的听觉，因此，应当了解人的听觉系统对于声音刺激的响应以及主观感觉及其评价方法。下面简单介绍主要的听觉特性：声音信号的强弱感应与信号的频谱状况有关。人对声音频率的感觉表现为音调的高低，在音乐中称为高音。人对同样强度但不同频率的声音主观感觉的强弱不同。人类听觉存在非线性，即声音信号在人的听觉系统中会被非线性调制。人
8、类听觉的方向感应，使人耳能分辨声波到达两耳的相对时间差、压力差，判别声源空间方位。2、3D 虚拟声音的基本理论虚拟声音的基本理论2.1 3D 虚拟声音的概念虚拟声音的概念相对于计算机图形的生成与显示，声学家提出了听觉显示(Auditory Display)技术的概念，也称为声音的生成和显示技术。它的目标是为虚拟环境中的人提供等同在真实环境中的听觉感知效果。它以非语音声学 (Non-speech)、室内声学(Room Acoustics)、心理声学(Psycho-acoustics)和人的生理感知(Psychophysical Perception)的研究成果为理论依据，借助于数字信号处理、多媒
9、体、数字音响等技术，生成可反馈虚拟环境信息的听觉暗示(Auditory cue)，使人听起来能够等同在实际环境中感知的听觉信息。相比于视觉而言，对听觉感知的研究相对较少。而真实的合成空间声音将大大的增强环境的沉浸感听觉信息一方面为实时生成的视景伴音，产生视觉和听觉的叠加效应，达到声象融合。另一方面独立提供重要信息，由于人对环境中声音信息的接受不像接收视觉信息那样容易受到角度和方位的限制，从而使人可监控识别来自任何方位的信息，从而引导视力进行更细微的分析判断，这在虚拟环境中更有其特殊意义。虚拟现实系统中的 3D 虚拟声音与人们熟悉的立体声音完全不同。我们日常听到的立体声录音虽然有左右声道之分，但
10、就整体效果而言，我们能感觉到立体声音来自听者面前的某个平面;而虚拟现实系统中的 3D 虚拟声音。却使听者能感觉到声音是来自围绕听者双耳的一个球形中的任何地方，即声音可能出现在头的上方、后方或者前方。因而把在虚拟场景中能使用户准确地判断出声源的精确位里、符合人们在真实境界中听觉方式的声音系统称为 3D 虚拟声音。2. 2 3D 虚拟声音的特征虚拟声音的特征在 3D 虚拟声音系统中，最核心的技术是 3D 虚拟声音定位技术，它的特征主要有：2.2.1 全向全向 3D 定位特性定位特性全向 3D 定位特性是指在 3D 虚拟空间中把实际声音信号定位到特定虚拟专用源的能力。它能使用户准确地判断出声源的精确
11、位置，从而符合人们在真实境界中的听觉方式。2. 2.2 3D 实时跟踪特性实时跟踪特性3D 实时跟踪特性是指在 3D 虚拟空间中实时跟踪虚拟声源位置变化或景象变化的能力。当用户头部转动时，这个虚拟的生源的位置也应随之变化，使用户感到真实声源的位置并未发生变化。2.2.3 沉浸感和交互性沉浸感和交互性3D 虚拟声音的沉浸感就是指加入 3D 虚拟声音后，能使用户产生身临其境的感觉，有助于增强临场效果。而 3D 声音的交互特性则是指随用户的运动而产生的临场反应和实时响应的能力。3、 3D 虚拟声音的重建模虚拟声音的重建模虚拟场景中 3D 虚拟声音的重建模需要确定以下问题：一是确定声源；二是确定声音对
12、象的属性参数(如位置、音量、距离、速度、方向等)和播放过程(如实时响应等)。对 3D 虚拟声音的重建模，就是用计算机生成能够非常逼近真实世界中的声音。从频域上讲，二者的频谱分量要相当接近。任何真实世界中的声音都可看作许多幅值、相位唯一的正弦波分量的混合。因此，对声音的建模首先可以理解为对声音的频谱分析。对声音信号的分析一般采用离散傅立叶变换DFT 等工具。不同的声音信号有不同的频谱特性，对声音信号的分类有利于采取不同的处理方法以达到最优的效果。其次，不同仿真实体的声音特性有不同的时间曲线，必须据此建立仿真实体在时域上的数学模型，使仿真出的声音真正复现实体在时域上的动态特性。3.1 声源的确定声
13、源的确定声源的确定即声音数据的存储及与空间实体的对应关系的确定。声音数据一般是以文件或资源的方式存储的。原则上不同的声音对象分别对应不同的空间实体，但它有以下 3 个特点：3.1.1 减小数据量减小数据量WINDOWS 下音效文件的使用一般采用 WAY 文件格式。由于声音数据是存储在内存中的，混音时要进行大量的处理，因此耍尽量保持数据量小，通常音效只是一小段，不会超过数秒或数十秒。3.1.2 单元化单元化考虑到声音的重复性、连续性，可以构造一种声音片段或单元(sound-cell)，重复播放。3.1.3 声音数据共享声音数据共享并不是每个空间有声实体都有自己的一份声音数据。相同类型的空间实体可
14、以共享一份声音数据，这样可以将声音数据统一存储、管理，通过指针的分配与空间实体对应。 3.2 真实感声音的属性变量真实感声音的属性变量真实感声音的属性变量包括位置、方向、距离、音量、速度及起止时间。3.2.1 位置位置由于真实感声音的生成是虚拟环境中的声音仿真，可以采用绝对位置和相对位置，但必须保持两者坐标系和单位的统一。实体声音中点状声源的 3 维坐标就是产生该声音的空间实体的位里，面状声源的 3 维坐标取其几何中心或边缘;而聆听者的位置就是视点所在位置。3.2.2 方向方向声源可能会向某一特定的方向发射声音，形成一个音锥，其中轴线即为声源的方向。如音锥为球形，则各方向发射声强相同。聆听者方
15、向的均用矢量描述。与位里属性相结合，已经能构成 3 维声场，使人感到如侧后方来的声音听起来确实是来自侧后方。随着生理声学的不断发展，发现声音方位的影响在频谱上表现很突出，这种频谱上的区别是人耳定位的主要依据。于是提出了头部相关传递函数(HRTF, Head-Related Transfer Functions )的概念。HRTF是指由于外耳的滤波、耳鼓的振动和头部阴影的影响而造成人的左右耳鼓中对来自不同方位的声音信号有不同的频谱响应，它是基于声音位置和考虑许多声音定位因素的线性函数。当传播媒质是自由声场时，声音信号经过人体的耳廓滤波，在人的左右耳鼓处形成响应信号，声音的传播过程就成为了人耳对声
16、源的滤波。如图 1 所示： 图 1、声音传播示意图了解了头部相关传递函数的数学意义，就可以利用不同位置的头部相关传递函数对声源信号滤波来生成虚拟的空间三维声音。由于不同的人有不同的 HRTF，即使是同一个人周围不同的角位置也对应着不同的传递函数，因此 HRTF 滤波器的测量、建模是一个复杂的过程。3.2.3 距离距离在声音的距离仿真中，关于信号的增益与人感知到的人和声音信号的绝对距离之间尚未有明确的定量关系。因此我们通常研究相对距离的仿真。我们知道不同的声源有不同的绝对音量级别(Absolute Volume Level)。比如飞机在 50 公里处就已经很响了，蜜蜂的声音在 10 米处已听不出。而采集声源时并没有考虑各种声源之间的这种差异，为了补偿不同声源在这方面的差别，需要为各种声源设定其最小距离 dmin和最大距离 dmax最小距离对应了每个声源的最大音量级。最大距离描述聆听者的最大生理听觉范围，当声音对象距离聆听者超过这个距离时，该对象可以停止播放。最小距离描述聆听者无法察觉声音变化的最小生理听觉范围，当声音对象距离聆听者小于这个距离时，可以不
