多媒体计算机技术-1

《多媒体计算机技术-1》由会员分享，可在线阅读，更多相关《多媒体计算机技术-1（55页珍藏版）》请在金锄头文库上搜索。

1、多媒体计算机技术,鲁宏伟 ,第一章 多媒体技术概述,多媒体技术基本概念 媒体的定义和分类 多媒体的定义和特征 多媒体信息处理的总目标 多媒体计算机技术及其发展历史 多媒体技术的主要内容 多媒体的软硬件平台 专用芯片 多核处理器 数据压缩及编码技术 多媒体同步 多媒体技术的应用 多媒体技术促进了计算机、通讯和大众媒体的融合,思考题,多媒体网络与分布式处理技术 信息的组织与管理 多媒体数据存储 虚拟现实技术 人机界面技术 高速多媒体通信技术,媒体的定义和分类,什么是媒体？媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数

2、字、文字、声音、图形图像和视频等。 CCITT曾给媒体做了如下的分类：感觉媒体（Perception Medium）表示媒体（Representation Medium）显示媒体（Presentation Medium）存储媒体（Storage Medium）传输媒体（Transmission Medium）,媒体食物(价值)链,多媒体作品(文档),媒体 集成,网络,媒体通信,媒体消费,文本,图像,音频,视频,内容(content),媒体显示,媒体消费,媒体显示,数字项 (digital item),返回,几种媒体的关系,感觉媒体,感觉媒体是指能直接作用于人的感官，使人能直接产生感觉的一类媒体

3、。感觉媒体有人类的各种语言、音乐，自然界的各种声音、图形、静止和运动的图像等。,感觉媒体,类 型 名 称 分类,表示媒体,表示媒体是为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种媒体。其目的是能将感觉媒体从一个地方向另一个地方传送，以便于加工和处理。表示媒体有各种编码方式如语音编码、文本编码、静止和运动图像编码等。,表示媒体举例,时间属性/空间属性/生成属性,图象（image）,图形（graphics）,文本（text）,视频（video）,动画（animation）,合成语音,MIDI音乐(MIDI),MP3音乐,波形声音(wave),表示媒体的时间属性,time-independ

4、ent ( discrete ) media（离散媒体，值不会随着时间而变化） text , graphics , static image, . time-dependent ( continuous ) media （连续媒体，值随着时间而变化） speech , music , video , animation, .,表示媒体的空间属性,1D媒体 单声道speech , music , 2D媒体 双声道music ; text , image , 2D graphics , 3D及多维媒体 3D graphics , 全景图像 , 空间立体声music ,表示媒体的生成属性,自然媒体(

5、使用数字化方法从现实世界获取的媒体) 取样声音 , image , video 合成媒体(使用计算机创建的媒体) 合成语音, MIDI , graphics , animation,自然媒体与合成媒体的区别,自然媒体 合成媒体 来源 获取 创建 表示方法 取样表示 符号表示 表现能力 真实感强 真实感有限 可编辑性 有限 全部 存储 数据量很大 数据量很小 检索 困难 容易 传输 要求高 要求低 展现 处理容易 处理复杂,返回,显示媒体,显示媒体是指感觉媒体与用于通信的电信号之间转换用的一类媒体。它包括输入显示媒体（如键盘、摄像机、话筒等）和输出显示媒体（如显示器、喇叭和打印机等）。,返回,存

6、储媒体,存储媒体是用来存放表示媒体，以方便计算机处理加工和调用，这类媒体主要是指与计算机相关的外部存储设备。,返回,传输媒体,传输媒体是用来将媒体从一个地方传送到另一个地方的物理载体。传输媒体是通信的信息载体，如双绞线、同轴电缆、光纤等。,返回,多媒体的定义,“多媒体”译自20世纪80年代初产生的英文词“multimedia”，最早出现于美国麻省理工学院(MIT)递交给国防部的一个项目计划报告中。 多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。 多媒体技术是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之

7、间建立逻辑连接，集成为一个完整的系统。,多媒体的特征,多媒体从本质上来说具有三个最重要的特征: - 多维化 - 集成性 - 交互性 除了以上三个特征，实际上多媒体还具有很多其它的特征，例如实时性，它主要指类似声音和视频这样的媒体，它们具有很强的时间相关性。,返回,多维化,多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自由的余地。 多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。,返回,集成性,这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成。 早期的各项技术都可以单一使用和应用，但很难有大的作为，因为它们是单

8、一的、零散的，如声音、图像和交互式技术等。 信息空间的不完整（例如，仅有静态图像而无动态视频、仅有声音而无图形等）都限制了信息空间中的信息组织，也就限制了信息的有效使用。,返回,交互性,这是人们获取和使信息变被动为主动的最为重要的特征。 多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段，同时也为应用开辟了更广阔的领域，交互可以增加对信息的注意和理解，延长保留的时间。,返回,多媒体信息处理的总目标,使能跨越各种不同网络和设备, 透明地、强化地使用多媒体资源。,返回,多媒体信息处理空间,离散媒体： text, image, 连续媒体： audio, video, .,返回,多媒体计

9、算机技术 及其发展历史,1984年Apple公司在苹果机Macintosh(也称为Mac)上引入了位图(Bitmap)概念进行图形处理，并使用了窗口(Windows)和图标(Icon)作为用户界面，标志了多媒体及多媒体技术的产生和应用。 1986年，Philips公司和Sony公司联合推出了交互式紧凑光盘系统CD-I（Compact Disc Interactive），能够将声音、文字、图形图像等多媒体信息数字化并存储到光盘片上,多媒体计算机技术 及其发展历史,1987年，RCA公司推出了交互式数字视频系统DVI(Digital Video Interactive)，以计算机为基础，使用标准光

10、盘来存储、检索多媒体数据； 1989年IBM公司推出AVC系统(Audio Visual Connection)，提供了多媒体编辑功能; 1990年Philips等十多家厂商成立了多媒体市场协会，并制定了MPC(多媒体计算机)的市场标准MPC1,多媒体计算机技术 及其发展历史,1993年5月MPC联盟又制定了第二代多媒体计算机标准MPC2，主要是提高了基本部件的性能指标 1995年6月制定了MPC第三代的标准。增加了全屏幕、全动态(30帧/秒)视频及增强版CD音质的视频和音频硬件标准,返回,返回,多媒体的软硬件平台,软件及硬件平台是实现多媒体系统的物质基础，其中每一项重要的技术突破都直接影响到

11、多媒体的发展与应用的进程。,返回,专用芯片,数字化后的音频和视频数据量非常大，因此必须进行压缩并需要大容量的存储器；音频和视频的输入和输出是实时的，需要高速度。要实现以上最基本的要求，在很多情况下，需要专用硬件支持。 多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；一种是可编程的处理器 片上系统(System on a chip,SOC)适应了人们对于提高性能、缩小尺寸、降低能耗、快速上市和降低成本等诸多方面的需求,专用芯片,NEC公司称其已开发出了一种用于图像识别的单芯片并行处理器。这种处理器每秒能处理50.2G(1G10亿)条指令。这一速度是3GHz的PC处理器的4倍，能耗却只

12、有1/10 这个由3270万个晶体管构成的芯片由一个128个8位RISC处理单元和一个用于控制功能的16位处理器并行构成。每个处理单元只有100MHz的工作频率，从而大幅降低了能耗，其每个处理单元都拥有2KB的存储空间，用于存储图像数据 这个处理器的功耗相当于PDA的处理器、图形处理性能相当于4台PC，而尺寸却只有1111毫米,返回,多核处理器,目前最快的PC处理器上晶体管的数目已经达到了5500万个，保守一点估计，到2007年一个处理器将集成10亿只晶体管（频率大约是6GHz）。 巨大的晶体管数量意味着巨大的能耗，随之而来的散热问题也日益凸显。 毫无疑问，工艺的提升有助于部分地解决散热问题，

13、但生产工艺提升本身就是一个耗资巨大（一条0.18微米的生产线造价大约是20亿美元）的工程,多核处理器,从理论上讲，由于将两个或多个运算核封装在一个芯片内部，首先节省了大量的晶体管和封装成本（CPU的核很小，将多个核封装在一起给外形尺寸带来的变化并不显著），同时还能显著提高处理器的性能。 多核处理器对外的“界面”还是统一的（有的多核产品甚至不会改变针脚数），所以整个计算机系统需要为此做出的改变就很有限，这意味着用户不会在主板、硬件体系方面做大的改变，从兼容性和系统升级成本方面来考虑有诸多的优势,多核处理器,双核或多核处理器早已有之，SOC、多媒体、网络等一些嵌入式处理器中都采用了多核技术 IBM

14、 Power 4处理器一样，将两颗完全一样的处理器封装在一个芯片内，达到双倍或接近双倍的处理性能，由于共享了缓存和系统总线，因此这种做法的优点是能节省运算资源。而Sun公司明年即将发布的双核处理器Ultra SPARC IV则将两颗处理器集成在一个硅片上，这样封装面积更小，相对功耗也更低,多核处理器,采用0.13微米工艺的Madison芯片面积将降低到200300mm2之间；到2004年采用0.09微米工艺的第五代安腾处理器Montecito的产品面积可能会进一步降低到150mm2；直到2005年65纳米工艺诞生，IA64处理器的大小可能会降低到100mm2以下，届时，这些技术进展会为Inte

15、l多核处理器的诞生打下坚实的基础,返回,数据压缩及编码技术,多媒体系统要求具有综合处理声、图、文的能力，面临的主要问题是巨大的数据量，尤其是对动态图形和视频图像 多媒体信源引起了“数据爆炸” 如果不进行数据压缩传输和存储都难以实用化,1分钟数字音频信号需要的存储空间,分钟数字视频信号需要的存储空间,1,时间域压缩迅速传输媒体信源 频率域压缩并行开通更多业务 空间域压缩降低存储费用 能量域压缩降低发射功率,数据压缩的好处,返回,多媒体同步,多媒体信息本身的特点使得各种信息之间在时间上具有一定的相关性，最明显的例子是声音和图像，二者都是时间的函数 在对多媒体数据进行综合处理时，不仅要考虑到各种媒体

16、的相对独立性，为了达到较好的信息表示效果，还要注意保持媒体之间在时间和空间上的相关性,返回,多媒体网络 与分布式处理技术,多媒体单机系统的研究目前已相对成熟，但对多媒体计算机网络的研究目前还不够成熟 数字化的网络集多媒体信息的获取、存储、处理、编辑、综合、传输于一体，并运行于网络上，网络的任意节点都可以共享网上的多媒体信息 多媒体技术要充分发展其对多媒体信息的处理能力，必须与网络技术相结合 运行于网络环境下多媒体系统，因为它能够不受时空限制地使多个用户透明地共享网上的数据，特别是多个用户同时共同对一个数据文件进行编辑，这使得多媒体技术有了更广泛的应用,返回,信息的组织与管理,信息及数据管理是信息系统的核心问题之一 多媒体的数据量巨大，种类繁多，每种媒体之间的差异又是那样明显，但这些信息又存在种种关联性，这些都给数据与信息的管理带来了新的问题 有一种新型的信息管理方法，即超媒体(Hypermedia)，有人称之为天然的多媒体信息管理方法,