多媒体技术基础教程

《多媒体技术基础教程》由会员分享，可在线阅读，更多相关《多媒体技术基础教程（69页珍藏版）》请在金锄头文库上搜索。

1、1.2 多媒体技术的应用与发展,1.1 多媒体的基本概念,1.1.2 多媒体技术及其关键特性,1.1.1 多媒体的定义,1.1.3 多媒体中的媒体元素及特征,1.2.2 多媒体技术的发展方向,1.2.1 多媒体技术的应用,第一章 多媒体技术基础,1.3 多媒体的关键技术,1.4 多媒体计算机系统组成,媒体在计算机领域有两种含义 媒质：存储信息的实体，如磁盘、光盘、磁带、半导体存储器等。 媒介：传递信息的载体，如数字、文字、声音、图形和图像等。,1.1 多媒体的基本概念,1.1.1 多媒体的定义,多媒体技术中的媒体是指后者。,多媒体是融合两种或两种以上媒体的一种人机交互式信息交流和传播媒体。,通

2、常概念的“媒体” ，可分为以下 五种类型：,计算机中的各类型媒体,多媒体技术的定义：,1.1.2 多媒体技术及其特性,多媒体技术是利用计算机通过文字、图像、图形、动画、音频、视频等多种信息形式的交互混合，以数字化的方式集成在一起，从而使计算机具有表现、处理、存储多媒体信息的综合能力和交互能力。,基本条件： 以计算机技术为核心； 具有人机交互的特点； 多媒体技术所处理的多种媒体是逻辑关联的复合数据多；,多媒体计算机技术的三个主要特性,多媒体媒体元素是指多媒体应用中 可显示给用户的媒体组成。,音频,动画,视频,文本,图形,图像,特征,1.1.3多媒体中的媒体元素及特征,数字媒体技术的内容,1.1.

3、3 多媒体中的媒体元素及特征,特性,多媒体数据的特性,数据量大 数据长度不定 多数据流 数据流的连续记录和检索,图形,图形（Graphic）一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。在图形文件中只记录生成图的算法和图上的某些特征点，因此也称矢量图。,图形占用的存储空间很小；显示时需经过重新计算，因而显示速度相对慢些；微机上常用的矢量图形文件有： “.3DS”（用于 3D 造型）、“.DXF”（用于 CAD）、“.WMF”（用于桌面出版）等等。,图像,图像（Image）是指由输入设备捕捉的 实

4、际场景画面，或以数字化形式存储的任 意画面。静止的图像是一个矩阵，阵列中的各 项数字用来描述构成图像的各个点（称为 像素点 pixel ）的强度与颜色等信息。这种 图像也称为位图（ bit-mapped picture ）。,音频,数字音频（Audio）可分为波形声音、语音和音乐。,波形声音实际上已经包含了所有的声音形式，它可以将任何声音都进行采样量化，相应的文件格式是WAV 文件或VOC文件。语音也是一种波形，所以和波形声音的文件格式相同。音乐是符号化了的声音，乐谱可转变为符号媒体形式。对应的文件格式是MID 或CMF 文件。,音频采集；语音编码；音乐合成；,文语转换；语音识别；,应用领域,

5、动画是活动的画面，实质是一幅幅 静态图像的连续播放。动画的连续播放 既指时间上的连续，也指图像内容上的 连续。 计算机设计动画有两种： 一种是帧动画，一种是造型动画。,动画,广告业和影视业；如用于电影特技，获得空前成功；网页制作、游戏、贺卡、音乐MTV、教育课件等,应用领域,帧动画是由一幅幅位图组成的连续的画面，就如电影胶片或视频画面一样要分别设计每屏幕显示的画面。造型动画是对每一个运动的物体分别进行设计，赋予每个动元一些特征，然后用这些动元构成完整的帧画面。动元的表演和行为是由制作表组成的脚本来控制。,视频,视频是由一幅幅单独的画面序列（帧frame）组成 ，这些画面以一定的速率（fps）连

6、续地投射在屏幕上，使观察者具有图像连续运动的感觉。视频文件的存储格式有AVI、MPG、DAT、MOV等。,广播电视（CATV、ITV、HDTV、DVB等）； 通信（可视电话、视频会议、VOD、视频数据库） 个人娱乐（录象摄像、VCD、DVD、电视购物、视频游戏等）；,应用领域,视频标准主要有NTSC制和PAL制 两种。NTSC 标准为30fps，每帧525行。PAL 标准为25fps，每帧625行。视频的技术参数有：帧速：帧/秒数据量：字节图像质量：原始图像质量与压缩比,就目前而言，多媒体技术已在商业、 教育培训、娱乐、信息咨询、电子商务、电子出版、演示等方面得到了充分应用。,在教育与培训方面

7、的应用,在通信方面的应用,在其他方面的应用,1.2 多媒体技术的应用与发展,多媒体与因特网,1.2.1 多媒体技术的应用,多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布、协同多媒体环境发展，在世界范围内建立一个可全球自由交互的通信网。,1.2.2 多媒体技术的发展方向,目前，多媒体主要在以下几个方向发展：,网络视频点播VOD交互式网络电视IPTV视频会议,利用图像理解、语音识别、全文检 索等技术，研究多媒体基于内容的处理、 开发能进行基于内容的处理系统是多媒 体信息管理的重要方向。,基于图像简单描述的检索:比如，颜色特征提取“Retrieve images which contain

8、 25% red, 50% blue,25% yellow”特征组合检索:比如，颜色、纹理、形状、运动、对象、音调、平面空间对应关系、外形，或者其他统计特征等 “retrieve video with high motion toward right (75%) and low pitch music (25%)”,多媒体标准仍是研究的重点：各类 标准的研究将有利于产品规范化，应用 更方便。它是实现多媒体信息交换和大 规模产业化的关键所在。,多媒体技术与相邻技术相结合，提 供了完善的人机交互环境。多媒体仿真 智能多媒体等新技术层出不穷，扩大了 原有技术领域的内涵，并创造新的概念。,多媒体技术与

9、外围技术构造的虚拟 现实研究仍在继续进展。多媒体虚拟现 实与可视化技术需要相互补充，并与语 音、图像识别、智能接口等技术相结合， 建立高层次虚拟现实系统。,将来多媒体技术将向着以下六个方向发展； 1).高分辨化，提高显示质量； 2).高速度化，缩短处理时间； 3).简单化，便于操作； 4).高维化，三维、四维或更高维； 5).智能化，提高信息识别能力； 6).标准化，便于信息交换和资源共享。,多媒体技术发展趋势,数据爆炸的多媒体时代Internet的迅速壮大数据规模激增多媒体数据比重增大个人电脑的多媒体数据现有的多媒体数据组织松散 信息表达越来越依靠多媒体数据直观、准确、丰富、全面多媒体数据获

10、取越来越方便,1.3.8 多媒体数据库技术,1.3.9 智能多媒体技术,1.3.10多媒体检索技术,.3 多媒体的关键技术,1.3.1 视频音频数据压缩/解压缩技术,研制MPC需要解决的关键问题之一是要使计算机能适时地综合处理声、文图信息。选用合适的数据压缩技术，有可能将字符数据量压缩到原来的1/2左右，语音数据量压缩到原来的1/2-1/10，图像数据量压缩到原来的1/2-1/60。,一页印在B5（约180mm255mm）纸上的文件，若以中等分辨率（300dpi）的扫描仪进行采样，其数据量约6. 1Mb。一片650MB的CD-ROM，可存848页。 1 inch = 25.4mm 图像像素点个

11、数= 300 ( 180 25.4 ) 300 (255 25.4 ) 每个像素点量化位为1 bit 黑白图像文件大小= 6403063 11024 1024=6.1Mb 真彩色图像文件大小 = 6403063 241024 1024=147Mb,多媒体数据的信息量举例1,双通道立体声激光唱盘（CD-A），采样频率为44.1KHz，采样精度（量化） 16位样本。其一秒钟时间内的采样位数为1.35Mb/s ，一个650MB的CD-ROM，可存约1小时的音乐。 文件每秒存储量（ 字节/秒） 采样频率(Hz)采样精度(位)声道数/844.1103162 8=176400B/s=1.35Mb/s 一个

12、650MB的CD-ROM，可存音乐： 650 8 1.35 60 60 = 1.07H,多媒体数据的信息量举例2,数字化后的信息，尤其是数字化后的视频和音频信号具有数据的海量性。它给信息的存储和传输造成较大的困难，成为阻碍人类有效地获取和使用信息的瓶颈问题之一。 因此研究和开发新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是最好的选择。,多媒体数据压缩的必要性,信息量与数据量的关系： I=D-du I信息量 D数据量 du冗余量 数据冗余是指信息所具有的各种性质中多余的无用空间，其多余的程度叫做“冗余度”。,举例：语音数据 中文广播员一分钟读180个汉字,一个汉字存储两个字

13、节，共需360个字节。 采样频率为8kHz（人类语言带宽为4kHz）。采样1分钟，其数据量为： 8K/s60s = 480 K B/分 一分钟的数据冗余为 480KB/360B=1000（倍）的冗余,多媒体数据压缩的可能性,空间冗余：规则物体的表面具有物理相关性，将其表面数字化后表现为数据冗余。 例如，图像中的规则物体，其亮度、饱和度及颜色相同的区域,图像数据的冗余性,时间冗余：视频信号和动画一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的

14、同一场景画面。,结构冗余：有些图像的纹理区，图像的像素值存在着明显的分布模式。例如，方格状的地板图案等。我们称此为结构冗余。已知分布模式，可以通过某一过程生成图像。,规则有序排列的图形,知识冗余：有些图像的理解与某些基础知识有相当大的相关性。例如：人脸的图像有固定的结构。比如说嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正脸图像的中线上，等等。 这类规律性的结构可由先验知识和背景知识得到，我们称此类冗余为知识冗余。根据已有的知识，对某些图像中所包含的物体，我们可以构造其基本模型，并创建对应各种特征的图像库，进而图像的存储只需要保存一些特征参数，从而可以大大减少数据量。知识冗余是模型编码主要利用的

15、特性。,视觉冗余：人类视觉系统对于图像场的任何变化，并不是都能感知的。人类视觉系统对亮度变化敏感，而对色度的变化相对不敏感；在高亮度区，人眼对亮度变化敏感度下降对物体边缘敏感，内部区域相对不敏感；对整体结构敏感，而对内部细节相对不敏感。,根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。 人的听觉感知机理,掩蔽效应：强盖弱 低频较高频敏感，同样声强时，实际感觉随频率而变 对相位变化不敏感,音频数据的冗余性,总之，多数情况可以预测，可以计算，可以适应，有规可循,1.3.2 多媒体专用芯片

16、技术,专用芯片是多媒体计算机硬件体系 结构的关键。为了实现音频、视频信号 的快速压缩、解压缩和播放处理，需要 大量的快速计算，只有采用专用芯片， 才能取得满意的效果。多媒体计算机专用芯片可归纳为两 种类型：一种是固定功能的芯片；另一 种是可编程的数字信号处理器（DSP） 芯片。,1.3.3 大容量信息存储技术,利用数据压缩技术，在一张CD-ROM 光盘上能够存取70多分钟全运动的视频 图像或者十几个小时的语言信息或数千 幅静止图像。硬磁盘目前存储已达上百个GB，磁盘阵列则可达到上千个GB或更多,1.3.4 多媒体输入与输出技术,多媒体软件技术主要包括以下六个方面的内容：,多媒体操作系统,多媒体素材采集与制作技术,多媒体编辑与创作工具,多媒体数据库技术,