多媒体技术期末复习提要2

多媒体技术期末复习提要第一章多媒体技术概论复习内容：1、多媒体、多媒体技术、多媒体系统媒体在计算机领域通常有两种含义：一是指存储信息的实体，如磁盘、光盘、磁带、半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图形和图像等。可见多媒体技术中的媒体是指后者O国 际 电 话 电 报 咨 询 委 员 会C C I T T(C o n su l t at iv e C o mmit t ee o nI n t er n at io n al T el epho n e an dT el egr aph,国际电信联盟I T U的一个分会)把媒体分成5类：(1)感觉媒体(P er cept io n M ediu m)：指直接作用于人的感觉器官，使人产生直接感觉的媒体。如引起听觉反应的声音，引起视觉反应的图像等。(2)表 示 媒 体(r epr esen t at io nM ediu m)：指传输感觉媒体的中介媒体，即用于数据交换的编码。如图像编码(JP E G、M P E G 等)、文本编码(A S C I I 码、G B 2 3 1 2等)和声音编码等。(3)表 现 媒 体(P r esen t at io nM ediu m)：指进行信息输入和输出的媒体。如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、打印机、喇叭等为输出媒体。(4)存 储 媒 体(S t o r age M ediu m)：指用于存储表示媒体的物理介质。如硬盘、软盘、磁盘、光盘、R O M及R A M等。(5)传 输 媒 体(T r an smissio nM ediu m)：指传输表示媒体的物理介质。如电缆、光缆等。文本、声音、图形、图像和动画等是信息的载体，其中两个或多于两个的组合构成了多媒体。多媒体的英文单词是M u l t imedia,它由 media 和 mu l t i 两部分组成。一般理解为多种媒体的综合。I T U对多媒体含义的描述是：使用计算机交互式综合技术和数字通信网技术处理多种表示媒体-文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个交互系统。多媒体系统是指利用计算机技术和数字通讯网技术来处理和控制多媒体信息的系统，如：C A I课件、视频/音频演示系统等。2、促进多媒体技术发展的关键技术（1）多媒体存储与管理技术（2）多媒体的标准化技术（3）多媒体数据库（4）数据压缩与编码（5）多媒体通信（6）多媒体系统集成技术3、多媒体技术的特性主要有：集成性、实时性、交互性、高质量4、多媒体系统的组成多媒体系统的基本构成主要有：计算机硬件、多媒体计算机所配置的硬件(如压缩、解压缩专用芯片)、多媒体I/O控制及接口、多媒体的核心系统、多媒体创作系统和多媒体应用系统。5、多媒体的技术研究与应用开发多媒体涉及的技术范围很广，技术很新、研究内容很深，是多种学科和多种技术交叉的领域。目前，多媒体技术的研究和应用开发主要在下列几个方面：(1)多媒体数据的表示技术(2)多媒体创作和编辑工具(3)多媒体数据的存储技术(4)多媒体的应用开发第二章音频信号及其处理1、声音信号的物理特征声音信号主要的物理特征有：频率、振幅、响度、音调、音色、和谐、不和谐等。频率：信号的频率是指信号每秒种变化的次数，波形中两个连续波峰(或波谷)之间的距离称为周期T,一秒钟内所出现的周期数目即为频率，频率的单位为赫兹(H z)。频率能反映出声音的声调,我们所听到的声音如果细尖表示频率高，声音粗低表示频率低。声音按照频率分为三种类型：次声、可听声、超声。低于2 0 H z的声音为次声，或称为亚音信号(s u b s o n i c)；可听声的声音频率范围为2 0 2 0 0 0 0 H z；高于2 0 0 0 0 H z的声音为超声，或称超声波(u l t r a s o n i c)信号。多媒体计算机中处理的声音主要指可听声。一般情况下人说话的话音信号的频率 范 围 在3 0 0 3 0 0 0 H z ,称 为话音(s pe e c h)信号，在这种频率范围里感知的声音幅度大约在。1 2 0 dB之间。振幅：声音信号的另一个基本参数是振幅，它表示声音信号的强弱。声音信号的强度相差很大，从可以听见的最弱声到最强声，其强度相差1万亿倍。声音的强弱采用分贝作为量纲，区别两个强度I和I。的分贝数(dB)是：声音分贝数二1 0 1 o g(I/I o )在心理上，声音有两个最重要的量纲,即响度和音调，其他还有音色、和谐、不和谐等。由声音的物理特性得知，声音的振幅增加，声音的响度也增加；频率增高，音调则增高。幅度与响度之间的关系是非线性的，幅度加倍不等于响度加倍；频率与响度、音调之间也有关系，频率的变化既影响响度也影响音调；它们的关系起决于它们出现的情景，即使是最简单的物理量纲也要受神经系统的综合分析。例如，一个乐队创造出丰富多彩的听觉感受，一个精彩的报告给人们留下深刻的印象，而一些机器轰鸣声和飞机的噪音使人烦躁不安。这些平时听到的声音感觉好坏不时响度和音调参数所能表达的，而是声音心理学研究的问题。声音的响度起决于幅度和频率两个因素，如果频率不变，幅度高比幅度低的声音信号要响些，如果幅度不变，甚高频和甚低频的声音似乎比中频声音要柔弱的多。音频的定义以及分类，声音的三要素：音频的频率范围在20Hz到 20kHz之间。音频这种听觉媒体主要分为波形声音、语音和音乐。声音的三要素指音调、音强和音色。2、模拟信号和数字信号我们把在时间和幅度上都是连续的信号称为模拟信号。在某些特定的时刻对这种模拟信号进行测量叫做采样（sampling）,由这些特定时刻采样得到的信号称为离散时间信号。采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。如果把信号幅度取值的数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号。我们把时间和幅度都用离散的数字表示的信号就称为数字信号。音频信号的数字化处理过程：(1)选择采样频率，进行采样；(2)选择分辨率,进行量化；(3)形成声音文件。数字化实际上就是采样和量化。如前所述，连续时间的离散化通过采样来实现，就是每隔相等的一小段时间采样一次，这种采样称为均匀采样(u n i f o r ms a m p l i n g)；连续幅度的离散化通过量化(q u a n t i z a t i o n)来实现，就是把信号的强度划分成一小段一小段，如果幅度的划分是等间隔的，就称为线性量化，否则就称为非线性量化。3、采样定理采样频率的高低是根据奈奎斯特理论(N y q u i s t t h e o r y)和声音信号本身的最高频率决定的。奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成 原 来 的 声 音，这叫做无岁数字化(l o s s l e s s d i g i t i z a t i o n)。采样定律用公式表示为fs=2f 或者 Ts .MIDI 文件10、MIDI的含义、MIDI与数字化声音的比较MIDI是乐器数字接口的英文缩写，泛指数字音乐的国际标准，它是音乐与计算机结合的产物。MIDI信息实际上是乐谱的数字描述，这里乐谱完全由音符序列、定时以及被称为合成音色的乐器定义组成。当一组MIDI消息通过音乐合成器芯片演奏时，合成器就会解释这些符号并产生音乐。选择MIDI还是数字化声音，要考虑计算机处理数字文件的能力，对回放硬件的控制能力以及是否有语言对话的需要等方面因素。产生M I D I乐音的方法很多，现在用得较多的方法有两种：一种是(f r e q u e n c y m o d u l a t i o n,F M)合成法，另一种是乐音样本合成法，也称为波形表(W a v e t a b l e)合成法。11、波形声音与MIDI音乐的比较M ID I消息实际上就是乐谱的数字表示。与波形声音相比，MIDI数据不是声音而是指令，因此它的数据量要比波形声音少得多。如 30分钟的立体声高品质音乐，用波形文件无压缩录制，约需300MB的存储空间；而同样的MIDI数据，则只需200KB,两者相差1500倍之多。另外，对 MIDI的编辑很灵活，可以自由地改变曲调、音色等属性，波形声音就很难做到这一点。波形声音与设备无关，MIDI数据是与设备有关的，即MIDI音乐文件所产生的声音与用来回放的特定的M ID I设备有关。总的来说，数字化声音最重要的优点是重放质量的一致性、可靠性比较好,可自始至终保证质量,而MIDI在这一点上则比较差。12、数据压缩基础信 源 编 码信 道 解 码图2-2-1 统一的数字传输系统模型图中信源编码和信源解码即为本课程所要研究的内容，统称为信源解码；而信道编码和信道解码统称为信道编码。信源解码：主要解决有效性问题。通过对信源的压缩、扰乱、加密等一系列处理，力求用最少的数码传递最大的信息量，使信号更适宜传输。信道编码：主要解决可靠性问题。即尽量使处理过的信号在传输过程中不出错或少出错，即使出了错也要能自动检错和尽量纠错。如果信道编码的纠错能力足以保证对数字序列的无误差解码，则 图2-2-1中的信道编码、解 码 器（简写为 Codec,即 Coder+Decoder）,调制、解 调 器（简写为Modem,即Modulator+Demodulator）,以及实际的物理传输通道（模拟信道），有时集中成一个理想的方框，叫作无噪声数字信道，如图2-2-1中的虚线右边部分。而模拟信道加上Modem构成的方框，即为一个实际的数字信道。因此，从信息论角度看，信源编码编码的一个最主要的目的，就是要解决数据的压缩问题，它构成了数据压缩的理论基础。13、数据压缩及其必要性数据压缩，就是以最少的数码表示信源所发的信号，减少容纳给定消息集合或数据采样集合的信号空间。所谓信号空间即被压缩的对象是指：1、物理空间，如硬盘、磁盘、磁带等数据存储介质；2、时间空间，如传输给定消息集合所需要的时间；3、电磁频谱区域，如为传输给定消息集合所要求的带宽等。而数据压缩的好处就在于：1、较快地传输各种信源（降低信道占有费用）-一时间域的压缩；2、在现有通信干线上开通更多的并行业务（如电视、传真、可视电话等）-一频率域的压缩；3、降低发射机功率-能量域的压缩；4、紧缩数据存储量（降低存储费用）-一空间域的压缩。14、数据压缩技术的分类比较一致的分类方法，是将数据压缩分为在某种程度上可逆的与实际上不可逆的两类，这样更能说明它们的本质区别。1、可逆压缩也叫作无失真编码、无噪声编码(N o i se l e ss C o d i n g)、冗余度压减(R e d u n d a n c y r e d u c t i o n)、嫡编码(E n t r o p y C o d i n g)、数据紧缩(D a t ac o m p a c t i o n )、信 息 保 持 编 码(L o ssl e ss,b i t-p r e s e r v i n g)，等空寸O2、不可逆压缩又称有失真(L o s s y)编码，信息论中叫嫡压缩(E n t r o p yC o m p r e s s i o n).1 5、实用的数据压缩冗余度,缩统计编码数据压缩-_ _ _ _ _ _ _ _ _ _愉中缩_ _ _ _ _ _ _ _ _ _ _ _|/1*j A*-jm 哥II特征樨取.I-1 1零记忆量化 序列量化 分组量化 分析-合成预测编码 直接个射 变换编k理正交编HAADFDcJKL方雀月,多一网名看直4I-芯未卷田以自无尺田以一住田以LzW编二进制编码审宵不第三章语音编码技术1、数据压缩技术的三个重要指标这三个指标是：压缩前后所需的信息存储量之比；压缩算法；恢复效果。2、音频信号的编码方式大致分为三大类：(1)波形编码，如 P C M、A P C、SDC、ATC(2)音源编译码器(分析合成方法),如 LPC(3)混合编码方法2、话音信号压缩的主要依据音频冗余主要表现为时域冗余度、频域冗余度。一、时域信息冗余度幅度非均匀分布