《2022年多媒体总复习教案》由会员分享，可在线阅读，更多相关《2022年多媒体总复习教案（8页珍藏版）》请在金锄头文库上搜索。
1、学习必备欢迎下载今天是“多媒体通信”第三次网上课程，课程时间2 小时。第一章多媒体通信技术概述多媒体通信的基本概念1媒体“媒体”是指信息传递和存储的最基本的技术和手段，即信息的载体。“媒体”的英文是medium，复数是 media。根据原 CCITT 的定义，媒体可划分为5 大类：(1) 感觉媒体（ perception medium）(2) 表示媒体（ representation medium）(3) 显示媒体（ presentation medium） ：是指进行信息输入和输出的媒体。(4) 存储媒体（ storage medium）(5) 传输媒体（ transmission medi
2、um）2多媒体（ Multimedia ）所谓多媒体技术就是计算机交互式综合处理多媒体媒体信息文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简而言之，多媒体技术就是计算机综合处理声、文、图信息的技术，具有集成性、实时性和交互性的特点。3多媒体通信一般来说， 同时具有以下三个特征的通信系统方可称为多媒体通信系统：(1) 集成性； (2) 交互性；(3) 同步性1.2 多媒体通信中的关键技术第二代图像通信压缩编码方法充分考虑了人眼的视觉特性。多媒体信息化后的数据量非常巨大，尤其是视频信号，数据量更大。第二章音频技术基础2.1 声学基础知识2.1.1 音频信号特性在多媒
3、体技术中，研究人员常用声波频率、声压、声强等参数来描述声音。声波频率是常用的描述声音的参量。人耳对声波频率的感觉是有界限的。从人耳的听觉特性我们知道，人耳所能感受到的声音的频率范围在20Hz20kHz范围内。低于20Hz和高于 20kHz的声音，人耳是听不到的。声压及声压级SPL（Sound Pressure Level）也是常用的声音描述参量。2.1.2 人耳听觉特性1、人耳对声音强弱的感觉特性2、响度、响度级3、人耳听觉的掩蔽效应一个频率声音的听阈由于另一个声音的存在而上升的现象称为掩蔽。 4、声音质量评价2.2 音频信息编码分类从第一个音频编码出现到现在，出现了很多压缩编码方法。可以将它
4、们分为三类：波形编码、参数编码和混和编码。 2.3 常用压缩编码方法 2.3.1 差值脉冲编码调制DPCM 和自适应差值脉冲编码调制ADPCM 2.3.4 子带编码 2.3.5 感知编码感知编码的理论基础是基于人耳的闻域、临界频段和掩蔽效应。下图是感知编码的MPEG 通用音频编码系统的结构框架：时间/频率映射心理声学模型按帧打包量化和编码(a) 编码器 MPEG音频码流PCM声音信号按帧窗拆重 建频率/时间映射 (b) 解码器PCM声音信号 MPEG音频码流图2-12 MPEG音频编解码器基本框图2.4 音频信息压缩编码标准2.4.3 MPEG 音频编码标准1MPEG-1 声音标准MPEG-1
5、 音频编码的信号频带是20 20kHz，取样频率使用的是32kHz、44.1kHz 和 48kHz，采用的编码算法是感知子带编码。Laer-1 的编码器最为简单，主要用于小型数字盒式磁带；Layer-2编码器的复杂程度是中等，主要用于数字广播音频、数字音乐、只读光盘交互系统和视盘；Layer-3 的编码器最为复杂，主要用于 ISDN上的声音传输。MPEG 音频编码采用了子带编码，共分为32 个子带。 MPEG 编码的音频数据是按帧安排的。Layer-1 的每帧包含 3212384 个样本数据， Layer-1和 Layer-3每帧包含有 323121152 个样本数据，是Layer-1的 3
6、倍。（1）Layer-1的编码Layer-1的子带划分采用等带宽划分，分为32 个子带，每个子带有12 个样本，心理声学模型只使用频域掩蔽特性。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 8 页学习必备欢迎下载（2）Layer-2编码 Layer-2编码在 Layer-1 的基础上作了改进。32个子带的划分是不等划分，其划分依据是临界频段。每个子带分为3 个 12 样本组，这样每帧共有1152 个样本。在掩蔽特性方面除保留原有的频域掩蔽外还增加了时域掩蔽。另外在低频、中频和高频段对位分配作了重新安排，低频段使用4 位，中频段使用3
7、位，高频段使用2 位。(3) Layer-3编码（ MP3 ）Layer-3仍然使用不等长子带划分。心理声学模型在使用频域掩蔽和时域掩蔽特性之外又考虑到了立体声信息数据的冗余，还增加了霍夫曼编码器。滤波器组在原有的基础上增加了改进离散余弦MDCT 特性，可以部分消除由多相滤波器组引入的混叠效应。2、MPEG-2 BC声音压缩标准MPEG-2 BC声音标准是在MPEG-1 的基础上发展来的，是MPEG 为多声道声音开发的低码率编码方案，并与 MPEG-1 的声音标准保持后向兼容。与MPEG-1 相比主要增加了下面几个方面的内容：*?支持 5.1 多路环绕立体声：可以提供 5 个全带宽声道，分为左
8、、右、中、和两个环绕声道，另加一个低频效果增强声道，称为5.1 声道。?扩展了编码器的输出范围，从32384kb/s 扩展到 8640kb/s 。?增加了更低的取样频率和低码率：在保持 MPEG-1 原有的取样频率的基础上， 又增加了三种取样频率，新增的取样频率为16kHz、22.05kHz 和 24kHz，是将原有 MPEG-1 的取样频率降低了一半，以便提高码率低于 64kb/s 时的每个声道的声音质量。MPEG-2 对多声道的扩展方式是通过可分级的方式来实现的。第三章图像技术基础3.1 视觉特性一、视觉灵敏度人眼对不同波长的光所呈现的视觉感知是不同的，而且因人而异。二、光度测量参数三、彩
9、色视觉和立体视觉1、彩色的概念在自然界中，当阳光照射到不同的景物上时，所呈现的色彩不同，这是因为不同的景物在太阳光的照射下，反射（或透射）了可见光谱中的不同成分而吸收了其余部分，从而引起人眼的不同彩色视觉。三基色原理：2、彩色视觉从视觉的角度描述彩色的过程中会用到亮度、色度和饱和度三个术语。亮度表示光的强弱；色度是指彩色的类别，如黄色、绿色、蓝色等；饱和度则代表颜色的深浅程度，如浅紫色、粉红色。人眼视网膜是由大量的光敏细胞组成的，按其形状可分为杆状细胞和锥状细胞。杆状细胞能够起到感光作用，只是杆状细胞对弱光的灵敏度要比锥状细胞高。而且锥状细胞也只能在正常光照条件才能产生视觉和色感。3、立体视觉
10、四、人眼的分辨力与空间频率人们通常称这种分辨景物细节的能力为人眼的分辨力。1、空间频率空间频率则是某物理量（如亮度、发光强度）在单位空间距离内周期性变化的次数，单位为周/米。2、人眼的空间频率响应人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低。五、人眼的对比度特性1、图像的对比度与灰度2、人眼的对比度灵敏度特性六、视觉惰性与闪烁的概念1、视觉惰性2、闪烁3.3 图像信号数字化3.3.1 图像信号的表述一、 图像信号的时域分析P=f(x,y,z,L,H,S,R,t) 。L，H，S 分别代表像素的亮度、色度和饱和度。二、 图像信号的频谱3.3.2取样和二维取样定理一、 二维取样定理二、亚取样当
11、取样频率小于奈奎斯特取样频率时，通常称其为亚抽样。3.3.4 取样、量化对图像质量的影响一、 实际取样脉冲宽度的影响二、量化误差的影响3.4 电视技术基础精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 8 页学习必备欢迎下载3.4.1 电视系统的组成电视是利用光电和电光转换原理，将光学图像转换为电信号进行远距离传输，然后再还原为光图像的一门技术。 其系统结构如图3-11 所示。目前国际上逐渐形成了三大模拟彩色电视制式：PAL、NTSC 和 SECAM 。3.4.2 彩色电视信号的形成与传送原理（1）电视信号的形成在实用电视系统中是采用扫
12、描的方式来完成图像的分解与变换，即用时间的一维函数来代表像素信息的物理量，完成扫描功能的设备就是摄像机。（2）电视系统 的亮度方程彩色电视系统是按照三基色的原理而设计的，三基色原理告诉我们任何一种彩色都可以由另外的三种彩色按不同的比例混合而成。在彩色电视系统中由3 种基色分量R、G、B 构成的亮度信号的比例关系为：BGRY114.0587.0299.0（3-16）上式就是电视系统的亮度方程。另外还有2 个色差信号U 和 V，U 表示所传输的蓝基色分量与亮度分量的差值信号，而V 表示所传送的红基色分量与亮度分量的差值信号，它们存在下述关系：)(1YBkU)(2YRkV其中 k1,k2为加权系数，
13、系统中所选择的加权系数不同，那么在相同亮度信号下，所得到的色差信号也不同。如果系统是彩色电视系统，除了亮度之外，图像的色调和饱和度都是表示图像质量的重要参数，它们与 U、V 的关系如下：图像的色调 =VU图像的饱和度 =22VU从数据压缩的角度来看，通过R、G、B 变换到 Y、U、V 可以消除一定的相关性，这就是人们希望传送 Y、U、V 而不是 R、G、B 的原因。(3)扫描 空间频率与时间频率的转换（4）电视信号的频谱特点与频道分配策略静止图像 和活动图像频谱频谱交错原理和平衡正交调制a.频谱交错原理b.平衡正交调制彩 色 电 视 系 统 中 经 抑 制 载 波 后 的 色 差 信 号 平
14、衡 调 制 波 的 表 达 式 是 ：tfUsc2sin和tfVsc2cos。3.4.3 视频信息的数字化（1）分量电视信号的数字化在的 ITU-R BT 601 建议，建议采用分量编码，亮度和色差信号的取样频率fY和 fC分别为 : MHzfffHPALHNTSCY5.13864858MHzffYC75.621在表 3-4 种列出了 ITU-R BT 601 建议的主要参数。表 3-4 ITU-R BT 601建议的主要参数（亮度、色度取样频率为4：2：2）第四章视频信息压缩与处理4.1 图像的统计特性4.1.1 图像的信息量根据信息论的基本知识，从图像信息源X 发出符号 Si的概率为)(i
15、Sp，而且)(iSp将满足下列条件：1)(0iSp（MiiSp11)(）（4-1）这样符号 Si所携带的信息量I(Si)可以用下式表示：)(log)(/1(log)(22iiiSpSpSI（4-2）4.1.2 离散信源4.1.3 图像的信息熵对于无记忆的图像信息源而言，我们无法确切地知道信息源在下一时刻发出的符号是符号集nSSSX,21中的哪一个符号，因此信息源所发出的符号Si本身就是一个随机变量，而其信息量I 又是 Si的函数。由此可知，I 也是一个随机变量，这样我们就可以求出图像信息源X 发出符号集Sn中各符号的信息量的统计平均（即求其数学期望），从而得到符号集Sn中每个符号的 平均信息量
16、 。niniiiiiSpSpSISpXH112)(log)()()()(（4-5）在信息论中称H(X) 为图像信息源X 的“熵” ，其单位为 bit/符号。 在符号出现之前， 它表示符号集中的符号出现的平均不确定性，而在符号出现之后，则表示所接收到的一个符号的平均信息量。1、 无记忆信源的概率分布与熵的关系均匀分布的图像信息源如果图像信息源的概率分布呈现均匀分布，即各符号出现的概率相等，那么其数学模型可写为：nSpi1)(=常数(4-6) 则由式（ 4-5）可求出该图像信息源的熵H(x) 为nXH2log)(4-7) 可以证明，当图像信息源中各符号出现的概率相等时，信源的信息熵最大。正态分布的
17、图像信息源4.2 信息压缩方法及其分类4.2.1 图像信息中存在的冗余类型4.2.2 图像编码的基本过程4.2.3 压缩编码方法及其分类4.2.4 数据压缩技术的性能指标衡量数据压缩技术的性能往往可以从以下几个方面进行考虑。1、压缩比压缩性能通常用压缩比来定义，它是指压缩过程中输入数据量与输出数据量之比。设原图像的平均码精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 8 页学习必备欢迎下载长为 L,压缩后图像的平均码长为Lc，则压缩比为CLLC压缩比越大，说明数据压缩的程度越高。除压缩比之外，冗余度和编码效率也是衡量信源特性以及编解码设
18、备性能的重要指标，定义如下：冗余度1)(XHLR=C11编码效率RLXH11)(其中 H(X) 为信源熵。2、重现质量4.3 无失真图像压缩编码方法常用的无失真图像压缩编码有许多种，如哈夫曼编码(Huffman) 、游程编码和算术编码。*4.3.1 哈夫曼编码哈夫曼编码的主要编码思路是对出现概率较大的符号用较短的码来表示，而对于出现概率较小的符号则用较长的码来表示。可见这是一种变长编码，而且哈夫曼编码又称为最优码，或者说对于给定的符号集合概率模型没有任何其它整数码（每个符号所对应的码字的位数均为整数）比哈夫曼编码有更短的码长。下面介绍具体编码过程：1、排序：按符号出现的概率从大到小进行排列。2
19、、赋值：对最后的两个符号进行赋值，概率大的赋“1” ，概率小的赋“ 0” （反之也成立） 。3、合并：将上述最后的两个符号出现概率相加合成一个概率。4、重新排序：将合成后的概率与其它符号概率一起进行重新排序（从大到小）。然后重复步骤2 的内容，直至最后只剩下两个概率为止。5、码字分配：从最后一步开始反向进行码字分配，对最后两个概率中较大的赋“1” 。对较小的赋“ 0”（与第二过程中的规定相同）。从而形成一个码字。如下图中虚线所示的方向。例 4-2 假设某符号集X 中包含 6 个符号： S1,S2,S6，各自出现的概率为X=2 .01S19.02S18.03S17.04S15.05S11.06S
20、试求其哈夫曼编码及其编码效率。解： 1、哈夫曼编码在图 4-6 中给出了哈夫曼编码过程，其中设两个符号中较大的为” 1” ，较小的为 ” 0” .编码结果如表4-1所示。S6 0.11S5 0.15S4 0.17S3 0.18S2 0.19S1 0.201010100.260.350.390.611图46 例42 解题过程1100表 41 例 42 的哈夫曼编码原始符号各符号出现概率pi组成的二进制码码长S1 0.2 01 2 S2 0.19 00 2 S3 0.18 111 3 S4 0.17 110 3 S5 0.15 101 3 S6 0.11 100 3 2、编码效率根据式（ 4-5）
21、可求出信源熵：612)(log)()(iiiSSpxH=2.0log2. 0(219. 0log19. 0218.0log18.0217.0log17.0215.0log15.0211.0log11. 02）=2.56 利用式（ 4-17）可求出平均码长：)(61iiiSplL=0.22+0.192+0.183+0.173+0.153+0.113=2.61 哈夫曼编码的编码效率61.256.2)(LxH=98.08% 4.4 限失真图像压缩编码方法4.4.1 率失真函数4.4.2 预测编码和变换编码1、预测编码预测编码是通过减小图像信息在时间上和空间上的相关性来达到数据压缩的目的。下面首先介绍
22、帧内预测。（1）帧内预测帧内预测编码是针对一幅图像以减少其空间上的相关性来实现数据压缩的。（2）帧间预测帧间预测是指由前一帧或前n 帧图像来预测当前图像。与帧内预测相同， 只需对误差信号进行量化编码。在采用运动补偿技术后，帧间预测的准确度相当高。下面我们首先介绍运动估值与运动补偿的概念。运动估值与运动补偿像素递归法块匹配法（3）具有运动补偿的帧间预测*2、变换编码变换编码中的关键技术在于正交变换。与预测编码一样，正交变换是通过消除信源序列中的相关性来达到数据压缩的。它们之间的区别在于预测编码是在空间域（或时间域）内进行的，而变换编码则是在变换域（或频率域）内进行的。*（1）变换编码的工作原理结
23、合 DCT 来看。在图 4-16 中给出了变换编码的原理框图。从图中可以看出，变换编码是利用正交变换来实现图像信号的压缩编码的。 具体地说就是将原空间域中的图像信号f(j,k) 变换到另外一个正交矢量空间域（变换域）F(,) 中，而当需要进行图像恢复时，只需进行上述过程的逆变换，即把变换域中所描述的图像信号再转换到原来的空间域。（2）子块划分精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 4 页，共 8 页学习必备欢迎下载在变换编码系统中，其性能与所选用的正交变换类型、图像类型、变换块的大小、压缩方式和压缩程度等因素有关，但在变换方式确定之后，变换
24、块的大小选择就显得尤为重要，这是因为大量的图像统计结果显示，大多数图像仅在约20 个相邻像素间有较大的相关性，而且一般当子图像尺寸n16（像素）时，其性能已经改善不大。同时子图像块过大，其中所包含的像素数就越多，变换时所需的计算量也越大，因此一般子图像块的大小选为88 或 1616。（3）正交变换正交变换的类型离散余弦变换（DCT）（4）系数选择人们通过大量的统计试验发现，大多数图像信号在空间域中像素的相关性很大。当它们经过DCT 变换后，变换系数之间的相关性大大下降，并且信号能量主要集中在低频部分，为了进一步压缩编码速率，因此忽略那些能量很小的高频分量，不予以传输，而只对少数能量集中的方差大
25、的变换系数进行量化编码。选择变换系数的方法有两种：区域取样和门限取样。区域取样区域取样是指对设定区域内的变换系数进行量化编码，而舍弃区域外的变换系数。具体区域的大小和形状的选择与很多因素有关，而且直接影响压缩程度。门限取样门限取样的方法是把变换系数的方差与某个门限值进行比较，对于大于该门限值的系数进行编码，否则忽略。扫描路径由于 DCT 变换后， 变换域系数矩阵中能量集中于直流和低频区，该区位于矩阵的左上角部分。另外目前通常使用行程法，此时不直接对系数位置进行编码，而是按图4-17 中所示的“之”字形扫描路径将二维系数展开成一维序列输出。（5）量化与编码 4.7 图像压缩技术标准4.7.1 图
26、像种类与编码标准一、视频图像的种类二、编码标准从 1986 年开始 ITU 、 ISO、 IEC 等国际组织先后制定了适用于不同场合中的不同图像压缩标准，如 JBIG标准、 JPEG 标准、 H 系列标准和MPEG 系列标准，其中H 系列标准和MPEG 标准为活动图像压缩标准，而 JBIG 和 JPEG 标准为静止图像压缩标准。这些标准大多数已得到广泛的应用。4.7.2 静止图像压缩编码标准JPEG 4.7.3 H.261与 H.263 *一、 H.261 1、视频数据格式建议规定采用CIF（通用中间格式）和QCIF 格式（ 1/4CIF）作为视频输入格式，如表4-10 所示。需要说明的是所有
27、支持H.261 协议的编 /解码器都可支持QCIF 格式，但也可以选择CIF 格式。格式选择由信道容量决定，例如ISDN 信道（ P64kbit/s, P=1,2, 30） 。如果 P=1,2,则选择 QCIF 格式，由此构成的数据流适用于桌面视频应用系统中。对于P6,则选择 CIF 格式。2、视 频编码系统H.261 是 ITU-T 制定的视频压缩编码标准，也是世界上第一个得到广泛承认的、针对动态图像的视频压缩标准，而且其后出现的JPEG 标准、 MPEG 系列标准、 H.262 以及 H.263 等数字视频压缩标准的核心都是 H.261。3、视频编码器原理（1）采用帧内编码（2）采用帧间预
28、测编码（3）工作状态的确定4、H.261 标准的数据结构在 H.261 标准中采用层次化的数据结构，它包括图像层（P） 、块组层（ GOB） 、宏块层（ MB ）和像素块（ B）四层。如图4-50 所示。H.261 数据结构为：图像层是由帧首和12 个块组层构成。块组层是由GOB 首和 33 个宏块构成。宏块层是由宏块首和其后面的6 个数据块构成。块层是由DCT 系数（ TCOEFT ）和块结束符（EOB）组成。每块包含88 个数据。二、 H.263 （1）H.263 与 H.261 的区别H.263 标准是一种甚低码率通信的视频编码方案。所谓甚低码率视频编码技术是指压缩编码后的码率低于 64
29、kbit/s 的各种压缩编码方案.它是以 H.261 为基础，其编码原理和数据结构都与H.261 相似，但存在下列区别：H.263 能够支持更多图像格式H.263 建议的两种运动估值采用半精度像素的预测值和高效的编码提高数据压缩效率4.7.4 MPEG 系列1、MPEG-1 MPEG-1 标准是由三个部分构成，第一部分是系统部分。它描述了几种伴音和图像压缩数据的复用以及加入同步信号后的整个系统。第二部分为视频部分，主要规定了图像压缩编码方法。第三部分为音频部分，主要规定了数字伴音压缩编码。可见MPEG-1 标准的基本任务就是将视频与其伴音统一起来进行数据压缩，使其码率可以压缩到1.5Mbit/
30、s 左右，（1）系统部分（2）视频部分与 H.261 标准相似， MPEG-1 标准也采用带运动补偿的帧间预测DCT 变换和 VLC 技术相结合的混合编码方式。但MPEG-1 在 H.261 的基础上进行的重大的改进，具体如下：输入视频格式精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 5 页，共 8 页学习必备欢迎下载MPEG-1 视频编码器要求其输入视频信号应为逐行扫描的SIF 格式，如表4-6 所示。如果输入视频信号采用其他格式，如ITU-R BT601 ，则必须转换成SIF 格式才能作为MPEG-1 的输入。预测与运动补偿与 H.261 标
31、准相同， MPEG-1 也采用帧间预测和帧内预测相结合的压缩编码方案，以此来满足高压缩比和随机存取的要求。为此在MPEG-1 标准中定义了三种类型的帧：分别是I 图像帧、 P帧和 B 帧。I 图像帧是一种帧内编码图像帧。它是利用一帧图像中的像素信息，通过去除其空间冗余度而达到数据压缩的。P 图像帧是一种预测编码图像帧。它是利用过去一个I 图像帧或 P 图像帧，采用带运动补偿的帧间预测的方法进行编码。该图像帧可以为后续的P 帧或 B 帧进行图像编码时提供参考。B 图像帧是一种双向预测编码图像帧。它是利用其前后的图像帧（I 帧或 P 帧）进行带运动补偿的双向预测编码而得到的，如图4-55 所示。它
32、本身不作为参考使用，所以不需要进行传送，但需传送运动补偿信息。视频码流的分层结构MPEG-1 数据码流也同样采用层次结构，其结构如图4-56 所示。可见其最基本单元是块。块：一个块是由88 像素构成的。亮度信号、色差信号都采用这种结构。它是DCT 变换的最基本单元。宏块：一个宏块是由附加数据与4 个 88 亮度块和 2 个 88 色差块组成。宏块是进行运动补偿运算的基本单元。图像条：一个图像条是由附加数据与若干个宏块组成。图像：一幅图像是由数据头和若干片构成的。图像组：一个图像组是由数据头和若干图像构成。图像组中每一幅图像既可以是I 帧，也可以是 P 帧或 B 帧。但需说明的是GOP 中的第一
33、幅图像必须是I 帧，这样可以便于提供图像接入点。图像序列是由数据头和若干图像组构成的。MPEG-1 视频编 /解码原理a.帧内编码b.帧间编码2、MPEG-2 （1）系统部分MPEG-2 系统部分的基本功能是能将一个或多个视频、音频及其它数据的基本流组合成一个或多个可供存储和传输的码流，因此其中应提供用于多个码流解码时的同步、交织与控制等信息。MPEG-2 系统结构节目流与传送流（2）视频部分MPEG-2 的视频标准是在MPEG-1 的基础上进行了重大的改进和扩充。3、MPEG-4 MPEG-4 是一种第二代视音频编码技术。它是一种适用于各种多媒体应用的“视音频对象编码”标准。在此我们首先从M
34、PEG-4 与 MPEG-1 、MPEG-2 的区别开始介绍。（1）MPEG-4 与 MPEG-1、MPEG-2 标准的根本区别MPEG-4 是基于内容的压缩编码方法引入视频对象VO(Viedo Object) 和视频对象平面VOP(Video Object Plane) 概念。（2）MPEG-4 系统组成4.7.5 H.264 第五章多媒体通信系统中的关键技术5.1 多媒体信息输入、输出及存储技术5.1.1 视频信息输入输出技术1、 视频卡的基本工作原理（简要说明）2、常用视频卡3、摄像头4、投影仪5.1.2 音频信息的输入输出技术声卡的核心器件是数字音频处理芯片和音乐合成器。声卡的性能优劣
35、就是由它们决定的。声卡的主要作用是对声音信息进行录制和回放，声音的质量是由采集过程中使用的采样频率和编码位数来决定的。5.1.5 多媒体存储技术1、概述2、光盘库3、存储区域网络SNA SAN的概念是在1988 年提出来的。存储区域网络SAN的出现使服务器和存储设备之间的连接方式产生了根本的变化。SAN是一种可以使服务器与大型存储设备（磁盘阵列或磁带库）之间进行任意连接通信的存储网络系统，它通过一个单独专用的网络将存储设备和服务器连接在一起。由于在 SAN中，服务器可以和网络中的任何存储设备连接，所以数据存放在何处，服务器都可以直接存取所需要的数据。SAN中的各种设备是分散在网络中的。5.2
36、超媒体技术超媒体技术是在超文本技术基础之上结合多媒体技术而发展起来的信息管理与检索技术。5.2.1超文本技术超文本是一种按信息之间的关系非线性的存储、组织、管理和浏览信息的计算机技术。超文本技术与传统计算机技术的区别在于，它不仅注重所要管理的信息更注重信息间关系的建立和表示。5.2.2 超媒体的组成5.2.3 超媒体系统结构系统结构图：一个超媒体系统一般是由创作子系统（作者子系统）、读者子系统（浏览器）和支持子系统组成。在超媒体的三个组成部分中，支持子系统是超媒体系统的核心层，它能够识别超链的成分，并引到转向相应的目标节点而完成特定的操作。在支持子系统中最为重要的是超媒体服务器（也称Web服务
37、器）的精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 8 页学习必备欢迎下载建立和维护。5.3 多媒体同步技术5.3.1 多媒体同步概述1、多媒体同步概述2、多媒体同步分类多媒体同步就是保持和维护各种媒体对象之间以及各种媒体对象内部所存在的时态关系，维持各种媒体序列来达到某种特定任务的目的。从类型上来划分，多媒体的同步类型分为上层同步、中层同步和底层同步。532 多媒体数据1、多媒体数据2、多媒体数据约束关系多媒体数据的约束关系有三种：基于内容的约束关系、空域约束关系和时域约束关系。基于内容的约束关系描述的是不同媒体对像是同一数据内容的
38、不同表现形式而在媒体之间所具有的一种约束关系。空域约束关系也称为布局关系，它定义了多媒体数据显示中某个时刻，不同媒体对像在呈现媒体上的空间位置关系。时域约束关系是多媒体数据对像的时域特征，它定义了媒体对像在时间上的相互依赖关系。在这三种约束关系中，时域约束关系最为重要。533 多媒体时域特征表示5.3.4 多媒体同步的四层参考模型：四层模型由规范层、对象层、流层和媒体层构成。四层参考模型的意义在于它规定了同步机制所对应的层次以及各个层所应完成的任务。（1） 、媒体层（2）流层：流层处于同步机制的中间层，流层的处理对象是连续码流或者连续码流组。（3）对象层第六章多媒体通信网络技术6.1 多媒体通
39、信对传输网络的要求6.1.1 多媒体通信对传输网络的要求6.1.2 性能指标1、吞吐量（ throughout）（1）视频对网络带宽的要求（2）声音对网络带宽的要求2、延时3、延时抖动4、错误率第七章多媒体数据的分布式处理7.1 分布式多媒体系统（DMS）7.2.3 分布式多媒体系统的终端设备1、多媒体终端硬件形式（1）多媒体计算机终端（2）机顶盒2、多媒体终端外部设备接口（1）USB （2）IEEE-1394 接口7.3 流媒体技术7.3.1 流媒体概述1、流媒体的概念与传统媒体的媒体技术相比，流媒体具有如下特点：(1) 流媒体是实时的， 当用户下载媒体文件时，不需要像传统的播放技术那样将整
40、个文件都下载下来之后再播放，而是边下载边播放，从而不仅节省了用户端的缓冲区容量，还大大减少了用户的等待时间。(2) 流媒体数据在播放后即被丢弃，不会存储在用户的计算机上，便于流媒体文件的版权保护。(3) 流媒体的服务器支持用户端对流媒体进行VCR（录像机）操作控制，即用户可以像使用家用录像机一样对流媒体进行播放、暂停、快进、快退、停止等操作。2、流媒体的播放方式：单播、组播、点播和广播。组播是一种流媒体的播放方式。3、流媒体的传输过程流媒体系统应至少包括以下三个组件：（1）编码器（ Encoder） ：它是用于将原始音视频转换成流媒体格式的软件或硬件。（2）媒体服务器（Media Server
41、） ：它是用于向客户发布流媒体的软件。（3）播放器（ Player） ：它是客户端用来收看（听）流媒体的软件。7.3.2 流媒体开发平台简介目前市场上主流的流媒体技术有三种：RealNetworks 公司的 RealMedia，Microsoft 公司的 Windows Media 和 Apple 公司的 QuickTime 。第八章视频会议系统8.1 概述8.2 多媒体视频会议系统8.2.1 多媒体视频会议系统发展概述按使用的信息流分为音频图形会议、视频会议、数据会议、多媒体会议和虚拟会议。8.2.2 多媒体视频会议系统的组成方式1、多点视频会议系统的结构一个典型的多媒体会议系统是由终端设备
42、、通信网络、多点控制单元MCU 和相应的系统运行软件组成的。2、MCU 的基本功能（1）时钟同步和通信控制（2）码流控制精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 7 页，共 8 页学习必备欢迎下载（3）MCU 的端口连接8.2.3 多点会议控制方式8.2.4 多媒体会议系统标准8.2.5 互联网环境下的多媒体会议系统8.3 视频点播（ VOD ）系统8.4 网络电视（ IPTV ）8.4.1 概述8.4.2 IPTV 业务需求说明8.4.3 IPTV 基本结构8.4.4. IPTV 的相关技术8.5 多媒体电视监控系统与报警系统精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 8 页，共 8 页
