第9章多媒体通信技术概要

《第9章多媒体通信技术概要》由会员分享，可在线阅读，更多相关《第9章多媒体通信技术概要（95页珍藏版）》请在金锄头文库上搜索。

1、第9章 多媒体通信技术,9.1 多媒体通信技术基础 9.2 多媒体音频技术 9.3 多媒体图像视频技术 9.4 多媒体通信系统,9.1 多媒体通信技术基础,9.1.1 媒体及媒体的种类 媒体有两层含义：一是信息的物理载体（即存储 和传递信息的媒介），二是信息表示和传输的载体。 按国际电话电报咨询委员会CCITT定义，媒体可分为 1.感觉媒体：是指能直接作用于人的感官，使人能产 生感觉的一种媒体。 2.表示媒体：是为了加工、处理和传输感觉媒体而人 为地研究、构造出来的媒体。（图像、文本、声音编码）,3.表现媒体：是指感觉媒体和用于通信的电信号 之间转换用的一类媒体，它又分输入(摄像机、扫描仪）和

2、输出表现媒体。 4.存储媒体：用来存放表示媒体，以便使用计算机对它们进行加工处理。 5.传输媒体：将表示媒体从一处传送到另一处的物理载体。（双绞线、同轴电缆、光缆） 五种媒体的核心是感觉媒体和表现媒体，即信 息的存在形式和表现形式。,9.1.2 多媒体及多媒体技术 1.多媒体：通常是指信息感觉和表示媒体的多样化，即包括文字、图形、声音、图象等的多种信息媒体的综合。 2.多媒体技术：用计算机交互式综合处理多种媒体信息（包括文本、图形、图象、声音以及活动视频) ，在各种媒体间按某种方式建立逻辑连接，使其成为具有交互能力的系统。 3.多媒体技术特性：主要表现在媒体的多样性和处理信息的集成性、交互性、

3、实时性上。,（1）信息媒体的多样性 多媒体技术将计算机所能处理的信息空间扩展和放大，不仅仅局限数字和文本，由原来的无声世界到有声世界，由原来的静止画面进入到动画画面乃至活动影像。 （2）信息处理的集成性 是以计算机为中心的综合处理多种信息媒体的特性。它包括信息媒体的集成和处理这些媒体的设备的集成两方面。,信息媒体的集成：包括信息的多通道统一获取、多媒体信息的统一组织和存储、多媒体信息表现合成等方面。即各种信息媒体不再是单独进行加工和处理、相互分离，而是一个统一的整体。 媒体设备的集成：从硬件上来说应该具有能够处理多媒体信息的高速并行的CPU系统、大容量内存和外存、具有多媒体信息输入输出能力的外

4、设、具有足够带宽的通信信道和通信网络接口；从软件上来说应该具有集成化的多媒体操作系统、适应于多媒体信息管理的操作系统、创作工具和应用软件。,（3）信息处理的交互性 所谓交互性就是把人的活动作为一种媒体加入到信息传播过程中，使信息交互的参与各方，不论是发送方还是接收方都可以对信息进行编辑、控制和传递的特性。交互性使我们在获取和使用信息时变被动为主动，增加了对信息的注意和理解，延长了信息的保留时间。 （4）实时性 在人的感官系统能够接受的情况下进行多媒体交互（无论交互者相距多远），就好像面对面一样，图像和声音是连续的。 多种媒体之间的协同性及时间、空间的协同性是多媒体的关键技术之一。,多媒体的研究

5、始于20世纪80年代初，这项技术得 到迅速崛起和飞速发展。多媒体技术使现代音像技 术、计算机技术和通讯技术三大信息处理技术紧密 的结合起来从各自的角度，向同一目标发展，21世 纪多媒体会无处不在，它的发展和未来将改变人们 的工作、通讯和生活方式。,多媒体技术的发展,1) 多媒体走进家庭 a.家庭成员的教育，尤其是幼儿启蒙教育； b.信息查询和网上购物； c.娱乐与游戏。 2) 多媒体走进学校 a.交互式学习 b.进行模拟试验和演示（虚拟实验室） c.信息查询和检索（虚拟图书馆）,多媒体技术的应用,3) 多媒体用于商业和企事业单位 a.分布式多媒体系统的应用 包括多媒体会议系统、多媒体视频点播系

6、统（vod）、多媒体监控及监测系统、支持协同工作（远程医疗）等。 b.工业上的应用 c.医疗领域的应用：医疗数据库和医疗专家系统 d.出版业的应用：电子出版物,1) 家庭教育和个人娱乐是目前国际多媒体市场的主流。 2) 内容演示和管理信息系统是多媒体技术应用的重要方面。 3) 多媒体通信和分布式多媒体系统是多媒体技术今后的发展方向。,多媒体技术的发展前景,9.1.3 多媒体通信技术 多媒体通信是多媒体技术与通信技术的完美结合 ，它突破了计算机、通信、电子等传统领域的界限， 把计算机的交互性、通信网络的分布性和多媒体信息 的综合性容为一体，提供了全新的服务。 21世纪人类社会进入信息时代，人类由

7、冷战期间 的以空间竞争为主转入到以经济竞争为主，其核心 信息技术的竞争，包括信息的获取、占用、利用等。,（1）数据量大（尤其是音频、视频和图象），存储容量大，传输带宽要求高。 （2）集成性：多通道统一获取、存储、组织和合成 （3）实时性 （4）交互性：实现对信息的主动选择和控制。 （5）非线性：借助超文本链接方法。 （6）控制性：以计算机为中心，综合处理和控制信息 （7）信息使用的方便性 （8）信息结构的动态性,多媒体通信的特点,途径：话路+视频； 网路+视频； 有线电视+交互功能。 关键技术：声音、视频、动画等的传输技术； 数据压缩和解压缩技术； 多媒体实时同步； 协议和标准化。,多媒体通信

8、的实现途径及关键技术,9.2.1 数字音频基础 一、声音的基本概念 声音是通过一定介质传播的一种连续波。 声波 重要指标： 振幅音量的大小 周期重复出现的时间间隔 频率指信号每秒钟变化的次数,9.2 多媒体音频技术,t,周期 振幅,声音按频率分类： 人类说话声音频率范围：300Hz-3kHz 二、声音的数字化过程 1.音频的数字化 数字化音频技术是把表示声音强弱的模拟信号（ 电压）用数字表示;数字音频是通过采样量化把模拟量 表示的音频信号转换成许多二进制1、0组成的数字音 频文件，实现数字化。,1) 采样（Sampling） 每隔一个时间间隔不停地间断性地在模拟音频的波形上采取一个幅度值，这一

9、过程我们称之为采样。而每个采样所获得的数据与该时间点的声波信号相对应，称之为采样样本。将一连串样本连接起来，就可以描述一段声波了。,音频模拟信号数字化处理流程,2) 量化（Quantization） 经过采样得到的样本是模拟音频的离散点，但还是用模拟数值表示。为了把采样得到的离散序列信号存入计算机，必须将其转换为二进制数字表示，称这一过程为量化编码。 量化的过程是，先将整个幅度划分成为有限个小幅度（量化阶距）的集合，把落入某个阶距内的采样值归为一类，并赋予相同的量化值。 3) 编码 编码，即编辑，把量化数据写成计算机的数据格式，即二进制格式。,2. 影响数字音频质量的技术指标,3. 数字音频的

10、分类 按来源分类： （1）数字化声波：即将麦克风插在计算机的声卡上，利用录音软件，将语音、音乐等波形信息经模/数转换，得到数字化形式进行存储、编辑，需要时再经过数/模转换还原成原来的波形。 （2）MIDI合成：利用连接电脑的MIDI（乐器数字化接口），弹奏出曲子，或合成音效录入计算机，再用声音软件编辑。 （3）来源于声音素材库：将录音带或CD唱盘等声音素材库中的曲子，用放音设备通过转接线转录到计算机，再用声音软件加以编辑，存成多媒体著作软件可以读取的文件格式。,按格式分类： 1.WAV文件：是Microsoft/IBM共同开发的波形声音文件。因未经压缩，文件数据量很大。 特点：声音层次丰富，还

11、原音质好 2.MP3文件：MPEG Audio layer 3是一种按MPEG标准的音频压缩技术制作的音频文件。 特点：高压缩比(11:1)，优美音质 3.MIDI文件：MIDI(乐器数字接口)是由一组声音或乐器符号的集合。 特点：数据量很小，灵活性大 4. CD-DA文件：是光盘数字音频文件，其采样频率44.1KHz，每个采样使用16位存储信息。 特点：提供高质量的音源，无需硬盘存储声音文件,4. 数字音频的编码 一般音频信号经数字化所产生的数据量计算公式如下： 数据量采样频率量化位数声道数/8(B/s) 而存储一段时间数字化声音所需存储容量为： 存储容量=(采样频率量化位数声道数 / 8)

12、 声音持续时间(B) 例如，一段持续1分钟的双声道声音文件，若采样频率为 22.05kHz，量化精度为8位，数字化后需要的存贮容量为： 22.0510008260 / 8 2.5(MB),音频信号的压缩编码方式可分为波形编码、参数编码和混 合编码三种。 1波形编码 波形编码的算法简单，易于实现，可获得高质量的语音。常见 的三种波形编码方法为： （1）脉冲编码调制（PCM），实际为直接对声音信号作A/D 转换。PCM编码的最大的优点就是音质好，最大的缺点就是体 积大。我们常见的Audio CD就采用了PCM编码，一张光盘的 容量只能容纳72分钟的音乐信息。 （2）差分脉冲编码调制（DPCM），即

13、只传输声音预测值和 样本值的差值以此降低音频数据的编码率。 （3）自适应差分编码调制（ADPCM），是DPCM方法的改进 ，通过调整量化步长，对不同频段设置不同的量化字长，使数 据得到进一步的压缩。ADPCM压缩编码方案信噪比高，数据,压缩倍率可达25倍而不会明显失真，因此数字化声音信息大 多利用此种压缩方法。 2参数编码 参数编码方法通过建立起声音信号的产生模型，将声音信号用 模型参数来表示，再对参数进行编码，在声音播放时根据参数 重建声音信号。参数编码法算法复杂，计算量大，压缩率高， 但还原声音的质量不高。 3混合编码 混合编码是把波形编码的高质量和参数编码的低数据率结合在 一起，取得了较

14、好效果。,9.2.2 音频合成与MIDI 一、MIDI 1983年8月5日，MIDI数字音乐国际标准正式制定、MIDI是Musical Instrument Digital Interface的缩写，意为“乐器数字化接口”，是计算机和MIDI设备之间进行信息交换的一整套规则，包括各种电子乐器之间传送数据的通信协议。演奏与MIDI相连接的乐器时，键盘的按键、用力大小、时间长短等信息被传送到MIDI设备中，形成与乐器键盘相对应的数字键盘信息。当需要播放时，只需从相应的MIDI文件中读出MIDI消息，生成所需要的声音波形，经放大后由扬声器输出。整个过程如图所示,MIDI技术的优点如下： （1） 占用

15、数据量小； （2） 编辑灵活； （3） 声音配音方便，可作背景音乐。 MIDI技术的缺点是： （1） 使用MIDI文件，其声音卡上必须含有硬件或软件音序器 （2）播放效果因软、硬件而异； （3）使用媒体播放器可以播放，但想有较好效果，电脑必须 支持波表功能。,二、音频合成 使用电子元器件（或计算机）生成音乐的技术称为电子音乐合成。电子音乐合成器又称为“魔音琴”，它通过一定的原理生成波形，然后再由使用者来改变声音的某些特性。最初电子乐器中采用的是模拟式电子合成器，它是通过对震荡器的控制来实现,有减法和加法合成两种。数字式合成器不是由电子元器件制成的信号发生器来产生声音中的各种频率成分，而是直接由

16、数字的方法来造出的波形，然后转换为声音信息。数字合成法主要有FM频率调制合成和音乐样本合成两种。,1. FM频率调制合成 产生MIDI乐音的方法很多，最主要的是FM合成法和波表合成法。FM合成法是八十年代初由美国斯坦福大学的John Chowning发明的，称为“数字式频率调制合成法”，简称FM合成法。基本原理是用数字信号来表示不同乐音的波形，然后把它们组合起来，再通过数模转换器（DAC）生成乐音播放。FM合成技术用计算的方法来把乐器的真实声音表现出来，它不需要很大的存储容量就能模拟出多种声音来，它的结构简单，成本低，但模仿能力很差。,2. 波表（Wave Table）合成声音 使用FM合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生。目前只有低档次的声卡采用FM合成法。中高档的声音卡一般采用乐音样本合成法，即波表合成法。波表合成采用一种称之为“波表查找”技术来产生MIDI音乐，其实它是将各种真实乐器（如大提琴、小提琴、钢琴、鼓等）所能发出的所有声音录制下来，存贮为一个波表文件。播放时，根据M