MPEG-4技术及应用综述 [论文资料库为您搜集整理]一． 概述 关于图象视频压缩已有n×384kbps电视会议H.120建议、p×64kbps视频编码标准H.261、 连续色调静止图 象压缩标准JPEG、PSTN等低比特率活动图象压缩标准H.2631988年ISO与CCITT成立活动图象专家组MPEG（MovingPictureExpertsGroup)，研究数字存储媒体上的活动图象及其伴音的编码表示,1992年通过1.5Mbps编码标准MPEG-1,1994年通过2Mbps、30Mbps高质量视频音频编码标准MPEG-2以上标准均偏重于某(几)个应用领域,交互性较差,至多允许视频序列可变速度的双向播放,可重用性只限于矩形视频区域及其相关音频的线性片段,无法在同一场景集成自然信息与合成信息,不能提供对各种网络的一致性访问，容错性、灵活性和可扩展性比较差 MPEG于1991年5月提出关于视频音频编码的MPEG-4项目，设系统、音频、视频、需求、实现研究、测试及自然合成混合编码（SNHC）子组,1998年11月成为国际标准MPEG-4提供更强的交互能力场景中的每个对象独立编码,用户可以选择性地与其中某(几)个对象交互,具有良好的重用性。
重新组合音视对象AVO（AudioVisualObject）构造新场景,可以集成各种对象,无缝地集成自然信息与合成信息,实时信息与存储信息,AVO可以是单/双/多声道音频信息、单/双/多镜头2D/3D视频信息可以透明地访问信息,通过各种网络传输的信息最终映射为本地信息,整个过程给用户的感觉就如同访问本地信息而且允许基于内容(比特率、分辨率、帧率、防错保护和解码优先级)的可伸缩性和服务质量（QoS）参数,更加灵活,可扩展,充分考虑未来技术的发展及应用需求,将解码器可编程能力分为:不可编程的标准工具集合（Flex-0）；由标准化工具及其接口灵活配置的算法（Flex-1）；多种工具构成可能算法的标准化可扩展机制（Flex-2） 二． 技术部分 2.1 MPEG-4标准概要 MPEG-4引入了对象基表达(object-based representation)的概念，用来表达视听对象A VO(audio/visual objects)；MPEG-4扩充了编码的数据类型，由自然数据对象扩展到计算机生成的合成数据对象，采用合成对象/自然对象混合编码SNHC(Synthetic/Natural Hybrid Coding)算法；在实现交互功能和重用对象中引入了组合、合成和编排等重要概念。
MPEG-4中制定了一个称为传输多媒体集成框架DMIF(Delivery Multimedia Integration Framework)的会话协议，它用来管理多媒体数据流该协议在原则上与文件传输协议FTP(File Transfer Protocol)类似，其差别是：FTP返回的是数据，而DMIF返回的是指向到何处获取数据流的指针DMIF覆盖了三种主要技术：广播技术，交互网络技术和光盘技术 MPEG-4将应用在移动通信和公用交换网PSTN(public switched telephone network )上，并支持可视(videophone)、电视邮件(video mail)、电子报纸(electronic newspapers)和其他低数据传输速率场合下的应用 MPEG-4的标准名是Very-low bitrate audio-visual coding (甚低速率视听编码)截止到1998年9月，已作为国际标准草案DIS (Draft International Standard)的MPEG-4文件有5个部分，它们是： ① MPEG-4系统标准，标准名是ISO/IEC DIS 14496-1 Very-low bitrate audio-visual coding - Part1: Systems。
② MPEG-4电视图象标准，标准名是ISO/IEC DIS 14496-2 Very low bitrate audio-visual coding -Part 2: Video ③ MPEG-4声音标准，标准名是ISO/IEC DIS 14496-3 Very low bitrate audio-visual coding - Part3: Audio ④ MPEG-4一致性测试标准，标准名是ISO/IEC DIS 14496-4 Very-low bitrate audio-visual coding -Part 4: Conformance Testing ⑤ MPEG-4参考软件，标准名是ISO/IEC DIS 14496-5 Very-low bitrate audio-visual coding - Part5: Reference software ⑥ MPEG-4传输多媒体集成框架，标准名是ISO/IEC DIS 14496-6 Very-low bitrate audio-visual coding - Part 6: Delivery Multimedia Integration Framework (DMIF)。
2.2 MPEG-4 标准的范围和特点 MPEG-4标准提供了一整套技术来满足作者的需要、服务提供商和最终用户的偏好 *对于作者来讲，MPEG-4使得基于内容的产品成为现实，这种产品具有大得多的可用性，具有比现在的独立技术例如数字电视、动态图象、WWW网页及其扩展技术所能提供的更大的灵活性而且，现在有可能进行更好的管理和著作权的保护 *对于网络服务提供商来说，MPEG-4提供了透明的信息，它能够在相对标准的实体的帮助下解释并翻译成每个网络相应的本地信号讯息不仅预先考虑到服务质量（QoS），MPEG-4还为不同的媒介提供一个通用的QoS描述符为每种媒质从QoS的参数设置到网络服务质量的精确翻译超出了MPEG-4的范围，留给了网络提供商端到端的发送MPEG-4媒质 QoS描述符就能够在异种网络间进行传输优化 * 对于最终用户来说，MPEG-4在作者所置的限制内提供更高水平的内容交互它也为新兴网络，包括那些应用相对低速率的网络以及移动网络提供多媒体服务MPEG主页上的一份MPEG-4应用文档描述了很多最终用户应用，包括交互式多媒体广播和移动通信 对所有相关方面，MPEG力求避免大量的所有权、非交错格式和播放器的使用。
为实现以上目标，MPEG-4提供标准化方式来： 1． 代表语音、视觉或语音视觉内容的单元，称为"媒体对象"这些媒体对象可能来自自然或合成源；这就是说他们能够被相机或话筒所记录，或者由计算机产生； 2． 描述这些对象的组合以创建构成语音视频屏幕的组合媒体对象； 3． 复用和同步与媒体对象相关的数据，这样他们能在提供了适于特殊媒体对象特性的QoS的网络通道上传输；而且 4． 与接收端产生的语音视频景象交互 2.2.1 媒体对象的编码表示 MPEG-4 语音视频场景由一些媒体对象组成，以分层方式组织起来在这层次结构中，我们找到了基本的媒体对象，例如： * 静态图象（例如固定背景） * 视频对象（例如正在说话的人-没有背景） * 语音对象（例如和这个人相关的声音） MPEG-4把这样大量的能够表现2-D或3-D自然和合成内容类型的基本媒体对象标准化附加在上面提到的、除媒体对象之外，MPEG-4定义了如下对象的编码表示法， * 文本和图形； * 文本和图形； * 用来合成语言和运动头部的正在讲话的合成的头部和相关的文本； * 合成的声音 编码形式的媒体对象是由在语音视频景象中处理该对象的描述元素和相关流数据组成。
重要的是在编码形式下每个媒体对象都能独立与它的环境或背景独立表现考虑到要求的功能，这种媒体对象的编码表示法是尽可能的高效的这些功能包括差错鲁棒性、易释性和可编辑性 2.2.2 媒体对象的组合 基本媒体对象相应于描述树中的叶子，而组合媒体对象包含了整个子树例如：相应于正在说话的人的视频对象和相应的声音捆绑在一起形成一个新的组合媒体对象，包含了那个人的语音和视频部分 * 这样的组成允许作者构建复杂的景象，使客户能处理有意义的对象 * 更普遍地，MPEG-4提供了一种描述景象的标准化方式，例如允许： * 在给定坐标系内随处放置媒体对象； * 应用变换来改变媒体对象的几何和声学表现； * 整合基本媒体对象以形成组合媒体对象； * 应用流数据于媒体对象以更改属性（例如声音，属于某对象的移动中的文本，驱动合成面孔的动态参数成面孔的动态参数； * 交互式地改变用户在景象中的任何视听点 景象描述是建立在来自于对象合成结点的结构和功能意义上的虚拟现实（VRML）的一些基本概念而且扩展为完全实现上述特点 2.2.3 媒体对象流数据的描述和同步 一个MPEG-4影音场景的例子媒体对象可能需要在一个或多个基本流中传输的流数据。
对象描述符把与媒体对象相关的所有流中区分开来这就允许处理分层编码数据、内容变化信息的联系（称?quot;对象内容信息"）和相关的知识产权每个流自身由一套配置信息的描述符所区别，例如用来决定需要编码源和编码的时间信息精度而且描述符可以携带传输需要的QoS的线索（例如最大位速率、位差错速率、优先级等）基本流的同步是通过基本流内单个访问单元的时标实现的同步层管碚庋姆梦实ピ褪北甑氖侗稹６懒⒂诿教謇嘈椭猓貌阍市硎侗鸪龇梦实ピ睦嘈突指疵教宥韵蠡蚓跋竺枋龅氖被夷茉谄浼涫迪滞健８貌愕挠锓ǹ梢远嘀址绞脚渲茫市碓谛矶嘞低持惺褂谩? 2.2.4 流数据的传输 在不同QoS的网络中从源到目的的流信息的同步传输，是由上述的同步层和包含两子层的复合传输层确定的第一个复用层根据MPEG-4标准的Part6中的DMIF规范进行管理这种复用可在MPEG定义的FlexMux工具中体现，该工具允许以低复用费用组合基本流（ESS）例如该层的复用可用来组合相似QoS需求的基本流，减少网络连接数或者端-端延迟，TransMux（传输复用）层搭建了提供匹配需求QoS的传输服务的层MPEG-4仅确定了该层的接口而具体的数据包和控制信号的规划必须与各传输协议上有权的实体进行协商。
任何现存的合适的传输协议栈，例如（RTP）/UDP/IP、（AAL5）/ATM或者MPEG-2在适合链路层上的传输流都可能成为TransMux的实例选择权留给了最终用户和服务提供商，而允许MPEG-4用于广泛的运行环境中 FlexMux复用工具的使用是可选的，如果下层的TransMux实例提供了所有要求的功能，该层必须为空而同步层总是存在的以下是可行的： 1． 识别访问单元，传输时标和时钟参考信息以及检测数据丢失； 2． 传输控制信息以实现： * 为每个基本流和FlexMux流指示需要的QoS； * 翻译这样的QoS需求为实际网络资源； * 连接基本流到媒体对象； * 转换基本流的映射为FlexMux和TransMux通道 部分控制功能在和DMIF框架这样的传输控制实体联结后才可实现 2.2.5 与媒体对象交互 总体来说用户看到的是依据作者设计组合而成的影象然而，用户和影象交互的可能性依赖于作者所允许的自由度用户可能被允许进行的操作包括： * 改变景象的视/听点，例如在景象中漫游； * 把景象中的对象拖到不同的位置上； * 点击特定对象以触发一系列。