《数字媒体技术概述》由会员分享，可在线阅读，更多相关《数字媒体技术概述（63页珍藏版）》请在金锄头文库上搜索。
1、数字媒体处理技术课程定位*提纲o 1.1 数字媒体的基本概念 o 1.2 数字媒体处理关键技术 o 1.3 数字媒体标准简介 o 1.4 数字媒体技术的应用41.1 数字媒体的基本概念 n计算机的社会角色计算 信息交流 智能服务信息交流(人类发展和人的成长/计算机发展)情感语言文字bits (简单化、精确化) 情感原始信号频率的2倍时，采样信号才可以保真地恢复为原始信号。Step 2:量化与失真o 将采样样本的幅度按照量化级别决定其取值的过程。目的是 将采样样本的幅度值离散化。 o 量化之前需要规定量化级，比如8级，16级，256级等。 o 量化是一个对一的映射。例如：画图软件的颜色级别为什么
2、感知很重要？o 失真评价的基础 o http:/www.libertarian.on.ca/images/Florida%20Recount.jpgStep 3:编码与压缩o 编码 n用相应位数的二进制代码表示量化后的采样样本的量级。 n如果有N个量化级为，那么对应的二进制位数就为log2N。当N 16，二进制需要4位。 n经过编码之后，每个样本都表示为相应的二进制代码。 o 脉冲编码调制（PCM，Pulse Code Modulation）,完 成模拟信号的数字化为什么需要数据压缩？o 压缩编码的理论基本原理 n从信息论的角度来看，压缩就是去掉信息中的冗余，即保留 不确定的信息，去除确定的信
3、息(可推知的)，也就是用一种 更接近信息本质的描述来代替原有冗余的描述。 o 信息冗余的例子 n你的朋友，Helen，将于明天晚上6点零5分在上海的虹桥机场接你 。(23*2+10=56个半角字符) n你的朋友将于明天晚上 6点零5分在虹桥机场接你。(20*2+3=43个半角字符） nHelen将于明晚6点在虹桥接你。(10*2+7=27个半角字符） n结论：只要接收端不会产生误解，就可以减少承载信息的数据量。多媒体领域中的冗余分类o 统计冗余 n空间冗余规则物体的物理相关性 n时间冗余视频与动画画面间以及音频帧 间的相关性 o 信息熵冗余 n编码冗余数据与携带的信息 o 结构冗余 n纹理冗余
4、规则纹理、相互重叠的结构表 面 o 视/听觉冗余 n视觉、听觉敏感度和非线性感觉 o 知识冗余 n凭借经验识别1011 0001 11001011 0001 11001011 0001 11001011 0001 1100 0101 1010 10100101 1010 10101011 11001011 1100 0101 1111 10100101 1111 10102 22424色色2 28 8色色数据压缩o 数据压缩可分成两种类型 n无损压缩 n有损压缩 o 无损压缩 n指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重 构后的数据与原来的数据完全相同 n用于要求重构的信号与原始信
5、号完全一致的场合。一个很 常见的例子是磁盘文件的压缩。 o 有损压缩 n指使用压缩后的数据进行重构，重构后的数据与原来的数 据有所不同，但不影响人对原始资料表达的信息造成误解 。 n适用于重构信号不一定非要和原始信号完全相同的场合。压缩策略o 无损压缩(Lossless Compression) n哈夫曼编码(Huffman Coding) n自适应哈夫曼编码 nLempel-Ziv-Welch (LZW) p 用于GIF nJPEG-LS o 有损压缩(Lossy Compression) nJPEG nH.261, MPEG-1, MPEG-2 o 无损+有损(Lossless and L
6、ossy Together) nJPEG 2000数据压缩的性能指标o 衡量压缩算法的三个主要性能指标 （1）压缩比； （2）压缩质量（失真）； （3）压缩与解压缩的速度。 o 不能兼得时要综合考虑 o 压缩质量评价 n主观评价 ：平均意见得分（MOS）、五分制（优良中差劣） n客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图像）、 分段信噪比（音频）、似然比、谱失真测度编码方式举例：哈夫曼编码(Huffman Coding)o Huffman编码属于信息熵编码的方法之一，是根据信源 符号出现概率的分布特性而进行的压缩编码。 o 也称为最佳编码，平均码长最短。 o 编码过程： n1.
7、初始化:将信源符号按频率递减顺序排列,输入L; n2. 重复如下操作直至L中只有1个结点: (a)从L中取得两个具有最低频率的结点，为它们创建一个父结 点； (b)将它们的频率和赋给父结点，并将其插入L; (c) 将树的左右孩子赋符号“0”和“1”，并从L中删除。 哈夫曼编码(Huffman Coding)示例o输入： “ALOHA HAWAII” o频率： 4A, 2H, 2I, 1L, 1O, 1 space, 1W o96 bits (8 bits * 12 characters) to 32 bits:AIHLspaceWO010000011111A=0, I=100, H=101,
8、L=1100, space=1101, etc. 例子：Java applet example at http:/www.cs.sfu.ca/CC/365/li/squeeze/index.html331.3 数字媒体标准简介 为什么需要媒体标准？o 数字媒体标准是相关技术与产业之基础！ n技术基础：采用不同标准的数字媒体，其压缩、编码、传输、内 容分析与检索等技术有所不同 n产业基础：五环相扣技术、专利、标准、产业、应用 o 例子：全球电视竞争的转折点在MPEG-2 (1996)数字媒体领域的主要技术标准o JPEG o MPEG系列： MPEG-2/4/7/21 o H.26x系列：H.2
9、61/3/4 o AVSJPEGo JPEGnJPEG (Joint Photographic Experts Group)标准(ISO 10918)是ISO和ITU联合提出的通用静态图像压缩国际标准。 o JPEG的重要特性n设定压缩参数n在解码速度和图像质量间均衡n无损压缩原始 图像重构 图像逆向离散 余弦变换正向离散 余弦变换量化逆量化编码解码压缩 图像量化表编码表Quality level: 90 File size: 10,582 bytes Quality level: 50 File size: 5,154 bytes Quality level: 1 File size: 92
10、3 bytes JPEG 2000压缩标准oJPEG 2000(ISO 15444)是JPEG的更新换代标准，针对Internet应用和无线通 信等领域。 n关键技术：以离散小波变换DWT为主的多解析压缩方式 n核心算法：EBCOT n高压缩比：比JPEG压缩性能提高30% oJPEG与JPEG 2000的性能比较标准JPEGJPEG 2000 标题连续色调静态图像的数字压缩编码新一代静态图像编码标准 日期1986.3-1992.101996.2-2000.12 压缩比2-30:12-50:1主要技术离散余弦变换DCT Zigzag扫描哈夫曼编码 算术编码离散小波变换DWT EBCOT核心算法
11、 ROI编码空间可扩展编码应用场合Internet数字照相 图像视频编辑Internet数字照相 打印、扫描、移动通信MPEG系列标准oMPEG系列标准由国际标准化组 织和国际电工委员会第一联合技 术组( ISO/ IEC JTC1) 制定的。 oMPEG视频标准 nMPEG-1：数字电视标准，1992年正式 发布。 nMPEG-2：数字电视标准，1994年成为 国际标准草案。 nMPEG-3：已于1992年7月合并到高清 晰度电视(High-Definition TV，HDTV) 工作组。 nMPEG-4：多媒体应用标准(1999年发 布)。 nMPEG-7：多媒体内容描述接口标准 (200
12、1年发布)。 nMPEG-21：有关多媒体框架的标准(正 在研究)。 nMPEG-A：多媒体应用格式标准(正在 研究)。MPEG-1oMPEG-1标准编号ISO/IEC11172，标准名称为“用于码率约为1.5Mbps 时用于数字存储媒体的动像及伴音的编码”。 oMPEG-1的基本目标 n在音像质量上，达到VHS/VCD的放像质量 n在存储上，可存储在光盘、数字录音带、硬盘等 n在传输码流上，为1-1.5Mbps，以1.2Mbps为宜 n在网络方面，应适应LAN、ISDN等多种网络 n满足对称和不对称应用 oMPEG-1的基本内容 n几种伴音压缩数据和图像数据的复用； n图像的压缩； n伴音的
13、压缩。 oMPEG-1的特点 n使用MPEG-1的压缩算法, 可将一部120分钟长的电影压缩到1.2GB左右。因 此, 它被广泛地应用于VCD制作。MPEG-2o MPEG-2是MPEG-1 的扩展。标准编号ISO/IEC 13818，标准名称为“运 动图像及其伴音信息的通用编码”。主要内容为： n码率为4-9Mbps，最大15Mbps; n涵盖MPEG-1全部内容; n规定数字存储媒体命令和控制扩展协议，用于管理数据流(DSM-CC); n先进的声音编码方案; n规定系统解码器实时接口扩展标准，用来适应网络传输; nDSM-CC一致性扩展测试; n先进声音编码标准修正。 oMPEG-2的特点
14、 n利用网络提供的3100Mbps的数据传输率，支持具有更高分辨率图象的压缩和更高的 图象质量； n可支持交迭图象序列（每帧图像由两个场组成），支持可伸缩性编码，多种运动估计 方式，提供一个较广的范围改变压缩比； n可以适应不同画面质量、存储容量和带宽的要求，为此定义了不同的功能档次（profile ，框架），每个档次又分为不同的等级（level）。 o和MPEG-1主要区别 n隔行扫描制式；DCT变换可在帧内，也可在场内。用户可自行选择，亦可自适应选择 。MPEG-4o MPEG-4标准编号ISO/IEC14496， 标准名称为“甚低速率视听编码 ” n1998年11月公布第一版，1999年
15、12月公布了第二版，共分为6个部分。 o 目标是低速率下（64kbps）的视频、音频编码， 更加注重多媒体 系统的交互性和灵活性。 o 引入了视听对象(Audio-Visual Objects，AVO) nAVO可以是孤立的人，也可是这个人的语音或一段背景音乐等。 nAVO具有高效编码、高效存储、高效传播以及可互操作的特性。 nMPEG-4对AVO的操作主要有：采用AVO来表示听觉、视觉或者视听组合内 容；生成复合的AVO；对AVO的数据灵活地多路合成与同步；对AVO进行 交互操作等。 o MPEG-4的特点 n与MPEG-1和2相比，MPEG-4更适于交互视听服务以及远程监控。 n设计目标使
16、它具有更广的适应性和可扩展性。 nMPEG-4能以很低的速率基本实现DVD的质量；由于属于一种高比率有损压 缩算法，其图像质量始终无法和DVD的MPEG-2相比。举例：MPEG-4视听场景的说明o由4个复合媒体对 象（人，背景， 家具，音视演示 ）组成。o系统定义了一个 场景坐标系, 然后 可以指定组成该 场景的媒体对象 在该坐标系中的 位置，并可设定 用户观察该场景 时所在的坐标位 置，这些位置信 息都会包含在场 景的描述中。MPEG-7oMPEG-7是一种用于信息检索的内容表示的标准。标准编号ISO/IEC 15938 nMPEG-7将建立各种类型多媒体信息的标准的描述方法。这种描述与内容关联在一起， 支持对用户感兴趣的材料的快速、高效的检索。 oMPEG-7 的目标是: n规定 a standard set of descriptors 用来描述各种类型的多媒体信息, n对描述符及其相互关系的预定义结构(称为Description Schemes)以及用户定义自己的结 构
