《多媒体通信技术第四章——视频数据压缩编码 (第1讲)》由会员分享，可在线阅读，更多相关《多媒体通信技术第四章——视频数据压缩编码 (第1讲)（53页珍藏版）》请在金锄头文库上搜索。
1、多媒体多媒体多媒体多媒体多媒体多媒体通信技术通信技术多媒体多媒体通信技术通信技术 第四章 视频数据的压缩编码 (第 讲) Multimedia Communication TechnologyMultimedia Communication TechnologyMultimedia Communication TechnologyMultimedia Communication Technology (第1讲) Multimedia Communication TechnologyMultimedia Communication TechnologyMultimedia Communicati
2、on TechnologyMultimedia Communication Technology Chapter 4：Video data compression 物理与电子信息物理与电子信息工工程学院程学院物理与电子信息程学院物理与电子信息程学院 阮秀凯 4. 4.1 1. .1 1 典型的编码器和解码器典型的编码器和解码器4. .4. . 典型的编码器和解码器典型的编码器和解码器 现在流行的图象压缩的国际标准无一例外地采用变换编码变换编码变换编码变换编码+运动运动运动运动 补偿补偿补偿补偿+熵编码熵编码的混合编码方案来实现图象以及图象序列（视频流）补偿补偿补偿补偿+熵编码熵编码的混合编码方
3、案来实现图象以及图象序列（视频流） 的压缩。 如H 261H 263MPEG1MPEG2如H.261， H.263， MPEG1， MPEG2 即用即用DCTDCT变换来消除图象的变换来消除图象的帧内相关性帧内相关性即用即用DCTDCT变换来消除图象的变换来消除图象的帧内相关性帧内相关性，用运动补偿来，用运动补偿来，用运动补偿来，用运动补偿来 消除图象序列的消除图象序列的帧间相关性帧间相关性消除图象序列的消除图象序列的帧间相关性帧间相关性。用熵编码来提高编码效率。用熵编码来提高编码效率。用熵编码来提高编码效率。用熵编码来提高编码效率。 框图见下，可见该编码算法的基础是混合的DCT/DPCM编，
4、 码方法与宏块结构、运动补偿的结合。 速率控制 图象分块DCT变换量化熵编码缓冲 输入输出 运动估计与补偿 MPEGMPEG对视频数据流规定了分层的结构对视频数据流规定了分层的结构: :对视频数据流规定了分层的结构对视频数据流规定了分层的结构 从顶层开始依次为： 第层是图像序列层第层是图像序列层它包含序列头若干个图像组层第第一一层是图像序列层层是图像序列层，它包含序列头、若干个图像组层 的数据以及序列终止符。 第二层是图像组第二层是图像组，它由定义的一组或多组帧内编码帧 （I帧）或非帧内编码帧（P帧或B帧）图像组成每组（I帧）或非帧内编码帧（P帧或B帧）图像组成。每组 包括组头和图像层数据。
5、第三层是图像层本身第三层是图像层本身，由图像头和宏块条层数据组成。 第四层是宏块条层第四层是宏块条层它由条层头和若干个连续的宏块组第四层是宏块条层第四层是宏块条层，它由条层头和若干个连续的宏块组 成。 第五层是宏块层第五层是宏块层，由宏块头加块层数据组成，图 像以亮度数据矩阵为基准分为1616像素的宏像以亮度数据矩阵为基准，分为1616像素的宏 块，作为运动补偿的基本单元宏块分为亮度宏块 和色度宏块，色度宏块大小与抽样格式有关。 第六层是块层第六层是块层由图像数据和块结束符组成，是进第六层是块层第六层是块层由图像数据和块结束符组成，是进 行离散余弦变换的单元。 在这六层数据结构相应的序列头图像
6、组头图在这六层数据结构相应的序列头、图像组头、图 像头、宏块条头、宏块头等头部包含了对MPEG 码流进行解码所需的起始码、定时、以及其他相 关的参数和信息关的参数和信息。 分割 运动图像序列 分割： 图片组（GOP） IBBPBBP 图片图片 条（Slice）块（Block） 宏块 16 8 Macro Block 16 8 对视频图像的压缩编码通常是分块进行的。对于4:2:0格对视频图像的压缩编码通常是分块进行的。对于格 式来说，亮度亮度图像块所包含的像素数目一般为16X16， 对应的色度色度块像素数为8X8。对应的色度色度块像素数为8X8。 一个亮度块及其对于的两个色信号块构成一个基本处理
7、 单元宏块（MacroblockMB）单元，宏块（Macroblock，MB）。 4:2:0宏块结构 4:2:2宏块结构 其中：Y，Cb和Cr JPEG文件使用的颜色空间 R RG GB B J 是电视图像信号数字化 标准ITU-RBT 601推荐标准推荐 准规定的YCb bCr r彩色空间。 从RGB转换成YCbCr的从转换成的 计算公式如下： Y = 0.299 R + 0.587G + 0.114 B Cb = - 0.1687R - 0.3313G + 0.5B + 128 Y = 0.299 R + 0.587G + 0.114 B Cb = - 0.1687R - 0.3313G
8、+ 0.5B + 128 Cr = 0.5 R - 0.4187G - 0.0813 B + 128Cr = 0.5 R - 0.4187G - 0.0813 B + 128 1图像信号的预处理图像信号的预处理1、图像信号的预处理图像信号的预处理 步骤如下步骤如下: （1）模拟RGB信号经过A/D变换成数字信号（1）模拟R、G、B信号经过A/D变换成数字信号； （2）经过非线性校正； （3）将RGB信号转换为亮度信号Y和色差信号U、V； （4）根据Yd=219Y+16 Cb=224U+128 Cr=224V+128Cr 224V+128 得到Yd，Cb和Cr，并统一记Yd=Y； （5）通过数字
9、滤波器将Cb和C 的带宽限制到Y信号的1/2（5）通过数字滤波器将Cb和Cr的带宽限制到Y信号的1/2； （6）在垂直和水平反向上分别进行2:1的抽取。 2 2 运动估计运动估计/ /补偿补偿2 2. .运动估计运动估计/ /补偿补偿 （1）对于一段每秒25帧的 视频流而言，每帧图象之间 往往差异不大，就是说相邻相邻 帧间有很强的相关性帧间有很强的相关性。 （2）如果如实将每帧都采（ ）如果如实将每帧都采 用前面的方法编码传输的话， 相当于传输了很多冗余的信相当于传输了很多冗余的信 息，导致带宽的浪费。 （3）运动估计和补偿技术运动估计和补偿技术（3）运动估计和补偿技术运动估计和补偿技术 就是
10、为了解决这一问题而出 现的技术。现的技术。 对第k帧中的一小块图 T1 V 对第k帧中的小块图 象T1，以及第k-1帧中 的一小块图象T2 T2T2 V 的一小块图象T2， （二者）大小相等。 我们可以计算二者之第k帧第k 1帧我们可以计算二者之 间的差异。 第k帧第k-1帧 假设T1和T2之间的差 异最小，我们可以得 图象小块间的差异可以用下面的公 式表示 MN 到一个运动矢量V。 2 12 11 ( , )( , ) MN mn dT m nT m n 如果我们在第k1帧中进行全搜索全搜索的话我们总可以找到如果我们在第k-1帧中进行全搜索全搜索的话我们总可以找到 与T1差异最小的图象块，当
11、然这一过程计算量很大计算量很大。 通过运动估计运动估计，我们可以为当前图象中每一个图象小 块从前一时刻的图象中获得一个最相近图象块并得块从前时刻的图象中获得个最相近图象块，并得 到一个运动矢量，将两图象块相减，就可以得到一个 差值图象块差值图象块。 于是我们只需要将前一帧最相近图象块的编号，运动 矢量和差值图象块传到接收端，就可以恢复出一帧图 象而差值图象块可以采用前面介绍的图象编码技术象，而差值图象块可以采用前面介绍的图象编码技术 做DCT变换、量化、熵编码。 在接收端显然需要根据发送端发来的信息做运动 补偿，首先根据运动矢量将前一帧的图象块移动 到相应的位置然后在加差值图象块到相应的位置，
12、然后在加差值图象块。 运动估计与补偿技术尽管需要很大的运算量，但运动估计与补偿技术尽管需要很大的运算量，但 可以实现视频流的极大压缩，所以至今仍是学术 界和工业界研究的热点和难点问题。 以往知识告诉我们： （1）DCT是先将整体图像分成88或1616像素块然后（1）DCT是先将整体图像分成88或1616像素块，然后 对像素块逐一进行DCT变换。 （ ）由于大多数图像的高频分量较小相应于图像高频分（2）由于大多数图像的高频分量较小，相应于图像高频分 量的系数经常为零，图像经过DCT变换后，DCT系数之间 的相关性经很小大部分能量集中在少数系数上的相关性已经很小，而且大部分能量集中在少数系数上；
13、只传送这部分系数给收端，既可以降低速率，且不至于损 失图像质量。 （3）传送变换系数的数码率要大大小于传送图像像素所用 的数码率。到达接收端后通过反离散余弦变换回到样值， 虽然会有一定的失真，但人眼是可以接受的。 二维离散余弦变换 DCT 11 1(21)(21) ()( ) ( )() NN xiyj DCT i jC i C jPixel x yCosCos 二维离散余弦变换(Discrete Cosine Transform,DCT)公式： 00 ( , )( ) ( )( , ) 222 xy DCT i jC i C jPixel x yCosCos NNN 二维反向离散余弦变换(I
14、nverse Discrete Cosine Transform IDCT)公式： 11 00 1(21)(21) ( , ) ( ) ( )( , ) 222 NN ij xiyj Pixel x yC i C jDCT i jCosCos NNN 二维反向离散余弦变换(Inverse Discrete Cosine Transform,IDCT)公式： 1 (0) 2 x 由于DCT和IDCT变换中只有实数运算，因此DCT变换 的实现较简单。实质上，DCT变换是要将源数据从 空间域变换到频率域由于图像采样值的差别经 ( ) 1(0) C x x 其中： 空间域变换到频率域。由于图像采样值的
15、差别，经 过变换之后，低频处的系数将变得最大，这说明信 号聚集在最小的空间频率内。只要保留这部分低频 系数，就可以实现数据压缩。系数，就可以实现数据压缩。 但是：按照上述基本公式写出的程序实现存在一个 严重的问题时间复杂度太高 右图为88DCT基本图像右图为88DCT基本图像。 任何88图像块都可以用 基本图像与变换系数乘积基本图像与变换系数乘积 的组合来表示。 C 系数矩阵左上角系数DCT系数矩阵左上角系数 对应空间直流分量，称为 DC系数，其他63个对应 交流分量，称为AC系数。 例： （1）进行块准备将一帧图像分成88的数据块 （2）设取得88输入图像子块的数据如下所示 13914414
16、9153155155155155139144149153155155155155 144151153156156156156156 150155156163158156156156150155156163158156156156 159161 162160160159159159 159160161 162162155155155 余弦变在 161161161161 160157157157 162162161163162157157157 162162161161163158158158 很显然，经过余弦变换后，在频域里，幅 度大的分量都集中在左上角的0频和低频 处。DC系数和相对低频分量的AC系数大， 而对应于高频分量的
