《DVIP04 信源编码和率失真理论》由会员分享，可在线阅读，更多相关《DVIP04 信源编码和率失真理论（52页珍藏版）》请在金锄头文库上搜索。
1、北京邮电大学信息与通信工程学院多媒体技术中心门爱东数字视频图像处理 Digital Video Image Processing信息与通信工程学院多媒体技术中心第04章 源编码和率失真理论Source Code and Rate-Distortion Theory 门爱东 教授 北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT内容提要 Outlinen 信源编码定理 n 信源压缩方法 n
2、图像冗余 n 率失真理论 n 无记忆信源的率失真理论 n 有记忆信源的率失真理论2北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT信源 编码信源信道 编码调制信道解调噪声干扰信道 解码信源 解码信宿二进制符号用二进制符号 流表示信源适应传输信 道的特性数字传输系统3北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信
3、源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPTn 信源的原始信号绝大多数是模拟信号，因此，信源编码的 第一个任务是模拟和数字的变换，即：A/D、D/A。取样频率取决于原始信号的带宽：fc = 2 w，w为信号带宽取样点的比特数决定编解码后的信号质量：SNR 6 L(dB)，L为量化位数 n 但是，由于传输信道带宽的限制，又由于原始信源的信号 具有很强的相关性，则信源编码不是简单的A/D、D/A，而 是要进行压缩。为通信传输而进行的信源编码，主要是压 缩编码。 n 信源编码要考虑的因素： 信源的统计特性。 传输信
4、道引入的损伤，如误码。 信宿的质量要求。数字传输系统概述4北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPTn 信源编码定理： 对于给定的失真率 D，总可以找到一种信源编码方法，只要信源速率 R 大 于率失真 R(D)，就可以在平均失真任意接近 D 的条件下实现波形重建。 说明1：R(D) 称为率失真函数，它是单调非增函数，速率越高，平均失真越小。 说明2：为了保证在一定速率下的失真，必需采
5、用信源编码，因而会引入编码延时 。n 信道编码定理： 如果信源速率 R 小于信道容量 C，总可以找到一种信道编码方法，使得信 源信息可以在有噪声信道上进行无差错传输，即：R C，无差错传输条件 。 说明1：信道容量 C 是根据仙侬定理得到的 C Wlog2(1+S/N) 说明2：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。数字传输系统信源和信道编码5北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication C
6、entre, BUPTn 信息传输定理： 将信源编码定理和信道编码定理综合，就得到信 息传输定理。即：为保证无差错传输及失真度， 必需满足：R(D)RC，即 C R(D)。说明1：在一般数字通信系统中，信源编码和信道编码可 以分开考虑。信道编码定理给出无差错的速率上限 RR(D) ，只要信 源序列长度足够长，一定存在一种编码方式，其解码失真 D +， 为任意小的正数。 n 逆定理：当码率 RDmax 时，R（D）=0 。 即 Dmax 为所有满足 R(D)=0 的 D 中最小值，即选择几个 bk ，使其失真 dk 最小者即为 Dmax 。DmaxH(X)DR(D )038北京邮电大学信息与通信
7、工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT率失真函数的性质：定义域nDmax 的计算R(D)0 就是 I(X;Y)0，这时编码器的输入与输出是互相独立的， 所以条件概率 Q(bk|aj) 与 aj 无关。即此时平均失真为求出满足条件 的 D 中的最小值，即39北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真,
8、 Men Aidong, Multimedia Telecommunication Centre, BUPT率失真函数的性质：定义域从上式观察可得：在 k=1,2,3,n 中，可找到使 值最小的 k，当该 k 对应的 Q(bk) =1 ，而其余 Q(bk) 为零时 ，上式右边达到最小，这时上式可简化成40北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT例题：设输入输出符号表为 X=Y 0,
9、 1 ，输入概率分 布为 n 失真矩阵为则当Dmin = 0 时， 比特/符号，这时信源编码器无失真，所以该编码器的条件 概率为 率失真函数的性质：定义域41北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPTn 当 R(Dmax)=0 时，此时输出符号概率 所以这时的编码器的条件概率为 率失真函数的性质：定义域对应 k=2，此时 Q(b2)=1, 其他Q(bk)为042北京邮电大学信息与通信
10、工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT率失真函数的性质：函数值 在定义域 DminDDmax 内，R(D) 是正的、连续的下凸函 数（单调递减）。 容许的失真度越大，所要求的码率越小。 反之亦然。H(X)：信源的熵 R(0)：刚刚察觉质量失真时的码率DR(D)DmaxH(X) R(0)H(X)DR(D)043北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Im
11、age Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT无记忆高斯信源的率失真函数n 信源：0 均值、方差为 2 的高斯分布 n 失真函数（平方误差）：d(x,y) = (x-y)2 n 失真限制（均方误差）：E(X-Y)2 Dn 方法： 找到互信息 I(X; Y) 的下界证明该下界是可以实现的n 互信息：微分熵：44北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong,
12、Multimedia Telecommunication Centre, BUPT无记忆高斯信源的率失真函数n 最小化互信息 I(X; Y) h(X) h(X-Y) 可最大化 h(X-Y) 当 (X-Y) 为高斯分布时，熵最大。而失真限制为 E(X-Y)2 Dn 所以当 h(X-Y) 是方差为 D 的高斯分布的微分熵时，下界 为上述下界：Y 为 0 均值、方差为 2-D 的高斯分布，且方差相同时，高 斯分布的熵最大45北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Mu
13、ltimedia Telecommunication Centre, BUPT高斯信源非高斯信源无记忆高斯信源的率失真函数n 当 D2 时，Y=0，则 I(X; Y) = 0且 E(X-Y)2 =2 Dn 所以无记忆高斯信源的率失真函数为n 对于具有相同方差 2 的非高斯信源的 R(D) 通常 位于这个 R(D) 曲线之下。 (因为在一定功率下， 高斯分布信源的熵最大） n 无记忆高斯信源代表了最不利于编码的情况，因 为绝大多数图象既不是高斯分布，也不是不相关 的象素。 n 也就是说，对于非高斯分布和相关的信源，在同 样的失真度下，所需要的比特率低于上述值。斜率为 6dB/bit 的直线 ，码
14、字长度每增加 1位 ，SNR 增加 6dB。46北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT有记忆高斯信源的 R(D) 函数n 图象中相邻象素间的相关系数可由图象的自相关函数确定，也可以 由它的功率谱（自相关函数的傅立叶变换）确定。 n 虽然相关的高斯信源的率失真函数不能表示成一个最终的表达式， 但失真度和数据率都可表示成另一个参数 的函数。 具有功率谱 uu(w) 的联合高斯信源 均
15、方误差失真 D = E(X-Y)2 R(D) 函数的参数公式n 具有相同功率谱密度的非高斯信源的 R(D) 通常更低。当取遍整个范围， 这两公式就确定了 率失真函数。47北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT视频信号的率失真函数n 信号模型：高斯 pdf 信源，其自相关函数按指数递减:n 功率谱密度相邻象素间 的相关系数 48北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码编码 和率失真, Men Aidong, Multimedia Telecommunication Centre, BUPT视频信号的率失真函数n 均方误差失真 D = E(X-Y)2 n 在较大比特率时它的率失真 SNR 曲线就落在了不相关曲线下方 2.3bit 的位置，就是说，可以利用相邻象素之间的相关性将比特率降 低 2bit/象素。但率失真理论没有指出如何实现这个结果。49北京邮电大学信息与通信工程学院多媒体技术中心门爱东* Digital Video and Image Processing 信源编码
