《信息理论基础 第七章 限失真信源编码课件》由会员分享，可在线阅读，更多相关《信息理论基础 第七章 限失真信源编码课件（31页珍藏版）》请在金锄头文库上搜索。
1、第七章 限失真信源编码,本章需要掌握的内容：,失真测度 率失真函数 限失真信源编码定理,第一节 失真测度,一.失真函数,失真函数-用一个非负函数d (xi ,yj)表示当信源发出信息 xi ，而信宿收到信息yj 的失真度的定量描述,失真矩阵d,注意:-失真函数的形式是依实际情况人为决定的.,最常用的失真函数有：,矢量失真函数,例7-1 假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi , i=1,2,3的取值为0,1，经信道传输后的输出为Y=Y1Y2Y3 ，其中Yj , j=1,2,3的取值为0,1.定义失真函数为 d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1
2、,求矢量失真矩阵dN。,解：由矢量失真函数的定义得：,类似可以得到其他失真函数的值，则矢量失真矩阵为,-用来估计全体信源发出的信息与接收信息之间的失真程度。,二.平均失真函数,定义：失真函数的数学期望定义为平均失真函数（平均失真度）,矢量平均失真函数为：,：表示第i个位置上符号的平均失真函数。,例7-2 在语音线谱频率参数的矢量量化中，引入失真函数d(X,Y) ，该失真函数反映用码字Y代替线谱频率参数X时付出的代价。平均失真测度为失真函数的数学期望值。通常我们采用加权欧氏失真测度：,实验证明该方法比均方误差失真每帧节省2个比特以上,例7-3：设信源的符号表示为 ，各符号等概分布，规定失真函数为
3、,(1)如要求从平均意义上不允许有失真，即允许平均失真度D=0，此时信源输出的信息率是多少？ (2)如我们允许平均失真度D=1/2，也就是说，当收到100个符号，允许其中有50个符号以下的错误，此时信源输出的信息率可以是多少？,第二节 信息率失真函数,在采样率为8kHz的语音信号的子带编码中，如果采用小波变换把语音信号分解为4个子带，即24kHz，1kHz2kHz，5001000Hz，0500Hz。,一.保真度准则,规定平均失真度为D，则信源压缩后的平均失真度 的准则为保真度准则。,当失真函数及信源给定后，选择适当信道，使其平均失真度 满足保真度准则 。所有满足保真度准则的信道，称为D失真允许
4、试验信道，记作,在D允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定义为信息率失真函数，记为：,二.信息率失真函数R(D),含义：率失真函数是在给定信源、规定失真函数后，在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。,解：由信源概率分布可求出信源熵为,此时信源编码器的输出信息率为,按照最大的失真度来进行编码，即平均失真度,也就是说，当收到100个符号，允许其中有50个符号发生错误。设想采用下面的编码方法：,用信道表示如下：,该信道的平均失真度为：,由平均互信息的公式可知：,该编
5、码方法相当于一个确定信道，则,信道输出概率分布为：,则输出熵为,平均互信息：,即采用上面的编码方法后的信息率,比较率失真函数和该信道的信息率有：,说明该编码方法不是最好的编码方法,。,从两个方面应用这个率失真函数：,在WI语音压缩编码中，线谱频率的量化采用矢量量化，它是从第二个方面应用率失真函数来指导的。目前，每帧语音的线谱频率只需要20比特来表示就能达到透明量化质量。,-连续信源,三.率失真函数R(D)的定义域,信道传输的信息量等于信源的熵，即：,1.,-离散信源,2.,的定义域为：,如何求解出 呢？,此时的平均失真为,四.率失真函数的数学特性,1.下凸性,。,2.R(D)是关于D的单调递减
6、函数,结论：,五.R（D）函数的计算,设信源的输入序列为,信源编码器的输出序列为,规定失真函数为,的计算是在约束条件,求解偏导得到一系列重要的公式：,例7-5：设信源输入符号集为(0,1)，其中 。失真函数定义为 ， ，设输出符号集为(0,1)，允许的失真度为D，求率失真函数R(D)。,则有,解出,则有,解出,得到平均失真度为,则解出参量s为,第三节 限失真信源编码定理,限失真信源编码定理： 设离散无记忆信源X的信息率失真函数为R(D)，当信息率R R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+，为任意小的正数；反之，若R R(D) ，则无论采用什么样的编
7、码方法，其译码失真必定大于D。 定理指出，在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D) ，平均失真一定超过失真限度D。 说明:R(D)且允许平均失真度情况下，信源信息压缩下的限值。,第四节 常用限失真信源编码方法简介,一.标量量化,设门限为：,则：,通过量化器传输的信息率,量化带来的平均失真D为,设有信源序列,可令预测值为,二.预测编码,预测是用过去值预测未来值,并对它与实际值之差进行编码，达到进一步压缩码率的目的。,预测编码是利用信源的相关性来压缩码率的，对于独立信源，预测就没有可能。,线性预测是预测函数为各已知信源符号的线性函数，即,三.变换编码,A:线
8、性变换,为非奇异的去相关矩阵 Y:各个分量不相关 B:线性变换,是非奇异矩阵。,变换编码与理论上的压缩编码的区别是多了两个限制： 变换为线性变换 量化是对各分量独立进行 最终输出处的平均失真跟矩阵A、B以及量化方法等有关。,例7-6：若有一信源 每秒钟发出2.66个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传送两个二元符号。 （1）试问信源能否在此信道中进行无失真传输。 （2）若此信源失真度测量定义为汉明失真，即d(0,1)=d(1,0)=1，d(0,0)=d(1,1)=0，问允许信源平均失真多大时，此信源就可以在此信道中传播。,解 (1)信源熵为H（S）=1比特/符号,信源输出的信息传输速率Rt=2.66H（S）=2.66比特/秒,无噪无损信道的信道容量C=1比特/符号,则信道的最大信息传输速率Ct=C2符号/秒=2比特/秒,信源不能在此信道中进行无失真的传输,(2)信源的信息率失真函数为,信源单位时间内的信息率失真函数为,当 ，则此信源在此信道中传输时不会引起错误,总的信源失真是信源压缩编码所造成的允许失真D，则有,2=2.661-H（D）H（D）0.2481D0.0415,则允许信源平均失真约为0.0415时，此信源可在此信道中传输。,
