《编码理论 第二版 教学课件 ppt 作者 田丽华 第6-11章 第9章》由会员分享，可在线阅读，更多相关《编码理论 第二版 教学课件 ppt 作者 田丽华 第6-11章 第9章（124页珍藏版）》请在金锄头文库上搜索。
1、第9章 限失真信源编码,9.1 离散信源信息率失真理论 9.2 连续信源信息率失真理论 9.3 量化编码 9.4 预测编码 9.5 变换编码,9.1离散信源信息率失真理论 9.1.1失真函数及保真度准则 由于只涉及信源编码问题。所以可以将信道编码和译码看成是信道的一部分。这样接收者收到消息后所产生的失真（或误差）只是由信源编码带来的。从直观感觉可知，若允许失真越大，信息传输率可越小; 若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真（或误差）是有关的。为了定量地描述信息传输率和失真的关系，可以略去广义的无扰信道，所谓广义无扰信道是指，把信道编码、信道、信道译码这三部分看成
2、一个没有任何干扰的广义信道。这样通信系统可简化成如图9-1所示。,图9-1 简化的通信系统,1基本离散信源失真 设离散无记忆信源：,信源符号通过信道传输到接收端，则接收端的接收量为,对应于一对（u,v），定义一个非负函数：,d(ui,vj)0 ， ( i1，2，n；j1，2，m),(9-1),由于信源U有n个符号，而接收V有m个符号，所以d(ui,vj)就有nm个，这nm个非负的函数可以排成矩阵形式，即,（9-2）,称 它为失真矩阵，它是nm阶矩阵。,失真函数有多种形式，应尽可能符合信宿的主观特性；也就是主观上的失真感觉应与d(ui,vj)的值相对应。越大，所感觉到的失真也越大，而且最好成正比
3、。当uivj时，d应等于零，表示没有失真，当uivj时，d为正值。设x为信源输出信息，y为信宿收到信息，则常用失真函数有： 均方失真： d(x,y)(xy)2 绝对失真： d(x,y)|xy| 相对失真： d(x,y)|xy|/|x| 汉明失真：,均方失真和绝对失真只与(xy)有关，而不是分别与x及y有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量对数成正比，但在数学处理中就要困难得多。其实选择一个合适的失真函数，要完全与主观特性匹配已是非常困难的，更不用说还要易于数学处理。前三种失真函数适用于连续信源，最后一种失真函数适用于离散信源，汉明失真函数表示当接收符号
4、与发出信道符号相同时，就不存在失真和错误，所以失真度为零。当接收到符号与发送符号不同时，就存在失真。而且认为只要发送符号与接收符号不同所引起的失真都相同，失真度为常数，这里常数值为1（称为汉明失真）。,例9-1二元对称信源，信源U0，1，接收变量V0,1在汉明失真定义下，失真函数为：,d (0,0)d(1,1)0 d(0,1)d(1,0)1,它表示当信源发送符号0（或符号1）而接收到的符号仍是0（或符号1）时，则认为无失真或无错误存在。反之，若发送信源符号0（或符号1）而信宿接收符号1（或符号0）时，则认为有错误，并且这两种错误后果是等同的。失真矩阵为,例9-2设信源 U0,1,接收变量V0,
5、1,2定义失真函数为： d(0,0)d(1,1)0, d(0,1)d(1,0)1, d(0,2)d(1,2)0.5 则失真矩阵：,【例93】 信源U0,1,2,接收变量V0,1,2,均方失真函数为d(ui,vj)(uivj)2,求失真矩阵。 解 由失真定义得失真矩阵为,因为信源U和信宿接收量V都是随机变量，所以单个符号失真度d(ui,vj)也是随机变量。那么，现在定义传输一个符号引起的平均失真，即信源平均失真为,（9-3）,式中 ui 信源输出符号，i1，2，n； p(ui)信源符号ui对应概率； vj信宿接收符号；j1,2,，m； p(vj|ui)广义无扰信道传递概率。 单个符号的失真度d(
6、ui,vj)描述了某个信源符号通过传输后失真的大小，对于不同的信源符号和不同的接收符号，其值是不同的。但平均失真度已对信源和信道进行了统计平均，所以此值是描述某一信源在某一广义无扰信道（或称为试验信道）传输下的失真大小，是从总体上描述整个系统的失真情况。,例9-4等概信源，通过信道转移概率矩阵P的信道传输，失真测度为均方失真测度，求平均失真。信道转移概率矩阵为,解:,2.N次扩展信源失真 从基本离散信源失真度出发，可以定义N次无记忆扩展信源的失真函数和平均失真度。扩展信源失真度（失真函数）：,（9-4）,式中：S信源的一个输出序列，,Y 信宿的一个接收序列，,式（94）表明，扩展信源的失真度等
7、于序列中对应单个信源符号失真度之和，单个符号失真度为d(S,Y)/N。 由此可得N次扩展信源平均失真度为,（9-5）,则单个信源符号平均失真度：,（9-6）,当信源与信道都是无记忆时，N次扩展信源平均失真度：,（9-7）,式中： 扩展信源中第l个分量平均失真度。 此时单个信源符号平均失真度：,（9-8）,若平均失真度不大于所允许的失真D，即：,（99）,称式（9-9）为保真度准则。,N次扩展信源的保真度准则是：平均失真度D(N)不大于允许失真ND，即,(9-10),例9-5离散无记忆信源，离散无记忆信道分别为,因失真测度为汉明失真测度。求平均失真及二次扩展信源的单个符号平均失真。,解:由式（9
8、-3）可计算得,对上述信源作二维扩展，可得扩展信源概率分布为,二次扩展信道矩阵,由式（9-4）得二次扩展信源失真矩阵，将其除2得单个符号失真矩阵为,由式（9-5）得二次扩展信源平均失,或者根据式（9-8）也可得二次扩展信源平均失真,912信息率失真函数 在信源给定，又定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。或者说，在满足保真度准则下，寻找信源必须传输给信宿的信息率R的下限值。从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(U；V)来表示，这就变成了在满足保真度准则的条
9、件下（ D D ）,寻找平均互信息I(U；V)的最小值。可以在D失真许可的试验信道集合BD中寻找某一个信道p(vj | ui)，使I(U；V)取最小值。由于平均互信息I(U;V)是p(vj | ui)的U型凸函数，所以在BD集合中，极小值存在。这个最小值就是在D D条件下，信源必须传输的最小平均信息量。即：,（9-11）,（9-12）,在研究信息率失真函数R(D)时，引用的条件概率p(v|u)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。N次无记忆扩展信源的信息率失真函数RN(D)：,（9-13）,9.1
10、.3 信息率失真函数定义域及性质 1R(D)的定义域(Dmin,Dmax) 1)min和R(Dmin),（9-14）,（9-15）,则可得信源的最小平均失真度为,（9-16）,(9-17),但是，式(9-17)能否成立是有条件的，它与失真矩阵形式有关、只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零时，式(9-17)才成立。否则R(0)可以小于H（U），它表示这时信源符号集中合些符号可以压缩，合并，而不带来任何失真。即,（9-18）,（918）,解：由式(9-16)可知最小允许失真度为,由式（9-15）得满足最小允许失真度的试验信道是一个无噪无损的试验信道，信道矩阵为,例9-7设信源及
11、失真矩阵分别为 ：,信宿 求及其对应的信道。,解：由式（9-16）计算得,由式（9-15）可知，使平均失真度达到最小值 的信道必须满足,例9-8 改变例9-7的失真矩阵使 ，求对应失真矩阵及对应信道？ 解：若失真矩阵改成,失真矩阵与失真矩阵Dij之间满足,则,同样， 集合中的信道必满足,（9-19）,(9-20),(9-21),那么，通过试验信道的平均交互信息量,(9-22),(9-23),的约束条件下，信宿V不需获取信源U任何信息量。当然，信源U也就不需输出任何信息量，均可满足保真度准则 。所以，这时的信源U的信息率失真函数为,（924）,例9-9 设二元离散信源,解： 由（9-20）式得最
12、大允许失真度,j=2,2.函数的性质 无论是离散信源还是连续，函数都有以下特性： (1)信息率失真函数有,或写成,对于离散信源，只有当失真矩阵中每行至少有一个零元素，并每一列最多只有 一个零元素时，才有 ;,(9-25),(9-26),(9-27),的条件下，使,(9-28),最小化。,在原则上，应用拉格朗日乘子法可以求出解来，但如果要得到明显的解析表达式，那是比较因难的，通常只能用参量形式来表达。即便如此，除简单情况外，实际计算仍然是相当困难的。尤其是对于约束条件式(925)，它是求解R(D)函数的最主要障碍。因为应用拉格朗日乘子法解得的一个或几个p(vj|ui)很可能是负的。在这种情况下，
13、首先必须假设某些p(vj|ui) 0，再重新计算，这会使得计算复杂化。目前，可采用有效的迭代算法在电子计算机上求解R(D)函数。,(9-29),(9-30),式中计算公式,(9-31),（9-32）,极小值对应的试验信道,9.1.5 离散信源计算 对基本离散信源，若规定失真函数为汉明失真度，其失真矩阵,对于一般试验信道的信道矩阵,其平均失真度,（934）,（935）,（936）,试验信道集合BD中的所有试验信道的平均错误传递概率Pe都等于允许失真度D，即有,（937）,另一方面，由式(934)和(935)可知，式(937)中的的Pe数学表达式为,（938）,这个表达式在数学上与费诺不等式中的P
14、e完全相同，因此由费诺不等式有,(939),（940）,（941）,这就是在汉明码失真度下，离散信源U的信息率失真函数的一般表达式。,【例910】 设二元离散信源,（942）,这个信道是唯一的试验信道，其平均交互信息量就等于信息率失真函数：,（9-43）,因为（9-42）式所示信道矩阵中每列只有一个非零元素“1”，所以其疑义度，信息率失真函数,（944）,由式（920）得最大允许失真度为,（j=2）,（945）,这个信道也是唯一的试验信道，其平均交互信息量就等于信息率失真函数:,（946）,显然，式（945）所示为试验信道的噪声熵H(V|U)=H(V)，所以,当允许失真度D取最大允许失真度 时
15、，信源U的信息率失真函数为,（947）,允许失真度D处于最小允许失真度Dmin=0与最大允许失真度Dmax=之间，即0D，给定二元离散信源U的信息熵H(U)=H,1-=H()，由式（941）可得给定二元离散信源U的信息率失真函数为,在汉明失真度下，二元离散信源R（D）表达式,（948）,图9-2 二元离散信源函数,由图9-2可看出，当二元离散信源U的概率分布确定时，信息率失真函数R(D)是允许失真度D的函数。允许失真度D越大，R(D)函数越小，信源U可压缩程度就越大；允许失真度D越小，R(D)函数就越大，信源可压缩程度就越小。另一方面，对于同一允许失真度D来说，信源U的概率分布越接近12，信源分布越均匀，R(D)函数越大，信源U可压缩程度越小；信源U的概率分布越不接近12，信源分布越不均匀，R(D)函数越小，信源U可压缩程度越大。,9.1.6 保真度准则下的信源编码定理 定理91（限失真信源编码定理） 设离散无记忆信源U的失真函数为R（D），给定允许失真D，则当信息率RR（D），只要信源序列长度L足够长，一定存在一种编码方法，其译码平均失真小于或等于D，即 ，为任意小的正数；反之，若R0)，每一个信源符号的平均码长满足如下公式: 该定理指出，在失真限度内使信息率任意接近R（D）的编码
