《信息率失真函数第4章2》由会员分享，可在线阅读，更多相关《信息率失真函数第4章2（31页珍藏版）》请在金锄头文库上搜索。
1、信息率失真函数第4章2Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望4.14.1 平均失真和信息率失真函数平均失真和信息率失真函数4.24.2 离散信源和连续信源的离散信源和连续信源的R(D)计计算算内容内容2对对 比比信道容量和信息率失信道容量和信息率失真函数真函数3平均互信息平均互信息平均互信息平均互信息I(X;Y)： 固定固定p(yj|xi)，则信源的概率分布，则信源的概率分布p(xi)的上凸的上凸函数。函数。 固定固定p(xi)，则信道传递概率，则信道传递概率p(yj|xi
2、)的下凸函的下凸函数。数。信道容量信道容量信息率失真函数信息率失真函数含义含义假定信道固定的前假定信道固定的前提下，选择一种试提下，选择一种试验信源使信息传输验信源使信息传输率最大。率最大。含义含义假定信源给定的情况假定信源给定的情况下，用户可以容忍的下，用户可以容忍的失真度内再现信源消失真度内再现信源消息所必须获得的最小息所必须获得的最小 平均信息量。平均信息量。4回顾回顾平均失真和信息率失真平均失真和信息率失真函数函数5I 失真函数失真函数 对任一对任一 ，指定一个非负数，指定一个非负数失真函数失真函数失失真真矩矩阵阵6II 平均失真平均失真 将失真函数的数学期望称为将失真函数的数学期望称
3、为平均失真平均失真：失真函数失真函数d(xi,yj)：描述了描述了某个信源符号某个信源符号通过传输后失真的大小通过传输后失真的大小平均失真平均失真 ：描述描述某个信源某个信源在某一试验信道传输下的失真在某一试验信道传输下的失真大小，它对大小，它对信源和信道进行了统计平均，信源和信道进行了统计平均，是是从从总体总体上描述整个系统的失真上描述整个系统的失真7R(D)：在限定失真为在限定失真为D的条件下信源输出的最小信的条件下信源输出的最小信息速率。息速率。 若从接收端来着，就是在满足保真度准则下，寻若从接收端来着，就是在满足保真度准则下，寻找再现信源消息所必须获得的找再现信源消息所必须获得的最低平
4、均信息量最低平均信息量。即在满足保真度准则的条件下寻找平均互信息即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。的最小值。III 信息率失真函数信息率失真函数R(D)84.14.1 平均失真和信息率失真函数平均失真和信息率失真函数4.24.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算内容内容94.1.44.1.4 信息率失真函数的信息率失真函数的性质性质104.1.4 信息率失真函数的性质信息率失真函数的性质1 R(D)的定义域的定义域率失真的定义域率失真的定义域问题问题问题问题就是在信源和失真函数已就是在信源和失真函数已知的情况下，讨论允许知的情况下，讨论允许平
5、均失真度平均失真度D的的最小最小和和最最大大取值问题。取值问题。由于平均失真度是非负实数由于平均失真度是非负实数d(xi,yj)的数学期望的数学期望,因此也是非负的实数，即因此也是非负的实数，即 的的下界是下界是0。允许平均失真度能否达到其下限值允许平均失真度能否达到其下限值0，与单个符，与单个符号的失真函数有关。号的失真函数有关。111-I 平均失真度的最小值平均失真度的最小值DminminDmin 和和R(Dmin)信源的最小平均失真度：信源的最小平均失真度：只有当失真矩阵的每一行至少有一个只有当失真矩阵的每一行至少有一个0元素时元素时,信源的信源的平均失真度平均失真度才能达到下限值才能达
6、到下限值0。当当Dmin = 0，即信源不允许任何失真时，信息，即信源不允许任何失真时，信息率至少应等于信源输出的平均信息量率至少应等于信源输出的平均信息量信息熵。信息熵。即即 R(0) =H(X)12因为实际信道总是有干扰的，其容量有限，要因为实际信道总是有干扰的，其容量有限，要无失真地传送连续信息是不可能的。无失真地传送连续信息是不可能的。当允许有一定失真时，当允许有一定失真时，R(D)将为有限值，传送将为有限值，传送才是可能的。才是可能的。对于连续信源：对于连续信源：1-I 平均失真度的最小值平均失真度的最小值Dminmin13Dmax：定义域的：定义域的上限上限。Dmax是是满满足足R
7、(D)=0时时，所所有有的的平平均均失失真真度度中中的的最小值最小值。由于由于I(X,Y)是非负函数，而是非负函数，而R(D)是在约束条件下是在约束条件下的的I(X,Y)的最小值，所以的最小值，所以R(D)也是一个非负函数也是一个非负函数,它的下限值是零。它的下限值是零。 R(D)01-II 平均失真度的最大值平均失真度的最大值Dmaxmax14由于由于I(X,Y) = 0的充要条件是的充要条件是X与与Y统计独立统计独立,即：即：1-II 平均失真度的最大值平均失真度的最大值Dmaxmax151-III R(D)的定义域的定义域R(D)的定义域为的定义域为Dmin，Dmax 。通常通常Dmin
8、 = 0， R(Dmin) = H(X)当当 DDmax时时, R(D) = 0当当 0 DDmax时时, 0R(D) H(X)16设输入输出符号表为设输入输出符号表为X=Y=0,1，输入概率分布，输入概率分布p(x)=1/3,2/3，失真矩阵，失真矩阵 求：求： Dmin 和和Dmax 失真矩阵的每一行至少有一个失真矩阵的每一行至少有一个0元素时元素时, Dmin=0例例4-5:17设输入输出符号表为设输入输出符号表为X=Y=0,1，输入概率分布，输入概率分布p(x)=1/3,2/3，失真矩阵，失真矩阵 求：求： Dmin 和和Dmax 例例4-6:181 R(D)是非负的实数，是非负的实数
9、，R(D)0。 其定义域为其定义域为0Dmax ，其值为，其值为0H(X)。 当当DDmax时，时，R(D)=02 R(D)是关于是关于D的下凸函数的下凸函数R(D)在定义域内是失真度在定义域内是失真度D的下凸函数。的下凸函数。3 R(D)的单调递减性及连续性的单调递减性及连续性容许的失真度越大，所要求的信息率越小。容许的失真度越大，所要求的信息率越小。反之亦然。反之亦然。4.1.4 信息率失真函数的性质信息率失真函数的性质194.2 离散信源和连续信源离散信源和连续信源的的R(D)计算计算20I 离散信源离散信源R(D)计算计算 给定信源概率给定信源概率pi和失真函数和失真函数dij，就可以
10、求得该信，就可以求得该信源的源的R(D)函数。函数。它是在保真度准则下求极小值的问题。它是在保真度准则下求极小值的问题。但要得到它的显式表达式，一般比较困难通常但要得到它的显式表达式，一般比较困难通常用参量表达式。用参量表达式。即使如此，除简单的情况外实际计算还是困难即使如此，除简单的情况外实际计算还是困难的，只能用迭代逐级逼近的方法。的，只能用迭代逐级逼近的方法。 21I-1 二元对称信源的二元对称信源的R(D)函数函数 设二元对称信源设二元对称信源X=0,1，其概率分布，其概率分布p(x)=p,1-p ，接收变量，接收变量Y=0,1，汉明失真矩阵，汉明失真矩阵因而最小允许失真度因而最小允许
11、失真度Dmin=0。并能找到满足该最小失真的试验信道，且是一个无并能找到满足该最小失真的试验信道，且是一个无噪无损信道，其信道矩阵为噪无损信道，其信道矩阵为22计算得：计算得：R(0)=I(X;Y)=H(p)最大允许失真度为最大允许失真度为要达到最大允许失真度的试验信道，唯一确定为要达到最大允许失真度的试验信道，唯一确定为I-1 二元对称信源的二元对称信源的R(D)函数函数 23这个试验信道能正确传送信源这个试验信道能正确传送信源符号符号x=1，而传送信源符号，而传送信源符号x=0时，接收符号一定为时，接收符号一定为y=1凡发送符号凡发送符号x=0时，一定都错时，一定都错了。而了。而x=0出现
12、的概率为出现的概率为p，所，所以信道的平均失真度为以信道的平均失真度为p。在这种试验信道条件下，可计在这种试验信道条件下，可计算得算得 R(Dmax) = R(p) = 0I-1 二元对称信源的二元对称信源的R(D)函数函数 24I-2 n元等概率信源元等概率信源的的R(D)函数函数 对于对于n元等概率信源，当失真函数为对称失真函元等概率信源，当失真函数为对称失真函数，即数，即R(D)函数的显式表达式：函数的显式表达式：25II 连续信源连续信源R(D)计算计算 给定信源概率给定信源概率pi和失真函数和失真函数dij，就可以求得该信，就可以求得该信源的源的R(D)函数。函数。它是在保真度准则下
13、求极小值的问题。它是在保真度准则下求极小值的问题。但要得到它的显式表达式，一般比较困难通常但要得到它的显式表达式，一般比较困难通常用参量表达式。用参量表达式。即使如此，除简单的情况外实际计算还是困难即使如此，除简单的情况外实际计算还是困难的，只能用迭代逐级逼近的方法。的，只能用迭代逐级逼近的方法。 26定义定义P PD D为满足保真度准则的试验信道集合为满足保真度准则的试验信道集合II 连续信源连续信源R(D)计算计算 下确界27作作 业业P129 4.128小小小小 结结结结第第4章章2小 结讨论了离散信源和连续信源讨论了离散信源和连续信源R(D)的计算。的计算。结合所学内容，对习题进行讲解。结合所学内容，对习题进行讲解。30本次课结束！31
