信息论与编码2012—ch4 信息率失真函数2讲解

《信息论与编码2012—ch4 信息率失真函数2讲解》由会员分享，可在线阅读，更多相关《信息论与编码2012—ch4 信息率失真函数2讲解（60页珍藏版）》请在金锄头文库上搜索。

1、*1 世界上那些最容易 的事情中，拖延时间 最不费力。 *2 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续连续 信源的信息率失真函数 4.4 信道容量与信息率失真函数的比较较 4.5 限失真信源编码编码 定理 第七章 信息率失真函数 *3 4.2 离散信源的信息率失真函数 l对对离散信源，求R(D)与求C类类似，是一个在有约约束条件下求平均互信 息极值问题值问题 ，只是约约束条件不同； lC是求平均互信息的条件极大值值， R(D)是求平均互信息的条件极小 值值。 4.2.1 离散信源信息率失真函数的参量表达式 4.2.2 二元及等概率离散信源的信息率失真函数 *4 4.2.

2、1 离散信源率失真函数的参量表达 式 (1) 求极小值值方法 l用拉格朗日乘数法原则则上可以求出最小值值，但是要得到 它的显显式一般是很困难难的，通常只能求出信息率失真函 数的参量表达式。 l已知信源概率分布函数p(xi)和失真度d(xi , yj)，在满满足 保真度准则则 的条件下，在试验试验 信道集合PD当中 选择选择 p(yj /xi)，使平均互信息 *5 (2) 离散信源的信息率失真函数 已知平均互信息在(4.2)的(n+1)个条件限制下求I(X;Y) 的极值值，引入拉格朗日乘数S和i(i=1,2,n)，构造一 个新函数 4.2.1 离散信源率失真函数的参量表达式 *6 4.2.1 离

3、散信源率失真函数的参量表达式 *7 4.2.1 离散信源率失真函数的参量表达式 *8 4.2.1 离散信源率失真函数的参量表达式 *9 4.2.1 离散信源率失真函数的参量表达式 第一步：求i *10 4.2.1 离散信源率失真函数的参量表达式 第二步：求p(yj) 第三步：求p(yj/xi) 将解出的i和p(yj)代入式(4.6)，可求得mn个以S为参 量的p(yj/xi)。 *11 4.2.1 离散信源率失真函数的参量表达式 第四步：求D(S) 将这mn个p(yj /xi)代入(4.2)得到以S为参量的允许平 均失真函数D(S)。 *12 4.2.1 离散信源率失真函数的参量表达式 第五步

4、：求R(S) 将这mn个p(yj /xi)代入(4.1)得到以S为参量的率失真函 数R(S)。 *13 第六步：选择 使p(yj)非负的所有S，得到D和R值，可以画出R(D) 曲线，如下图。 4.2.1 离散信源率失真函数的参量表达式 *14 4.2.1 离散信源率失真函数的参量表达式 (3) 参量S的说说明 l可以证证明S就是R(D)函 数的斜率 。 l斜率S必然负值负值 ；S是D 的递递增函数，D从0变变到 Dmax，S将逐渐渐增加； l当D=0时时(R(D)的斜率)： S的最小值趋值趋 于负负无穷穷 。 *15 4.2.1 离散信源率失真函数的参量表达式 l当D=Dmax时时：S达到 最

5、大；这这个最大值值也 是某一个负值负值 ，最大 是0。 l当DDmax时时：在 D=Dmax处处，除某些特 例外，S将从某一个负负 值值跳到0，S在此点不 连续连续 。在D的定义义域 0, Dmax内，除某些特 例外，S将是D的连续连续 函数。 *16 (1) 二元离散信源的率失真函数 设设二元信源 计计算率失真函数R(D) 4.2.2 二元及等概率离散信源的信息率失真函数 *17 先求出Dmax 4.2.2 二元及等概率离散信源的信息率失真函数 *18 第一步：求i，由式(4.7)有 4.2.2 二元及等概率离散信源的信息率失真函数 *19 第二步：求p(yj)，由式(4.8)有 4.2.2

6、 二元及等概率离散信源的信息率失真函数 *20 第三步：求p(yj/xi)，由式(4.6)有 4.2.2 二元及等概率离散信源的信息率失真函数 *21 第四步：求D(S)，将上述结结果代入式(4.10)有 4.2.2 二元及等概率离散信源的信息率失真函数 *22 第五步：求R(S)，将上述结结果代入式(4.11)有 4.2.2 二元及等概率离散信源的信息率失真函数 *23 对对于这这种简单简单 信源，可从D(S)解出S与D的显显式表达式。 4.2.2 二元及等概率离散信源的信息率失真函数 *24 4.2.2 二元及等概率离散信源的信息率失真函数 *25 第六步：通过过以上步骤计骤计 算出来的R

7、(D)和S(D)如下图图 。 4.2.2 二元及等概率离散信源的信息率失真函数 *26 (2) 信息率失真函数曲 线图说线图说 明 l若=1，把d(xi , yj)当 成了误码误码 个数，即X和 Y不一致时时，认为误认为误 了 一个码码元，所以d(xi , yj)的数学期望就是平均 误码误码 率。能容忍的失 真等效于能容忍的误误 码码率。 4.2.2 二元及等概率离散信源的信息率失真函数 *27 lR(D)不仅仅与D有关，还还 与p有关。概率分布不 同， R(D)曲线线就不一 样样。当p=0.25时时，如 果能容忍的误码误码 率也是 0.25，不用传传送信息便 可达到，即R=0，这这就 是R(

8、Dmax) =0的含义义。 4.2.2 二元及等概率离散信源的信息率失真函数 *28 l当D相同时时，信源越趋趋 于等概率分布， R(D) 就越大。由最大离散熵熵 定理，信源越趋趋于等概 率分布，其熵熵越大，即 不确定性越大，要去除 这这不确定性所需的信息 传输传输 率就越大，而R(D) 正是去除信源不确定性 所必须须的信息传输传输 率。 4.2.2 二元及等概率离散信源的信息率失真函数 *29 l关于S(D) l它与p无直接关系，S(D)曲线线 只有一条，p=0.5和p=0.25都 可以用，但它们们的定义义域不 同； lp=0.25时时定义义域是D=00.25 ，即到A点为为止，此时时 Sm

9、ax=1.59。D0.25时时， S(D)就恒为为0了。所以在A点 S(D)是不连续连续 的； l当p=0.5时时，曲线线延伸至 D=0.5处处，此时时Smax=0，故 S(D)是连续连续 曲线线，定义义域为为 D=00.5。 4.2.2 二元及等概率离散信源的信息率失真函数 *30 (3) 二元等概率离散信源的率失真函数 l当上述二元信源呈等概率分布时时，上面式子分别别退化 为为 4.2.2 二元及等概率离散信源的信息率失真函数 *31 l这这个结论结论 很容易推广到n元等概率信源的情况。 4.2.2 二元及等概率离散信源的信息率失真函数 第一第一项项项项是等概率信源的是等概率信源的 熵熵熵

10、熵，即无失真，即无失真传传传传送信源送信源 所必所必须须须须的信息率，后两的信息率，后两 项则项则项则项则 是由于容忍一定失是由于容忍一定失 真可以真可以压缩压缩压缩压缩 的信息率。的信息率。 *32 课堂练习 某二元信源某二元信源 其失真矩其失真矩阵为阵为阵为阵为 求求该该该该信源的信源的D Dmax max,D ,Dmin min和 和R(D)R(D)函数。函数。 *33 课堂练习 *34 (4) R(D)的意义义 l对对于不同的实际实际 信源，存在着不同类类型的信源编码编码 ，即不 同的试验试验 信道特性并可以求解出不同的信息率失真R(D)函 数，它与理论论上最佳的R(D)之间间存在着差

11、异，它反映了不 同方式信源编码编码 性能的优优劣，这这也正是R(D)函数的理论论价 值值所在。特别对别对 于连续连续 信源，无失真是毫无意义义的，这时这时 R(D)函数具有更大的价值值。 l阴影范围围表示实际实际 信源编码编码 方案与理论值间论值间 的差距，我们们 完全可以找到更好，即更靠近理论值论值 ，缩缩小阴影范围围的信 源编码编码 ，这这就是工程界寻寻找好的信源编码编码 的方向和任务务。 4.2.2 二元及等概率离散信源的信息率失真函数 *35 4.3.1 连续连续 信源的信息率失真函数的参量表达式 4.3.2 高斯信源的信息率失真函数 4.3 连续信源的信息率失真函 数 *36 l条件

12、 l信源XR=(,) l信源X的概率密度函数为为p(x) l信道的传递传递 概率密度函数为为p(y /x) l信宿YR=(,) l信宿Y的概率密度函数为为p(y) lX和Y之间间的失真度d(x,y)0 4.3.1连续信源的信息率失真函数的参量表达式 *37 l平均失真度为为 l平均互信息为为 4.3.1连续信源的信息率失真函数的参量表达式 *38 lPD为满为满 足保真度准则则 的所有试验试验 信道集合。 l信息率失真函数为为 l相当于离散信源中求极小值值，严严格地说说，连续连续 集合未必存在极小 值值，但是一定存在下确界。 lR(D)函数的参量表达式： l一般情况，在失真度积积分存在情况下，

13、 R(D) 的解存在，直接求解 困难难，用迭代算法计计算机求解，只在特殊情况下求解比较简单较简单 。 4.3.1连续信源的信息率失真函数的参量表达式 *39 (1) 高斯信源特性及失真度 l设连续设连续 信源的概率密度为为正态态分布函数 l数学期望为为 l方差为为 l失真度为为d(x,y)=(xy)2，即把均方误误差作为为失真，表 明通信系统统中输输入输输出之间误间误 差越大，失真越严严重， 严严重程度随误误差增大呈平方增长长。 4.3.2 高斯信源的信息率失真函数 *40 4.3.2 高斯信源的信息率失真函数 (2) 曲线图说线图说 明 曲线线如右图图。当信源 均值值不为为0时时，仍有 这这

14、个结结果，因为为高斯 信源的熵熵只与随机变变 量的方差有关，与均 值值无关。 *41 4.3.2 高斯信源的信息率失真函数 l当D=2时时，R(D)=0 ： 这这就是说说，如果允许许失真（ 均方误误差）等于信源的方差 ，只需用确知的均值值m来表 示信源的输输出，不需要传传送 信源的任何实际输实际输 出； l当D=0时时，R(D)： 这这点说说明在连续连续 信源情况 下，要毫无失真地传传送信源 的输输出是不可能的。即要毫 无失真地传传送信源的输输出必 须须要求信道具有无限大的容 量； *42 4.3.2 高斯信源的信息率失真函数 l当0R(D) ，只要信源序列长长度L足 够长够长 ，一定存在一种

15、编码编码 方式C，使译码译码 后的平均失真度 ； 反之，若RR(D)，则则无论论用什么编码编码 方式，必有 ， 即译码译码 平均失真必大于允许许失真。 l上述定理也称为为限失真信源编码定理。该该定理可推广到连续连续 平稳稳无 记忆记忆 信源的情况。 l信息率失真函数也是一个界限。只要信息率大于这这个界限，译码译码 失 真就可限制在给给定的范围围内。即通信的过过程中虽虽然有失真，但仍能 满满足要求，否则则就不能满满足要求。 *57 上述定理又称为为限失真信源编码编码 定理或Shannon第 三定理。 也可以将该该定理作如下的叙述： 若R(D)为为离散无记忆记忆 信源的信息率失真函数，D 为为允许许的失真度，则则只要实际实际 的信息率R满满足R R(D)，就存在一种编码编码 方法，使其译码译码 的平均失真 度 ， 其中 为为任意小的正数；反之，若 R R R(D)的情况下，可以通过过合理运用信源编码编码 和信道编码编码 充分提高通信系统统的有效性和可靠性，实现实现 通信系 统统的最优优化。 4.5 保真度准则下的信源编码 定理 *60 Any QuestionsAny Questions ！