《信息论与编码 第四章：信息率失真函数课件》由会员分享，可在线阅读，更多相关《信息论与编码 第四章：信息率失真函数课件（60页珍藏版）》请在金锄头文库上搜索。
1、第四章 信息率失真函数,胡君红 ,信息率失真理论,连续信源的信息量无限大，不可能无失真地传送连续信源的信息。 现实生活中允许一定的失真存在。 信息率失真理论主要研究信息率与允许失真之间的关系。 连续信源的率失真理论是连续信源量化、压缩的理论基础。,I(X;Y)性质回顾,I(X;Y)是p(x)和p(y/x)的二元函数 I(X;Y)是p(x)的上凸函数 I(X;Y)是p(y/x)的下凸函数,信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,4.1 基本概念,失真函数与平均失真度 信息率失真函数的定义 信息率失真
2、函数的性质,信息率失真函数,失真函数与平均失真度,基本概念,失真函数 常用的失真函数 平均失真度 离散无记忆信道的N次扩展信道的平均失真,失真函数,基本概念,称 为单个符号的失真度或失真函数。,常用的失真函数,常用的失真函数 汉明失真函数 平方误差失真函数,基本概念,平均失真度,平均失真度,基本概念,保真度准则,N次扩展信道的平均失真,基本概念,N次扩展信道的平均失真,N次扩展信道的平均失真,基本概念,失真函数与平均失真度 信息率失真函数的定义 信息率失真函数的性质,信息率失真函数,信息率失真函数的定义,试验信道 信息率失真函数 信息率失真函数和信道容量的区别,试验信道,当信源固定，单个符号失
3、真度也给定时，选择信道使其满足保真度准则 。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。,试验信道,对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道为：,信息率失真函数,对于离散无记忆信源的N次扩展信源和离散无记忆 信道的N次扩展信道：,信息率失真函数,在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。,信道容量和信息率失真函数,R(D)是在允许失真
4、D和信源概率分布已给定的条件下，求平均互信息的极小值问题；是在信道特性已知的条件下求平均互信息的极大值问题。 是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。 研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地
5、传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。,基本概念,失真函数与平均失真度 信息率失真函数的定义 信息率失真函数的性质,信息率失真函数,信息率失真函数的性质,定义域： R(D)是D的下凸函数 R(D)的单调递减性和连续性,R(D)的定义域,Dmin和R(Dmin) Dmax和R(Dmax),Dmin和R(Dmin),Dmax和R(Dmax),Dmax和R(Dmax),假定所有Dj中，Ds最小，令,R(D)的定义域,R(D)的定义域为(Dmin，Dmax) Dmin=0时，R(Dmin)=H(X) DDmax时，R(D)=0 DminR(D)0,R(D)对允许平均失真度的下凸
6、性,R(D)是允许平均失真度D的下凸函数,R(D)对允许平均失真度的下凸性,R(D)对允许平均失真度的下凸性,R(D)对允许平均失真度的下凸性,定义新试验信道：,R(D)对允许平均失真度的下凸性,由I(X;Y)对p(yj/xi)的下凸性：,率失真函数的单调递减和连续性,R(D),信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,离散信源的信息率失真函数,二元信源的R(D)函数 等概率离散信源的R(D)函数,二元信源的R(D)函数,二元信源,信宿,。失真矩阵为：,二元信源的R(D)函数,(1)求 ， ：,满足
7、该最小失真的试验信道的信道矩阵为：,二元信源的R(D)函数,(2)求 ， ：,达到最大允许失真度的试验信道为：,二元信源的R(D)函数,选取任一信道使,(3)求一般情况下 时的,，平均互信息为：,二元信源的R(D)函数,为此，必须找到一个试验信道，使,根据费诺不等式，当n=2时有：,所以：,且,二元信源的R(D)函数,引进一个“反向”的试验信道：,计算可以得到：,即所设的反向试验信道是存在的。,二元信源的R(D)函数,在所设试验信道的条件下：,二元信源的R(D)函数,在该试验信道中：,而平均互信息达到最小值的信道。,综上所述，在汉明失真测度下二元信源的R(D)为：,离散信源的信息率失真函数,二
8、元信源的R(D)函数 等概率离散信源的R(D)函数,等概率离散信源的R(D)函数,信源,，,信宿,失真函数为汉明失真函数，即：,等概率离散信源的R(D)函数,经过计算，可以得到：,R(D)的定义域为：,等概率离散信源的R(D)函数,为此，必须找到一个试验信道，使,根据费诺不等式有：,所以：,且,等概率离散信源的R(D)函数,引进一个“反向”的试验信道：,计算可以得到：,即所设的反向试验信道是存在的。,等概率离散信源的R(D)函数,在所设试验信道的条件下：,等概率离散信源的R(D)函数,在该试验信道中：,而平均互信息达到最小值的信道。,综上所述，在汉明失真测度下n元对称信源的R(D)为：,信息率
9、失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,连续信源的信息率失真函数,连续信源信息率失真函数的参量表达式 高斯信源的信息率失真函数 信息率失真函数与信息价值,连续信源信息率失真函数的参量表达式,定义：,定义PD为满足保真度准则 的试验信道集合,Inf:下确界,连续信源信息率失真函数的参量表达式,高斯信源的信息率失真函数,高斯信源的信息率失真函数,(条件方差),高斯信源的信息率失真函数,根据詹森不等式：,高斯信源的信息率失真函数,高斯信源的信息率失真函数,0.0,0.2,0.4,0.6,0.8,1.0,D/
10、2,R(D),当D 2时， R(D)0。即： 如果允许失真等于信源的方差，则只需用均值m来表示信源输出，而不需要传送信源的任何实际输出。 当D0时，R(D) 。即： 在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。 当D0.25 2时,R(D)=1。即： 允许均方误差小于或等于2/4时，连续信号的每个样本值最少需要用一个二元符号来传输。,1.2,1.4,0.2,0.4,0.6,0.8,1.0,1.2,高斯信源在均方误差准则下的R(D)函数,信息率失真函数与信息价值,平均损失,例：合格品x1，废品x2，生产过程抽象成信源,把检验过程看作信道，检验结果即为信道输出。,信息率
11、失真函数与信息价值,y1：检验合格 y2：检验不合格,合格品报废：,废品出厂：,信息率失真函数与信息价值,1、不经检验全部出厂：,2、不经检验全部报废：,信息率失真函数与信息价值,3、检验完全正确：,信息率失真函数与信息价值,4、检验不十分可靠：,比最大损失减少了：0.99-0.199=0.791 元,信息率失真函数与信息价值,信息率失真函数与信息价值,定义： 信息率R的价值为：,价值率：,信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,保真度准则下的信源编码定理香农第三定理,设一离散平稳无记忆信源X=(
12、X1X2XL)，若该信源 的信息率失真函数为R(D)，并选定有限的失真函数。 对于任意允许平均失真度D0和任意小的0，当 信息率RR(D)，只要信源序列长度L足够长，一定存 在一种编码方式C，使译码后的平均失真度,反之，若RR(D)，则无论用什么编码方式，必有,保真度准则下的信源编码定理香农第三定理,是一个存在性定理，没有给出如何寻找最佳压缩编码方法。在实际应用中，存在两大类问题： 符合实际信源的R(D)函数的计算相当困难。 需要对实际信源的统计特性有确切的数学描述 需要对符合主客观实际的失真给予正确的度量 即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，率失真函数R(D)
13、的计算也较困难 即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D) 。 定理说明，在允许失真D的条件下，信源最小的、可达的信息传输率失信源的R(D)。 当信源给定后，无失真信源压缩的极限值是信源熵H(X)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般有R(D)H(X)。,香农三大定理的关系和比较,香农三大定理的关系和比较,思考题,某信源X的熵为H(X)，规定失真函数，选定允许失真度D， 求得信息率失真函数R(D)。根据限失真信源编码定理，总 可以找到一种压缩编码方法，使其平均失真度 ,且其输出信息率为R。R和R(D)的关系为（ ）。当 信道容量C和R满足（ ）时，根据抗干扰信道编码定 理，总能找到一种信道编码，使其平均错误译码概率无限 地接近于0，在接收端再现信源消息时，总的失真不会超 过允许失真度D。即在（ ）情况下，通过信 源编码、信道编码，总能使通信达到既有效、又可靠，实 现通信系统的最优化。,
