《信息论与编码A_第5章有失真信源编码》由会员分享，可在线阅读，更多相关《信息论与编码A_第5章有失真信源编码（29页珍藏版）》请在金锄头文库上搜索。
1、1第5章 有失真信源编码信息论与编码Information and Coding Theory 西南交通大学 信息科学与技术学院2第5章 有失真信源编码5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理35.1 信息率失真函数l 编码器输入X：xia1, a2,an. l 编码器输出Y：yjb1, b2,bm. u无失真: xi=yj u有失真: xiyjl 失真函数d(xi,yj)45.1 信息率失真函数l 失真矩阵55.1 信息率失真函数l 例5.1.1. 设信源符号X0,1, 编码器输出符号 Y0,1,2, 规定失真函数为d(0,0 )= d(1,1)=0d
2、(0,1 )= d(1,0)=1d(0,2 )= d(1,2)=0.5则失真矩阵为65.1 信息率失真函数l 均方失真：l 绝对失真： l 相对失真： l 误码失真（适用于离散信源）：适用于连续信源75.1 信息率失真函数l 平均失真：l 平均失真 是对给定信源分布p(xi) 经过某一转移概率分布 为p(yj |xi) 的有失真信源编码器后产生失真的总体量度。85.1 信息率失真函数l 序列编码的失真 u输入：X=(X1, X2,XL)，样值为: x=(x1, x2, xL) u输出：Y=(Y1, Y2,YL)，样值为: y=(y1, y2, yL)u失真函数定义为：u序列编码的平均失真：95
3、.1 信息率失真函数l 有失真信源编码器模型 u信源编码目的寻找一种编码方案，使编码后所需的信息传输率R尽量小。u问题R越小，引起的平均失真就越大。u解决方法给出一个失真限制值D,在满足平均失真小于D的条件下，寻 找一种编码案使得信息率R最小.105.1 信息率失真函数信源编码器 有干扰的假想信道信息传输率R I(X;Y)l 有失真信源编码器模型信源编码器X Y假想信道xia1,anyjb1,bm115.1 信息率失真函数若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率 p(bj|ai)完全确定，所有满足平均失真小于等于门限D的 信道集合125.1 信息率失真函数l 信息率失真函数
4、l 信息率失真函数R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的 情况下，信息率允许压缩的最小值为R(D) 。l 离散无记忆信源的信息率失真函数135.1 信息率失真函数 l 例. 设信源符号集为A=a1, a2, a2n, 概率分布为: p(ai)=1/2n (i=1,2,2n) ，失真函数为:信源熵H(X)=log(2n) bit/符号. 如果对信源进行无失真编码， 平均每个符号至少需要log(2n) 个二进制码元.现讨论有失真编码. 假设失真度为D=1/2. 编码方案为: a1a1, a2 a2, ,an an, an+1 an, ,a2n an对应一个确定信道. H(Y
5、|X)=0, I(X; Y)=H(Y)H(Y|X)=H(Y).信道输出Y的概率分布为: p(a1)= p(a2)= p(an-1)=1/2n, p(an)=(1+n)/2n I(X; Y)=H(Y) = log(2n) (1+n)/2nlog(1+n).145.1 信息率失真函数l 例. 信源传输的信息率由log(2n)压缩到H(Y)=log(2n) (1+n)/2nlog(1+n).平均失真: （收到100个符号时，允许出错的符号个数50） 15第5章 有失真信源编码5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理165.2 信息率失真函数的性质l 单调性0
6、Dmax DR(D )175.2 信息率失真函数的性质lR(D)的定义域: Dmin, Dmaxu0 Dmin；R(Dmin)=H(X).185.2 信息率失真函数的性质uDmax: 195.2 信息率失真函数的性质lR(D)的值域0 R(D) H(X).205.2 信息率失真函数的性质l 例：设输入输出符号表示为X=Y=0,1, 输入概率分布p(x)= 1/3,2/3, 失真矩阵为求Dmin, R(Dmin), Dmax, R(Dmax)以及相应的编码器转移概率 ? 解: 当Dmin=0时, R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号. 这时 信源编码器无失真, a
7、1 b1, a2b2,编码器的转移矩阵为:215.2 信息率失真函数的性质这时的编码方案为：a1 b2, a2b2,输出符号概率p(b1)=0, p(b2)=1, 编码器的转移矩阵为:当R(Dmax) =0时, 有225.2 信息率失真函数的性质lR(D)是关于D的下凸函数(01)lR(D)是关于D的连续函数235.2 信息率失真函数的性质lR(D)是关于D的严格递减函数 u允许的失真越大,所要求的信息率越小0 Dmax DR(D )H(X )离散系统信息率失真曲线0 Dmax DR(D )连续系统信息率失真曲线245.2 信息率失真函数的性质l 信道容量与信息率失真函数的比较255.2 信息
8、率失真函数的性质u当p(xi)固定，互信息量I(X;Y)是信道转移概率概率 分布p(yj|xi)的下凸函数,存在极小值。信息率失真函 数就是假定信源给定的情况下,在试验信道（满足 保真度准则的信道）中求平均互信息的极小值,即l 信道容量与信息率失真函数的比较 u当p(yj|xi)固定，互信息量I(X;Y)是输入符号概率p(xi)的 上凸函数,存在极大值.信道容量就是假定信道固定的前 提下,选择一种试验信源，使平均互信息（信息率）最 大,即 265.2 信息率失真函数的性质u信道容量反映的是信道传输信息的能力，即信道可传 输的最大信息率。研究信道容量目的是充分利用已给信 道，使传输的信息量最大而
9、发生错误的概率任意小，即 信道编码问题。信道容量是为了解决通信的可靠性问题 ，是信息传输的理论基础，通过信道编码增加信息的冗 余度来实现。u信息率失真函数反映的是信源可压缩的程度，即在可 以容忍的失真度内再现信源消息所必须获得的最小平均 信息量。研究信息率失真函数目的是用尽可能少的码符 号尽快地传送尽可能多的信源消息，以提高通信的有效 性问题，即信源编码问题，是信源压缩的理论基础，通 过信源编码减少信息的冗余度来实现。l 信道容量与信息率失真函数的比较275.2 信息率失真函数的性质u信道容量只与信道转移概率分布有关，反映信道 特性，与信源无关。u信息率失真函数只与信源概率分布有关，反映信 源
10、特性，与信道特性无关。l 信道容量与信息率失真函数的比较28第5章 有失真信源编码5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理295.3 限失真信源编码定理定理. 设离散无记忆信源X的信息率失真函数为R(D),当信 息速率R R(D)时, 只要信息序列长度L足够大，一定存在 一个编码方法，其译码失真 D+， 为任意小的正数； 反之，若R R(D), 则无论采用什么编码方法，其译码失 真必定大于D. 如果是二元信源，则对于任意小的正数，每一个信源符 号需要的平均码长满足以下公式：l 在失真度D内使信息率任意接近R(D)的编码方法是存 在的 l 可实现的接近R(D)的编码方法尚未找到！
