第7章 信源与信道编码

《第7章 信源与信道编码》由会员分享，可在线阅读，更多相关《第7章 信源与信道编码（40页珍藏版）》请在金锄头文库上搜索。

1、2008-3-7 通信原理 II 37.1 引言信源编码 ： 在尽量保证保真度的情况下 ， 压缩冗余信息 ， 提高有效性v给定传输速率 ， 保真度尽可能高v尽量降低冗余 ， 减少传输速率要求主要内容v信源分类及其统计特性v信息熵 ， 信源剩余度v互信息 ， 各类熵与互信息的关系v无失真离散信源编码 ， Huffman编码v信息率失真 R(D)函数2008-3-7 通信原理 II 47.2 信源分类及其统计特性描述信息 、 信号 、 消息信源分类v连续 （ 模拟信源 ）、 离散 （ 数字信源 ）例如 ： 语音图象等 （ 未数字化的 、 数字化 的 ）v单消息 （ 符号 ） 信源离散的 （ 重点

2、）：连续的 ：可用连续随机变量及其概率密度函数描述 （ 非重点 ）( ) ( ) ( ) ( )11,iniX xxxPxPxPxPx=LL ( )11niiPx=2008-3-7 通信原理 II 57.2 信源分类及其统计特性描述信源分类 （ 续 ）v消息 （ 符号 ） 序列信源离散的 ： 输出一个离散消息 （ 符号 ） 序列是单消息离散信源的扩展 （ 重点 ， 具体分析见下页 ）连续信源体现为实际的物理信号可由随机过程描述通常可以数字化 、 离散化2008-3-7 通信原理 II 67.2 信源分类及其统计特性描述离散 消息 （ 符号 ） 序列 信源的统计特性描述v序列长度 L， 假设各符

3、号取值范围相同 （ n种取值 ），则输出的消息序列是 L维随机矢量v具体样值为v其统计特性由取值集合及联合概率描述 ：v对应 种取值( )1 lLXXX=X LL( )1 lLxxx=x LL( ) ( ) ( ) ( ) ( ) ( )112132111|lLLLPPxxxPxPxxPxxxPxxx=x L LLLn2008-3-7 通信原理 II 77.2 信源分类及其统计特性描述离散消息 （ 符号 ） 序列信源v离散 无记忆 序列信源 ： 序列中前后符号相互 统计独立v离散有记忆序列信源 ： 实际情况下 ， 通常序列中前后符号 不是 相互统计独立的分析起来复杂 ， 需要知道多维联合分布为

4、便于分析 ， 简化后可用马尔可夫链表示( ) ( ) ( )11,LlLllPPxxxPx=x LL2008-3-7 通信原理 II 87.3 信息熵 H(X)信息的基本特征 ： 不确定性 。 因此 信息的定量度量 应该是概率 P 的函数信息的两个特点v随概率 P的递减性 ： 概率越大 ， 信息量越小v可加性 ： 两个独立消息的总信息量应是两个消息的信息量的和满足这两个条件的表示信息量的函数只有一种可能 ： 对数函数( ) ( )PxIPx，( ) ( ) ( ) ( )IPxPyIPxIPy=+2008-3-7 通信原理 II 97.3 信息熵 H(X)单消息离散信源的信息度量v自信息量 ：

5、 出现某个消息时的信息量消息出现概率越小 ， 信息量越大v两个单消息离散信源 X,Y的联合信息量已知 的条件下 ， 消息 新 带来的信息量反过来呢 ？两个消息一共带来的信息量 ？ 这几个量之间比较大小 ？( ) ( ) ( )1loglogiiiIPxPxPx=ix jy( ) ( ) ( )1|loglog|j jijiIPy PyxPyx=2008-3-7 通信原理 II 107.3 信息熵 H(X)单消息离散信源的信息熵v前面定义的是 一个具体消息的信息量 ， 因为信源输出的消息有多种可能性 ， 所以可以把信息熵理解为这个输出消息 （ 考虑多种可能性 ） 的 平均信息量v信息熵 也可以理

6、解为对 信源 的不确定性的平均度量 ，而前面的自信息量则针对的是 该信源产生的具体消息v在各种可能性 等概 时 ， 信源的信息熵 最大( ) ( ) ( ) ( ) ( )1loglogniiiiiHXEIPxEPxPxPx=2008-3-7 通信原理 II 117.3 信息熵 H(X)单消息离散信源的信息熵v在各种可能性 等概 时 ， 信源的信息熵 最大v即不确定性最大 ， e.g.p( )Hp10 11/2( ) ( )11()log1log 1Hppp=+ 2008-3-7 通信原理 II 127.3 信息熵 H(X)信息量和熵的单位v对数以 2为底时 ， 单位为比特 (bit)v对数以

7、 e为底时 ， 单位为奈特 (Nat)v对数以 10为底时 ， 单位为笛特 (Det)v1 bit = 0.693 Nat = 0.301 Det2e10log21,log20.693,log20.301=Q2008-3-7 通信原理 II 137.3 信息熵 H(X)两个单消息离散信源的 联合熵 和 条件熵v联合熵 （ 两个符号 X,Y带来的总信息熵 /平均信息量 ）v条件熵 （ 已知一个符号时 ， 另一个符号带来的信息熵 /平均信息量 ）( ) ( ) ( ) ( ) ( )11|log|log|nmi i ijiiijHYXEIPyxEPyxPxyPyx=( ) ( ) ( ) ( )

8、( )11,loglognmijijijijijHXYEIPxyEPxyPxyPxy=( ) ( ) ( ) ( ) ( )11|log log|nmi i ijiiijHXYEIPxyEPxyPxyPxy=2008-3-7 通信原理 II 147.3 信息熵 H(X)联合熵和条件熵的一些性质v联合熵（ 注意 ： 独立时和不独立时的区别和联系 ）v统计独立时 ， 联合熵取最大值vShannon不等式（ 已知条件越多 ， 不确定性越小 。 上式何时取等号 ？）v书 ， 例 7.3.1()(|)HXHXY ()(|)HYHYX( ) ( )(,)(|)(|)HXYHXHYXHYHXY=+=+( )

9、max(,)()HXYHXHY=+2008-3-7 通信原理 II 177.3 信息熵 H(X)离散消息 序列 信源的信息熵 、 信源剩余度（ 冗余度 ）v信源输出符号之间的统计关联 （ 记忆 ）vL维离散平稳有记忆信源输出的 消息 序列 熵112131211()(,)()(|)(|)(|,)LLLHXHXXHXHXXHXX HXXX=+LLL平均每个符号所含信息熵11()(,)LLHXHXXL= L2008-3-7 通信原理 II 187.3 信息熵 H(X)信源剩余度 （ 冗余度 ）v可以证明 ：1111()lim(,)lim(|,)LLLLLHXHXXHXXXL=LL11211020()

10、lim(|,)(|)()()logLLLHXHXXXHXXHXHXN=LL概念 ： 无限记忆长度消息序列平均每发一符号具有的信息熵 ； 一维记忆长度时 ； 无记忆不等概时 ； 无记忆等概率时2008-3-7 通信原理 II 197.3 信息熵 H(X)信源剩余度 （ 冗余度 ）理论上只需在信道上传送 ： ()HX0()()HXHXh=信源效率 ：00()()1()HXHXRHXh=信源相对剩余度 ：R： 越大还是越小时 ， 越有必要进行信源压缩 ？ 如何压缩和解压缩 ？2008-3-7 通信原理 II 207.4 互信息 I(X,Y)互信息的定义 I(X,Y)及理解v已知 ：v则 ：v互信息

11、定义 ：( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ),|, |HXYHXHYXHYHXYHXHXYHYHYX=+=+ ( ) ( ) ( ) ( )|HXHXYHYHYX=( ) ( ) ( ) ( )( )( ) ( ) ( )( ),|log |log |iijjjiPxIXYHXHXYEPxyPyHYHYXEPyx=v理解 ： H(X)是 X所含信息 ； H(X|Y)是已知 Y的条件下 X还能带来的信息量 ； 则 两者之差 就是由于知道 Y使得 X减小的信息量 ， 也就是 通过 Y可以获得的关于 X的信息量 。2008-3-7 通信原理 II 217.4 互信息

12、I(X,Y)互信息v接收者信宿 Y 从发送者信源 X 中所获得的信息量(,)IXY(,)()(|)IXYHXHXY=()(|)HYHYX=()()(,)HXHYHXY=+(,)0IXY (,)()IXYHX (,)()IXYHY2008-3-7 通信原理 II 227.5 无失真离散信源编码定理简介无失真离散信源编码定理 （ 目的 ： 速率 /开销尽量小 ， 且无失真 /近似无失真 ）v为简化 ， 讨论离散 、 无记忆 、 平稳 、 遍历条件下v等长编码定理信源编码( )1 lLxxx=x LL 输入共有 nL种消息序列输出总 码组数 mK( )1 kKSSS=S LL无 失真条件 ： log

13、logKnLm不等概 ( )logHXKLm典型 Shannon第一 等长 编码定理 ： 对于任意给定的 e0, d0， 只要( )logK mHXL e+则当 L足够大时 ， 必可使译码差错小于 d（ 等概 ）2008-3-7 通信原理 II 237.5无失真离散信源编码定理无失真离散信源编码定理v等长编码定理v变长编码定理无 失真条件 ： ( )logHXKLm典型 Shannon第一 变长 编码定理 的解释 ： 当 L足够大时 ， 必存在 一种编码方式 ， 使编码器输出符号的最小信息率 R（ bit/symbol） 略大于 H(X)， 可做到几乎无失真译码 。（ 熵编码 ） ( )log

14、KRmHXL=( )logHXKLm2008-3-7 通信原理 II 247.5无失真离散信源编码定理无失真离散信源编码定理v编码效率v等长编码效率一般不及变长编码v变长编码利用了信源的统计特性 ， 对出现概率大的符号用短码 ， 对出现概率小的用长码v书例 7.6.1 例 7.6.3v缩写的例子对于常出现的词用缩写 ， 效率更高( )HXRh =2008-3-7 通信原理 II 257.6 无失真离散信源编码变长编码v目标 ： 平均码长最短v好处 ： 效率高v代价 ：不像等长码那样 ， 码字之间界限清晰码字之间的区分需要特殊处理加标志位利用码字内在规律2008-3-7 通信原理 II 267.

15、6 无失真离散信源编码变长编码v变长码字之间的区分 （ 理想信道下唯一可译 ）非延长性质 ： 把任一许用码组延长 （ 添加数字 ） 都得不到许用码组异前置性质 ： 将任一许用码组的最后一位或几位去掉都得不到许用码组011x2x3x4x00112008-3-7 通信原理 II 277.6 无失真离散信源编码Huffman编码v单 消息信源的最佳变长编码v编码流程举例x1 0.20x2 0.19x3 0.18x4 0.17x5 0.15x6 0.10x7 0.0101 0.110.200.190.180.170.15 010.200.190.180.170.26010.350.260.200.19010.390.350.26010.610.3901 1.02008-3-7 通信原理 II 287.6 无失真离散信源编码Huffman编码v确定了对信源符号的编码规则 （