信息论与编码 信源与信息熵2

《信息论与编码 信源与信息熵2》由会员分享，可在线阅读，更多相关《信息论与编码 信源与信息熵2（63页珍藏版）》请在金锄头文库上搜索。

1、信源与信息 熵第二章12.1 信源的描述和分类2.2 离散信源熵和互信息2.3 离散序列信源熵2.4 连续信源的熵和互信息2.5 冗余度内容22.3 离散序列信源熵32.3 离散序列信源熵前面讨论了单个消息（符号）的离散信源熵， 并较详细地讨论了它的性质。然而实际信源的输 出往往是空间或时间的离散随机序列，其中有无 记忆的离散信源熵序列，当然更多的序列是有记 忆的，即序列中的符号之间有相关性。此时需要 用联合概率分布函数或条件概率分布函数来描述 信源发出的符号间的关系。这里讨论离散无记忆 序列信源和两类较简单的离散有记忆序列信源(平 稳序列和齐次遍历马尔可夫链信源)。4离散 信源离散无记忆信源

2、离散有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.3.1 离散无记忆信源的序列 熵 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序 列代表一个消息。5 发出符号序列的信源 发出单个符号的信源6离散无记忆信源的序列 熵 随机序列的概率为 设信源输出的随机序列为X =(X1X2XlXL) 序列中的单个符号变量Xlx1,x2, xn, l =1,2,L. X称为离散无记忆信源X的L次扩展信源 7离散无记忆信源的序列 熵 信源的序列熵为 随机序列的概率为 8离散无

3、记忆信源的序列 熵 当信源无记忆时 信源的序列熵 9离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 信源的序列熵 平均每个符号(消息)熵为 离散无记忆信源 平均每个符号的 符号熵HL(X)等于 单个符号信源的 符号熵H(X)10例:有一个无记忆信源随机变量X(0,1),等概率分 布,若以单个符号出现为一事件,则此时的信源熵: 即用 1比特就可表示该事件。 如果以两个符号出现(L=2的序列)为一事件， 则随机序列X(00,01,10,11)，信源的序列熵 即用2比特才能表示该事件。 信源的符号熵11 例:有一离散平稳无记忆信源 求：二次扩展信源的熵X2信源 的元素 a1 a2a3a

4、4a5a6a7a8a9对应的 消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3 概率p(ai) 1/4 1/81/81/81/1 61/1 61/81/1 61/1 612 平均每个符号(消息)熵为 信源的序列熵 序列熵为 132.3.2 离散有记忆信源序列 熵 对于有记忆信源,就不像无记忆信源那样简单,它 必须引入条件熵的概念,而且只能在某些特殊情 况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 当前后符号无依存关系时,有下列推论：14 信源的联合熵(即前后两个符号(X1,X2)同时发生 的不确定度)等于信源发出前一个符号X1

5、的信息 熵加上前一个符号X1已知时信源发出下一个符号 X2的条件熵。 对于一般的有记忆信源如文字、数据等，它们输 出的不是单个或两个符号，而是由有限个符号组 成的序列，这些输出符号之间存在着相互依存的 关系。可依照上述结论来分析序列的熵值。离散有记忆信源序列 熵15 若信源输出一个L长序列,则信源的序列熵为 平均每个符号的熵为： 若当信源退化为无记忆时: 若进一步又满足平稳性时 16a0a1a2a09/112/110a11/83/41/8a202/97/9 例2-12已知离散有记忆信源中各符号的概率空间为 : 设发出的符号只与前一个符号有关,这两个符 号的概率关联性用条件概率p(aj|ai)表

6、示,如表.p(aj|ai) 求离散信源的序列熵和平均每个符号熵? 17 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36 当信源符号之间无依赖性时,信源X的信息熵为 当考虑符号之间有依赖性时,计算得条件熵H(X2| X1)H(X) 信源的条件熵比无依 赖时的熵H(X)减少了 0.671比特,这正是因 为符号之间有依赖性 所造成的结果。18 联合熵H(X1,X2)表示平均每二个信源符号所携带 的信息量。 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵 的近似值。那么

7、平均每一个信源符号携带的信 息量近似为: 符号之间存在关联性 发二重符号序列的熵 比较或19离散平稳信源 对于离散平稳信源,有下列结论： 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵， 而条件熵必小于或等于无条件熵。平稳性，联合 概率具有时间 推移不变性。20 HL(X)是L的单调非增函数HL(X)HL-1(X) H(X)称为平稳信源的极限熵或极限信息量H0(X)H1(X)H2(X)H(X) L给定时,平均符号熵条件熵：H L(X)H (XL|XL-1)推广结论3可得：不等概率 无记忆信 源单个符 号的熵两个符号 组成的序 列平均符 号熵等概率无 记

8、忆信源 单个符号 的熵21马尔可夫信源的信息熵 马尔可夫信源 齐次、遍历的马尔可夫信源的熵 马尔可夫链 的稳态分布22s2s31/0.61/0.20/0.5s11/0.51/0.10/0.9例2-13 三状态马尔可夫信源0/0.823242.5 冗余度25冗余度 冗余度(多余度、剩余度) 表示信源在实际发出消息时所包含的多余信 息。 冗余度： 信源符号间的相关性。 相关程度越大,信源的实际熵越小 信源符号分布的不均匀性。 等概率分布时信源熵最大。26冗余度 对于有记忆信源,极限熵为H(X)。 这就是说我们需要传送这一信源的信息,理论 上只需要传送H(X)即可。但必须掌握信源全 部概率统计特性,

9、这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相 比,就要多传送Hm(X)H(X)。 为了定量地描述信源的有效性,定义:信息效率冗余度27冗余度 由于信源存在冗余度,即存在一些不必要传送的 信息,因此信源也就存在进一步压缩其信息率的 可能性。 信源冗余度越大,其进一步压缩的潜力越大。这 是信源编码与数据压缩的前提与理论基础。 在实际通信系统中，为了提高传输效率，往往 需要把信源的大量冗余进行压缩，即所谓信源 编码。但是考虑通信中的抗干扰问题，则需要 信源具有一定的冗余度。因此在传输之前通常 加入某些特殊的冗余度，即所谓信道编码，以 达到通信系统中理想的传输有效性和可靠性。 2

10、8冗余度 例：英文字母：等概率 H0 = log27 = 4.76比特/符号不等概率 H1 = 4.03比特/符号考虑相关性 H2 = 3.32比特/符号极限熵 H =1.4比特/符号 冗余度英语文章有71% 是由语言结构 定好的,只有 29%是自由选择29习题 2-26 2-3030本章小结31信源的描述 一个离散信源发出的各个符号消息的集合为： 它们的概率分别为 p(xi): xi的先验概率 单符号离散信源的数学模型概率空间a,b,c,z3200011110 状态转移概率矩阵 符号条件概率矩阵(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s

11、2s1s4s3马尔可夫信源33 稳态分布概率 稳态后的符号概率分布34离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？35离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？36自信息量 设离散信源X，其概率空间为 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量37

12、自信息量 不确定度 定义： 随机事件(符号)的不确定度在数量上等于它 的自信息量。 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否 ，都存在不确定度，不确定度表征了该事件 的特性，而自信息量是在该事件发生后给予 观察者的信息量。 38自信息量 I(xi)的特性： I (xi)是非负值 当p(xi) = 1时，I(xi) = 0 当p(xi) = 0时，I(xi) = I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)p(x2)时，I (x1)I (x2) 两个独立事件的联合信息量等于它们分别的信 息量之和。即统计独立信源的信息量等于它们分别的信息 量

13、之和。39自信息量 自信息量 条件自信息量 联合自信息量40离散信源熵 自信息量I(xi)只是表征信源中各个符号xi的不确 定度，而一个信源总是包含着多个符号消息，各 个符号消息又按概率空间的先验概率分布，因而 各个符号的自信量就不同。 所以，自信息量I(xi)是与概率分布有关的一个随 机变量，不能作为信源总体的信息量度。对这样 的随机变量只能采取求平均的方法。 信息熵： 从平均意义上来表征信源的总体信息测度的一 个量。41离散信源熵 离散信源熵H(X) 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息 所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不

14、确定性。 信息熵H(X)反映了变量X的随机性 。42 例27 该信源X输出符号只有两个,设为0和1输 出符号发生的概率分别为p和q，pq=l 。即信源的概率空间为 则二元信源熵为H(X)= plogpqlogq = plogp (1 p)log(1p)=H(p) 43 信源信息熵H(X)是概率p的函数,通常用H(p)表示 p取值于0，1区间。 H(p)函数曲线如图所示。如果二元信源的输出符号是确定的,即p=1或q=1, 则该信源不提供任何信息。当二元信源符号0和1 以等概率发生时,信源熵达到极大值,等于1比特信 息量。44信源熵 无条件熵 条件熵 在给定yj条件下，xi的条件自信息量为I(xi

15、| yj), X 集合的条件熵H(X|yj)为 在给定Y(即各个yj )条件下,X集合的条件熵H(X|Y)45信源熵H(X,Y)H(X)H(Y|X) H(X,Y)H(Y)H(X|Y)无条件熵、条件熵、联合熵之间的关系 联合熵 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的 自信息量的概率加权统计平均值。表示X 和Y同时发 生的不确定度。46互信息 互信息 定义为 xi的后验概率与先验概率比值的对数 互信息I(xi;yj)表示接收到某消息yj后获得的 关于事件xi的信息量。47平均互信息 平均互信息定义信息= 先验不确定性后验不确定性= 不确定性减少的量 Y未知,X 的不确定度为H(X) Y已知,X 的不确定度变为H(X |Y)48维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)49条件熵 H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息 量的损失。 信源X的熵等于接收到的信息量加上损失掉的 信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵H