《信源与信息熵》由会员分享，可在线阅读，更多相关《信源与信息熵（55页珍藏版）》请在金锄头文库上搜索。
1、信源与信息 熵第二章12.1 信源的描述和分类2.2 离散信源熵和互信息2.3 离散序列信源的熵2.4 连续信源的熵和互信息2.5 冗余度内容22.2 离散信源熵和互信 息3第一级处理器第二级处理器XYZ输入级联处理器2.2.4 数据处理中信息的 变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多, 输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立 4数据处理定理 数据处理定理说明： 当对信号、数据或消息进行多级处理时,每 处理一次,就有可能损失一部分信息,也就是 说数据处理会把信号、数据或消息变成更有 用的形式，但是绝不会创造出新的信息,这 就是所谓的信
2、息不增原理。 5 三维联合集XYZ上的平均互信息量 62.2.5 熵的性质1.非负性H(X)H(p1，p2，pn)0 式中等号只有在pi =1时成立。 2.对称性H(p1，p2，pn) = H(p2，p1，pn) 例如下列信源的熵都是相等的：7熵的性质3.确定性 H(X)H(p1，p2，pn)0 只要信源符号中有一个符号出现概率为1,信 源熵就等于零。 4.极值性(香农辅助定理) 对任意两个消息数相同的信源 8熵的性质5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅 当各个符号出现概率相等时即( pi1/M)熵最大。6.条件熵小于无条件熵 92.3 离散序列信源的 熵10离散 信源
3、离散无记忆信源离散有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.3.1 离散无记忆信源的序列 熵 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序 列代表一个消息。11 发出符号序列的信源 发出单个符号的信源12离散无记忆信源的序列熵 随机序列的概率为 设信源输出的随机序列为X =(X1X2XlXL) 序列中的变量Xlx1,x2, xn X称为离散无记忆信源X的L次扩展信源 13离散无记忆信源的序列熵 当信源无记忆时 信源的序列熵 14离散无记忆信源的序列熵
4、 若又满足平稳特性,即与序号l无关时： 信源的序列熵 平均每个符号(消息)熵为 15例:有一个无记忆信源随机变量X(0,1),等概率分 布,若以单个符号出现为一事件,则此时的信源熵: 即用 1比特就可表示该事件。 如果以两个符号出现(L=2的序列)为一事件， 则随机序列X(00,01,10,11)，信源的序列熵 即用2比特才能表示该事件。 信源的符号熵16 例:有一离散平稳无记忆信源 求：二次扩展信源的熵X2信源 的元素 a1 a2a3a4a5a6a7a8a9对应的 消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3 概率p(ai) 1/4 1/81/81/
5、81/1 61/1 61/81/1 61/1 617 平均每个符号(消息)熵为 信源的序列熵18离散有记忆信源的序列熵 对于有记忆信源,就不像无记忆信源那样简单,它 必须引入条件熵的概念,而且只能在某些特殊情 况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 当前后符号无依存关系时,有下列推论：19 若信源输出一个L长序列,则信源的序列熵为 平均每个符号的熵为： 若当信源退化为无记忆时: 若进一步又满足平稳性时 20a0a1a2a09/112/110a11/83/41/8a202/97/9 例已知离散有记忆信源中 各符号的概率空间为: 设发出的符号只与前一个符号有关,
6、这两个符 号的概率关联性用条件概率p(aj|ai)表示,如表p(aj|ai) 求离散信源的序列熵和平均每个符号的熵? 21 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36 当信源符号之间无依赖性时,信源X的信息熵为 当考虑符号之间有依赖性时,计算得条件熵H(X2| X1)H(X) 信源的条件熵比无依 赖时的熵H(X)减少了 0.671比特,这正是因 为符号之间有依赖性 所造成的结果。22 联合熵H(X1,X2)表示平均每二个信源符号所携 带的信息量。 我们用1/2H(X
7、1,X2)作为二维平稳信源X的信息 熵的近似值。那么平均每一个信源符号携带的 信息量近似为:符号之间存在关联性 发二重符号序列的熵 比较23离散平稳信源 对于离散平稳信源,有下列结论： 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵， 而条件熵必小于或等于无条件熵。24 HL(X)是L的单调非增函数HL(X)HL-1(X) H称为平稳信源的极限熵或极限信息量H0(X)H1(X)H2(X)H(X) L给定时,平均符号熵条件熵：H L(X)H (XL|XL-1)25马尔可夫信源的信息熵 马尔可夫信源 齐次、遍历的马尔可夫信源的熵26s2s31/0.61/0
8、.20/0.5s11/0.51/0.10/0.9例三状态马尔可夫信源0/0.827282.5 冗余度29冗余度 冗余度(多余度、剩余度) 表示信源在实际发出消息时所包含的多余信 息。 冗余度： 信源符号间的相关性。 相关程度越大,信源的实际熵越小 信源符号分布的不均匀性。 等概率分布时信源熵最大。30冗余度 对于有记忆信源,极限熵为H(X)。 这就是说我们需要传送这一信源的信息,理论 上只需要传送H(X)即可。但必须掌握信源全 部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相 比,就要多传送Hm(X)H(X)。 为了定量地描述信源的有效性,定义:信息效率冗余度
9、31冗余度 由于信源存在冗余度,即存在一些不必要传送 的信息,因此信源也就存在进一步压缩其信息 率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。 这是信源编码与数据压缩的前提与理论基础。 例：英文字母：等概率 H0 = log27 = 4.76比特/符号不等概率 H1 = 4.03比特/符号考虑相关性 H2 = 3.32比特/符号极限熵 H =1.4比特/符号 冗余度英语文章有71% 是由语言结构 定好的,只有 29%是自由选择32习题 2-13 2-16 2-26 2-3033本章小结34信源的描述 一个离散信源发出的各个符号消息的集合为： 它们的概率分别为 p(xi): xi的先验概
10、率 单符号离散信源的数学模型概率空间a,b,c,z3500011110 状态转移概率矩阵 符号条件概率矩阵(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s1s4s3马尔可夫信源36 稳态分布概率 稳态后的符号概率分布37离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？38离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据
11、处理定理是如何描述的？ 熵的性质有哪些？39自信息量 设离散信源X，其概率空间为 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量40自信息量 自信息量 条件自信息量 联合自信息量41离散信源熵 离散信源熵H(X) 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息 所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不 确定性。 信息熵H(X)反映了变量X的随机性 。42信源熵 无条件熵 条件熵 联合熵43互信息 互信息 定义为 xi的后验概率与先验概率比值的对数 互信息I(xi;yj)表示
12、接收到某消息yj后获得的 关于事件xi的信息量。44平均互信息 平均互信息定义信息= 先验不确定性后验不确定性= 不确定性减少的量 Y未知,X 的不确定度为H(X) Y已知,X 的不确定度变为H(X |Y)45维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)46收发两端的熵关系I(X;Y)H(X)H(Y)H(X/Y)疑义度H(Y/X)噪声熵47马尔可夫信源的信息熵 齐次、遍历的马尔可夫信源的熵48概率论基础 无条件概率、条件概率、联合概率的性质和关系49概率论基础 无条件概率、条件概率、联合概率的性质和关系50 例一个二元二阶马尔可夫信源,其信源符号集为0,1 信源开始时
13、：p(0) = p(1) = 0.5发出随机变量X1。下一单位时间：输出随机变量X2与X1有依赖关系x2x1 01 00.30.4 10.70.6p(x2|x1)再下一单位时间：输出随机变量X3与X2X1有依赖关系x3x1 x2 00011011 00.40.20.30.4 10.60.80.70.6p(x3|x1x2)51 从第四单位时间开始，随机变量Xi只与前面二 个单位时间的随机变量Xi-2Xi-1有依赖关系:p(xi| xi-1 xi-2x2 x1) = p(xi| xi-1 xi-2) (i3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i3) 解: 设信源
14、开始处于s0状态,并以 等概率发出符号0和1,分别 到达状态s1和s2 : 若处于s1 ,以0.3和0.7的概率 发出0和1到达s3和s4 若处于s2,以0.4和0.6的概率 发出0和1到达s5和s600011011(0)0.5(1)0.5(0)0.3(0)0.4(1)0.7(1)0.6s1s2s0s6s5s4s352 信源发完第2个符号后再发第3个及以后的符号。 从第3单位时间以后信源必处在s3 s4 s5 s6四种状态 之一。在i3后,信源的状态转移可用下图表示:10110100(0)0.3(0)0.4(1)0.7(0)0.2(1)0.8(1)0.6(0)0.4(1)0.6 状态s1和s5功能是完全相同 状态s2和s6功能是完全相同 可将二图合并成s3s4s5s6s0(0)0.5(1)0.5 s0是过渡状态 s3 s4 s5 s6组成一个不 可约闭集,并且具有 遍历性。53 由题意,此马尔可夫信源的状态必然会进入这个 不可约闭集,所以我们计算信源熵时可以不考虑 过渡状态及过渡过程。 由 得稳态分布概率54 当马尔可夫信源达到稳定后,符号0和符号1的 概率分布： 信源达到稳定后，信源符号的概率分布与初始 时刻的概率分布是不同的，所以，一般马尔可 夫信源并非是平稳信源。 但当时齐、遍历的马尔可夫信源达到稳定后， 这时就可以看成一个平稳信源。55
