《《信息论与编码》习题解答2》由会员分享，可在线阅读，更多相关《《信息论与编码》习题解答2（16页珍藏版）》请在金锄头文库上搜索。
1、 1 信息论与编码信息论与编码习题解答习题解答 第二章第二章 信源熵信源熵- -习题答案习题答案 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示 4 个不同的消息，例如：0, 1, 2, 3 八进制脉冲可以表示 8 个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示 2 个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbolbitnXH/ 24loglog)(1八进制脉冲的平均信息量symbolbitnXH/ 38loglog)(2二进制脉冲的平均信息量symbolbit
2、nXH/ 12loglog)(0所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中 身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息， 问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 Xx1（是大学生）x2（不是大学生） P(X)0.250.75设随机变量 Y 代表女孩子身高 Yy1（身高160cm）y2（身高 17. 016. 017. 018. 019. 02 . 0)(654321xxxxxxX
3、PXlog6 不满足信源熵的极值性。 解：585. 26log)(/ 657. 2)17. 0log17. 016. 0log16. 017. 0log17. 018. 0log18. 019. 0log19. 02 . 0log2 . 0( )(log)()(26XHsymbolbitxpxpXHiii不满足极值性的原因是。107. 1)(6 iixp2.7 证明：H(X3/X1X2) H(X3/X1)，并说明当X1, X2, X3是马氏链时等式成立。 证明： 3 0log1)/()(log)()/()(log1)/()/()()/()/(log)()/(log)()/(log)()/(lo
4、g)()/(log)()/()/(2 12313212 123321 12313211232 21313 32112321313 32112313321 123213321131331 12321332113213 exxpxxpexxxpxxpxxpexxxpxxpxxxpxxxpxxpxxxpxxpxxxpxxxpxxxpxxpxxpxxxpxxxpXXHXXXHiiiiiiiiiiiii iiiiiiiiiiiiiii iiiiiiiiiii iiiiiiiiiii iiiiiiiiiiiiiii iiiiiiiii他他他他他他他他他他他他他他他他他他_,)/()/()/()()/()/
5、()()()/()/()()/()/(01)/()/()/()/(321132131232113121212131321213132131313213XXXxxxpxxpxxpxxxpxxpxxpxpxxpxxxpxxpxxpxxxpxxpxxxpxxpXXHXXXHiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii2.8 证明：H(X1X2 。 。 。 Xn) H(X1) + H(X2) + + H(Xn)。 证明：.)/()( 0);()/()( 0);()./(.)/()/()().(21332131221212121312121XXXHXHXXXIXXHXHXXIXX
6、XXHXXXHXXHXHXXXHnnn)(.)()()().()./()( 0).;(32121121121nnnNNnNXHXHXHXHXXXHXXXXHXHXXXXI2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号，均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号” (2) symbol
7、bitXHXXXXHHsymbolbitxpxpXHXXXHsymbolbitXHXHNNNNiii/ 971. 0)()./(lim/ 971. 0)6 . 0log6 . 04 . 0log4 . 0()(log)()()/(/ 942. 1)6 . 0log6 . 04 . 0log4 . 0(2)(2)(12132132 4 (3) 1111111011011100101110101001100001110110010101000011001000010000中中中中中中/ 884. 3)6 . 0log6 . 04 . 0log4 . 0(4)(4)(44XsymbolbitXHXH
8、2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为0, 1, 2。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H。201PPPPPP解： (1) 3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111epepepepepepepepepeppeppepeppeppepeppeppepeepepeepepepeepepeepepepeepepeepepep 3/12 3/11 3/10 )
9、(3/13/ )()()()/()()/()()(3/13/ )()()()/()()/()()(3/13/ )()()()/()()/()()(131313333323232222212121111XPXppeppeppexpepexpepxpppeppeppexpepexpepxpppeppeppexpepexpepxp(2) 5 symbolbitppppppppppppppppeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepeepepHijijiji/ loglog log31log31log31log31log31lo
10、g31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/(31)/(log)/()(33333232313123232222212113131212111133 2.11 黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1
11、，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X); (3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。 解： (1) symbolbitxpxpXHiii/ 881. 0)7 . 0log7 . 03 . 0log3 . 0()(log)()(2) symbolbiteepeepepHepepepepepepepepepepepepeepepeepepepeepepeepepepijijiji/ 553. 09 . 0log9 . 0321 . 0log1 . 0322 . 0log2 . 0318 . 0log8 .
12、 031)/(log)/()(3/2)(3/1)(1)()()(2)()(2 . 0)(9 . 0)()(1 . 0)(8 . 0)()/()()/()()()/()()/()()(21211212221112122222121111 (3)%7 .442log553. 02log%9 .112log881. 02log00 100 1HHHHHHH(X) H2(X) 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进 行较大程度的压缩。2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “3 和 5 同时出现”这事
13、件的自信息； (2) “两个 1 同时出现”这事件的自信息；黑白p(黑/黑)=0.8e1e2p(白/白)=0.9p(白/白)=0.1p(白/黑)=0.2 6 (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵； (5) 两个点数中至少有一个是 1 的自信息量。 解：1465 (1)bitxpxIxpiii170. 4181log)(log)(181 61 61 61 61)(2)bitxpxIxpiii170. 5361log)(log)(361 61 61)(3) 两个点数的排列如下： 111213141516 21222
14、3242526 313233343536 414243444546 515253545556 616263646566共有 21 种组合：其中 11，22，33，44，55，66 的概率是361 61 61其他 15 个组合的概率是181 61 612symbolbitxpxpXHiii/ 337. 4181log18115361log3616)(log)()(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/ 274. 361log61 365log365291log912121log1212181log1812361log3612 )(log)()(36112181111211091936586173656915121418133612)( (5)bitxpxIxpiii710. 13611log)(log)(36111161 61)(2.13 某一无记忆信源的符号集为0, 1，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有 10
