《彭代渊王玲-信息论与编码理论-第二章习题解答》由会员分享，可在线阅读，更多相关《彭代渊王玲-信息论与编码理论-第二章习题解答（11页珍藏版）》请在金锄头文库上搜索。
1、第 2 章 信息的度量 1 第第 2 章章 信息的度量信息的度量 2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/93.1
2、7(bit) a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/362.85(bit) p(a)=2/36=1/18,则 I(a)=-log1/184.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： 不知道今天是星期几：I(a)=-log1/72.81(bit) 知道今天是星期几：I(a)=-log1
3、=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为： 32. 0 5 . 0 8 . 02 . 0 )( )|()( )|( bp abpap bap 信息量为：I=-logp(a|b)=
4、-log0.321.64(bit) 2.4 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如 果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多 少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均 自信息量是多少？ 解： 男同志回答“是”的概率为 7%=0.07，则信息量 I=-log0.073.84(bit) 男同志回答“否”的概率为 1-7%=0.93，则信息量 I=-log0.930.10(bit) 平均信息量为：H1=-(0.07log0.07+0.93log0.93) 0.37(bit/符号
5、) 问女同志的平均自信息量：H2=-0.05 log0.05+(1-0.05) log(1-0.05) 0.045(bit/符号) 2.5 如有 7 行 9 列的棋型方格，若有两个质点 A 和 B，分别以等概率落入任一方格内， 信息论与编码理论 2 且它们的坐标分别为（XA，YA）、（XB，YB），但 A、B 不能落入同一方格内。 (1) 若仅有质点 A，求 A 落入任一个格的平均信息量。 (2) 若已知 A 已落入，求 B 落入的平均自信息量。 (3) 若 A、B 是可分辨的，求 A、B 同时都落入的平均自信息量。 解： 若仅有质点 A，A 落入任一格内的概率均为 1/63，则 A 落入任一
6、个格的平均信息量 为： 63 1 )/(98. 563log 63 1 log 63 1 )( i bitAH符号 若已知 A 已落入，质点 B 再落入时，它只可能落入其中 63-1=62 个方格内，则其概 率均为 p(b|a)=1/62，则 B 落入的平均自信息量为： 62 1 )/(95. 562log 62 1 log 62 1 )|( i bitABH符号 A、B 同时都落入的平均自信息量，即为求联合熵 H(AB)： )/(93.1195. 598. 5)|()()(符号bitABHAHABH 2.6 设信源 123456 0.20.190.180.170.160.17( ) Xaaa
7、aaa p x ， 求这信源的熵， 并解释为什 么 H(X) log6，不满足信息熵的极值性。 解： 信息熵 6log)/(66. 2 16. 0log16. 017. 0log17. 0218. 0log18. 019. 0log19. 02 . 0log2 . 0)( 符号bit XH 因为107. 1)( 6 1 i i ap，所以独立变量不止 6-1=5 个，因此不满足信息熵的极值性。 2.7 有两个二元随机变量 X 和 Y，它们的联合概率为 Y X 0 1 0 1 8 3 8 1 3 8 1 8 并定义另一随机变量 Z=XY（一般乘积）。试计算： (1) ()( )( )()()H
8、XH YH ZH XZH YZ,和()H XYZ。 (2) ( / )( | )( | )( | )( | )( | )( |)( |)H X YH Y XH X ZH Z XH Y ZH Z YH X YZH Y XZ，,和 (|)H Z XY。 (3) ()()()(|)(|)I X YI X ZI Y ZI X Y ZI Y Z X;,;,;,;,;和(| )I X Z Y;。 解： 从题意可知， 第 2 章 信息的度量 3 8 1 ) 1, 1(, 8 3 )0, 1( 8 3 ) 1, 0(, 8 1 )0, 0( yxpyxp yxpyxp 可得： 2 1 ) 1()0() 1()
9、0(ypypxpxp ()( )( )()()H XH YH ZH XZH YZ,和()H XYZ )()/( 1 2 1 log 2 1 2)(YHbitXH符号 由于 Z=XY，则有 8 1 ) 1, 1() 1( 8 7 )0, 1() 1, 0()0, 0()0( yxpzp yxpyxpyxpzp 所以)/(54. 0 8 1 log 8 1 8 7 log 8 7 )(符号bitZH 随机变量 X 和 Z 的联合概率分布如下： X Z 0 1 0 2 1 0 1 8 3 8 1 由上表将 X 和 Z 的联合概率代入联合熵公式，求得： )/(41. 1 8 1 log 8 1 8 3
10、 log 8 3 2 1 log 2 1 ),(log),()( 1 0 1 0 符号bit jZiXpjZiXpXZH ij 同样 Y、Z 的联合概率分布如下： Y Z 0 1 0 2 1 0 1 8 3 8 1 )/(41. 1),(log),()( 1 0 1 0 符号bitjZiYpjZiYpYZH ij 信息论与编码理论 4 )/(81. 1 8 1 log 8 1 8 3 log 8 3 2 ),(log),()()( 8 1 ) 1 , 1 () 1 , 1 , 1 (, 0)0 , 1 , 1 (, 0) 1 , 0 , 1 (, 8 3 )0 , 1 ()0 , 0 , 1
11、(, 0) 1 , 1 , 0( , 8 3 ) 1 , 0()0 , 1 , 0(, 0) 1 , 0 , 0(, 8 1 )0, 0()0, 0, 0( )( 1 0 1 0 符号 ：求 bit jYiXpjYiXpXYHXYZH ppppppp pppyxpzyxp XYZH ij ( / )( | )( | )( | )( | )( | )( |)( |)H X YH Y XH X ZH Z XH Y ZH Z YH X YZH Y XZ，,和 (|)H Z XY。 )/(0)|( )/(40. 041. 181. 1)()()|( )/(40. 041. 181. 1)()()|(
12、)/(41. 0141. 1)()()|( )/(87. 054. 041. 1)()()|( )/(41. 0141. 1)()()|( )/(87. 054. 041. 1)()()|( )/(81. 0181. 1)()()|( )/(81. 0181. 1)()()|( 符号 符号 符号 符号 符号 符号 符号 符号 符号 bitXYZH bitXZHXYZHXZYH bitYZHXYZHYZXH bitYHYZHYZH bitZHYZHZYH bitXHXZHXZH bitZHXZHZXH bitXHXYHXYH bitYHXYHYXH ()()()(|)(|)I X YI X ZI
13、 Y ZI X Y ZI Y Z X;,;,;,;,;和(| )I X Z Y;。 符号 符号 符号 符号 符号 符号 /41. 040. 081. 0)|()|()|;( /41. 040. 081. 0)|()|()|;( /47. 040. 087. 0)|()|()|;( /13. 087. 01)|()();( /13. 087. 01)|()();( /19. 081. 01)|()();( bitYZXHYXHYZXI bitXZYHXYHXZYI bitYZXHZXHZYXI bitZYHYHZYI bitZXHXHZXI bitYXHXHYXI 2.8 某一离散无记忆信源的符
14、号集为0,1，已知 01/4,13/4pp。 (1) 求该信源的信息熵。 (2) 有 100 个符号构成的序列， 求某一个特定序列 （例如有 m 个“0”和 （100 m） 个“1”） 的自信息量的表达式。 (3) 计算(2)中序列的熵。 解： (1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/40.81(bit/符号) (2) 由于为离散无记忆信源，则有)()()(),( 1002110021 apapapaaap 第 2 章 信息的度量 5 所以 5 .41585. 1 3 4 log)100(2 ) 1(log)100()0(log )()()(log),(log),(
15、 10021100211001 mmm apmapm apapapaaapaaI ii (3) )/(81)(100)()()()( 100211001 符号bitXHXHXHXHXXH 2.9 设有离散无记忆信源 S，其概率空间为 12 12 q qi aSaa pp spp 设另有一离散无记忆信源 S ，其符号集为信源 S 符号集的两倍，即 A=ai: i=1,2,q, q +1,2q ，并且符号的概率分布为： (1),(1,2, ) ,(1,2,2 ) ii ii q ppiq ppiqqq 请写出信源 S的信息熵与信源 S 的信息熵的关系。 解： 1 2 111 1 ( )()log () ()()log()(1) ()log(1) ()()log() ()1log 1log( ) ( )(1)log(1)log ( )( ,1) q ii i qqq iiiiii iii q i i H Sp ap a H Sp ap ap ap ap ap a p aH S H S H SH 2.10 设有一概率空间，其概率分布为 12 , q p pp，并有 12 pp。若取 11 pp， 22 pp ，其中 12 02pp，而其他
