《信息论与编码课后习题答案.doc资料》由会员分享，可在线阅读，更多相关《信息论与编码课后习题答案.doc资料（91页珍藏版）》请在金锄头文库上搜索。
1、第二章课后习题第二章课后习题 【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， “12 枚硬币中，某一枚为假币”该事件发生的概率为 12 1 =P； “假币的重量比真的轻，或重”该事件发生的概率为 2 1 =P； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 24log2log12log=+=I比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 3 1 =P，因此天
2、 平每一次消除的不确定性为3log=I比特 因此，必须称的次数为 9 . 2 3log 24log 2 1 = I I 次 因此，至少需称 3 次。 【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为 36 1 6 1 6 1 =P，该事件的信息量为： 17 . 5 36log=I
3、比特 “两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概 率为 36 5 5 6 1 6 1 =P，因此该事件的信息量为： 85 . 2 5 36 log=I比特 “两骰子面朝上点数是3和4” 的可能性有两种： 3和4、 4和3， 概率为 18 1 2 6 1 6 1 =P， 因此该事件的信息量为： 17 . 4 18log=I比特 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解：
4、 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 7 1 =P，因此此时从答案中获得的信息量为 807 . 2 7log=I比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解： 设 A 表示女孩是大学生，25 . 0 )(=AP； B 表示女孩身高 1.6 米以上，75 . 0 )|(
5、=ABP，5 . 0)(=BP “身高 1.6 米以上的某女孩是大学生”的发生概率为 375 . 0 5 . 0 75 . 0 25 . 0 )( )|()( )( )( )|(= = BP ABPAP BP ABP BAP 已知该事件所能获得的信息量为 415 . 1 375 . 0 1 log=I比特 【2.5】设离散无记忆信源 = = 8/14/14/18/3 3210 )( 4321 aaaa xP X ，其发出的消息为 （202120130213001203210110321010021032011223210） ，求 （1） 此消息的自信息是多少？ （2） 在此消息中平均每个符号携
6、带的信息量是多少？ 解： 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为： 415 . 1 3 8 log)0( 0 =aI比特 24log) 1( 1 =aI比特 24log)2( 2 =aI比特 38log) 3( 3 =aI比特 在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为： 81.8736212213415 . 1 14+=I比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 95 .
7、 1 45 81.87 =I比特/符号 注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 =91 . 1 )(log)()(xPxPXH比特/符号 【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内， 且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解：
8、（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一 格的概率空间为： = 48 1 48 1 48 1 48 1 48321 L Laaaa P X 平均自信息量为 58 . 5 48log)(=AH比特/符号 （2）已知质点 A 已落入，求 B 落入的平均自信息量，即求)|(ABH。 A 已落入，B 落入的格可能有 47 个，条件概率)|( ij abP均为 47 1 。平均自信息量为 55 . 5 47log)|(log)|()()|( 48 1 47 1 = =ij ijiji abPabPaPABH比特/符号 （3）质点 A 和 B 同时落入的平均自信息
9、量为 13.11)|()()(=+=ABHAHABH比特/符号 【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果 你问一位男同志： “你是否是红绿色盲？” ，他的回答可能是“是” ，也可能是“否” ，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解： 男同志红绿色盲的概率空间为： = 93 . 0 07 . 0 21 aa P X 问男同志回答“是”所获昨的信息量为： 836 . 3 07 . 0 1 log=I比特/符号 问男同志回答“否”所获得的信息量为： 105 . 0
10、93 . 0 1 log=I比特/符号 男同志平均每个回答中含有的信息量为 366 . 0 )(log)()(= xPxPXH比特/符号 同样，女同志红绿色盲的概率空间为 = 995 . 0 005 . 0 Y 21 bb P 问女同志回答“是”所获昨的信息量为： 64 . 7 005 . 0 1 log=I比特/符号 问女同志回答“否”所获昨的信息量为： 3 1023 . 7 995 . 0 1 log =I比特/符号 女同志平均每个回答中含有的信息量为 045 . 0 )(log)()(= xPxPYH比特/符号 【2.8】设信源 = 17 . 0 16 . 0 17 . 0 18 . 0
11、 19 . 0 2 . 0)( 654321 aaaaaa xP X ，求此信源的熵，并解释为什 么6log)(XH，不满足信源熵的极值性。 解： 6log65 . 2 )(log)()(= xPxPXH 原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。 【2.9】设离散无记忆信源 S 其符号集,., 21q aaaA =，知其相应的概率分别为 ),.,( 21q PPP。设 另一离散无记 忆信源 S ，其符号集为 S 信源符号集 的两倍 ， 2,.,2 , 1,qiaA i =，并且各符号的概率分布满足 qqqiPP qiPP ii ii 2,.,2, 1 ,.,2
12、, 1)1 ( += = 试写出信源S的信息熵与信源S 的信息熵的关系。 解： )1 ,()( )(log)1log()1 ( logloglog)1 ()1log()1 ( log)1log()1 ( )(log)()( += += = = = HSH SH PPPPPP PPPP xPxPSH iiiiii iiii 【2.10】设有一概率空间，其概率分布为,., 21q ppp，并有 21 pp 。若取= 11 pp， += 22 pp，其中 21 20pp x （2） 拉普拉斯概率密度函数， x exp = 2 1 )(，0,+=KKXY时，1 1 = Y X ，因此 3loglogl
13、og 3 2 )( 1log)()( 1 +=aeXhEXhYh 当XY2 2 =时， 2 1 1 = Y X ，因此 2 3 logloglog 3 2 )( 2 1 log)()( 1 aeXhEXhYh+= 【4.4】设给定两随机变量 1 X 和 2 X，它们的联合概率密度为 2 21 2 2 2 1 2 1 )( xx exxp + = 因此有 () ),(),( ),(),( * * 1 1 jij jij DD DD p r p 一般情况下， 2 1 1=pp，因此有),(),( * jij DD成立，而这即为最 小距离译码规则。 【6.6】某一信道，其输入 X 的符号集为1 ,
14、2 1 , 0，输出Y 的符号集为1 , 0，信道 矩阵为 = 10 2 1 2 1 01 P 现有四个消息的信源通过这信道传输（消息等概率出现） 。若对信源进行编码， 我们选这样一种码 ) 2 1 , 2 1 ,(: 21 xxC，10或 i x（2 , 1=i） 其码长为4=n，并选取这样的译码规则 ) 2 1 , 2 1 ,(),( 214321 yyyyyyf= （1） 这样编码后信道的信息传输率等于多少？ （2） 证明在选用的译码规则下，对所有码字0= E P。 解： 输入码字不同的个数共有 4 个，因此编码后信道的信息传输率为 2 1 4 4log =R比特/码符号 2 1 2 1
15、 00 2 1 2 1 01 2 1 2 1 10 2 1 2 1 11 0000 1/4 0 0 0 0001 1/4 0 0 0 0010 1/4 0 0 0 0011 1/4 0 0 0 0100 0 1/4 0 0 0101 0 1/4 0 0 0110 0 1/4 0 0 0111 0 1/4 0 0 1000 0 0 1/4 0 1001 0 0 1/4 0 1010 0 0 1/4 0 1011 0 0 1/4 0 1100 0 0 0 1/4 1101 0 0 0 1/4 1110 0 0 0 1/4 1111 0 0 0 1/4 可以看出， 通过上述译码， 对每一个输出都有一个输入与其对应， 通过计算， 可得其平均错误概率0= E P。 【6.7】 考虑一个码长为 4 的二元码， 其码字为0000 1 =W，0011 2 =W，1100 3 =W， 1111 4 =W。假设码字送
