《信息论与编码第2章习题解答》由会员分享，可在线阅读，更多相关《信息论与编码第2章习题解答（17页珍藏版）》请在金锄头文库上搜索。
1、 第二章习题解答分为两部分：第二章习题解答分为两部分： PartA(1-11 页)：1，2，3，4，5，8，9，18， 19，22，24，25， PartB(12-17 页)：5（另解） ，6，10，11，12， 20 1信息论与编码第二章习题解答 2.1 A村有一半人说真话，103人总说假话，102人拒绝回答；B村有103人诚实，一半人说谎，102人拒绝回答。现随机地从 A村和 B村抽取人，p 为抽到 A村人的概率，1 p 为抽到 B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变 p，求出该信息的最大值。 解 用 X 表示随机抽取人所属的村别，Y 表示说
2、话的状态，则 X 和 Y 之间的关系图如下所示。 1)()(=+BPAP )(1 3 . 0)(5 .0)(1ApApyP+= )(1 5 . 0)(3 . 0)(2ApApyP+= 2 .0)(1 2 . 0)(2 .0)(3=+=ApApyP =31)(log)()(iiiypypYH )|()()|()()|(BXYHBPAXYHAPXYH=+= )2 . 0 , 3 . 0 , 5 . 0(H= 0.5log0.50.3log0.30.2log0.21.485= = bit )|()();(XYHYHYXI= 由对称性，当5 . 0)()(=BPAP时，互信息最大，这时 ( )0.4l
3、og0.40.4log0.40.2log0.21.522H Y =+= bit 所以 (;)( )(|)0.037I X YH YH Y X= bit 2.2 一个无偏骰子，抛掷一次，如果出现 1，2，3，4 点，则把一枚均匀硬币投掷一次，如果骰子出现 5，6 点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息？ A B X Y y1说真话 y2撒谎 y3拒绝回答 0.3 0.3 0.5 0.2 0.2 0.5 2 解 令1xX =表示掷骰子出现 1，2，3，4 点，2xX =表示出现 5，6 点，Y 表示出现硬币正面的次数，于是 X 和 Y 具有如下关系图。 3/2)(
4、1= xXP, 3/1)(2= xXP 12/5)(0= yYP, 2/1)(1= yYp, 2/1)(2= yYp 所以 )()();(XYHYHYXI= )(31)(32)121,21,125(21xXYHxXYHH= )41,21,41(31)21,21(32)121,21,125(HHH= =0.158 bit 2.3 在某中学有43学生通过了考试，41学生没有通过。在通过考试的同学中 10%有自行车，而没有通过的学生中 50%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有 40%加入联谊会。 a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息？ b. 通过
5、询问是否参加联谊会，能获得多少关于学生成绩的信息？ c. 如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息？ 解 X 表示学生有无通过考试，Y 表示学生有无自行车，Z 表示学生有无参加联谊会，X，Y，Z 之间的关系图。 x1 x2 X Y y0（无正面） y1（1 次正面） y2（2 次正面） 1/2 1/4 1/2 1/4 1/2 x1 x2 （通过） （没通过）y1（有车） y2（无车） 0.1 0.5 0.9 0.5 X Y z1（参加） z2（没参加） 1 0.4 0.6 Z 375. 0)(1=xP，25. 0)(2=xP 2 . 0)(1
6、=yP， 8 .0)(2=yP 52.0)(1=zP，48.0)(2=zP 46. 0)(11=xzP，54. 0)(12=xzP 7 . 0)(21=xzP，3 . 0)(22=xzP （a） )()();(XYHYHYXI= )5 . 0 , 5 . 0(25. 0)9 . 0 , 1 . 0(75. 0)8 . 0 , 2 . 0(HHH= 0.12= bit （b） )()();(XZHZHZXI= (0.52,0.48)0.75(0.46,0.54)0.25(0.7,0.3)HHH= 0.03= bit （c）第一位数字携带信息为 ()(0.75,0.25)0.811H XH= bi
7、t 在已知第一位数字下，第二位数字携带信息为 )5 . 0 , 5 . 0(25. 0)9 . 0 , 1 . 0(75. 0)|(HHXYH+= =0.602 bit 在已知前二位数字下，第三位数字携带信息为： )|(),|(YZHYXZH= （因为 XYZ） )6 . 0 , 4 . 0(8 . 0) 1 (2 . 0HH+= )6 . 0 , 4 . 0(8 . 0 H= 0.777= bit 2.4 随机掷三颗骰子，以 X 表示第一颗骰子抛掷的结果，以 Y 表示第一颗和第二颗骰子抛掷之和，以 Z 表示三颗骰子的点数之和，试求 H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y
8、)和 H(Z|X)。 解 设第一颗骰子结果为 X1，第二颗骰子结果为 X2，第二颗结果为 X3，则 X1，X2，X3是独立同分布随机变量1XX =，21XXY+=，321XXXZ+= X 和 Y 的事件空间和对应概率为 123456( )1/61/61/61/61/61/6Xp x423456789101112 12345654321( )3636363636363636363636Yp y所以 1232()()()()log 62.585H XH XH XH X= bit )(log)()()(21=+=iyiiyPyPXXHYH 3.274= bit 3()()()2.585H Z YH
9、XH X= bit )()()()|(YHXYHXHYXH+= )()()(2YHXHXH+= )()(2YHXH= 1.896= bit 2()()()2.585H Y XH XH X= bit 3(, )()()2.585H Z X YH XH X= bit 23()()( )3.274H Z XH XXH Y=+= bit (,)()(, )H X Z YH X YH Z X Y=+ =1.896+2.585 =4.481 bit 2.5 设一个系统传送 10 个数字：0，1，2，9，奇数在传送时以 0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。试求收到一个数字后平均得到的信
10、息量。 解 X 表示发送数字，Y 表示接收到数字。 );(YXI=()( , )log( )xyp x yp x yp x0.125 在上式求和中，使0),(yxp的输入，输出对（x, y）可分为 3 类： )8 , 8(),6 , 6(),4 , 4(),2 , 2(),0 , 0(1=S )9 , 9(),7 ,7(),5 , 5 (),3 , 3(),1 , 1 (2=S 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 X Y 1 0.5 5=)7 , 9 (),5 , 9(),3 , 9(),1 , 9()9 , 7(),5 , 7(),3 , 7(),
11、1 , 7()9 , 5(),7 , 5(),3 , 5(),1 , 5()9 , 3(),7 , 3(),5 , 3 (),1 , 3()9 , 1 (),7 , 1 (),5 , 1 (),3 , 1 (3S =1),()0()00(log)0, 0(. 5)()(log),(SyxXpYXyxpxpyxpyxp 6609. 110log5 . 01 . 0 1log1 . 05= 5805. 05log25. 01 . 0 5 . 0log05. 05)()(log),(2),(= Syxxpyxpyxp =3),() 1() 31(log) 3, 1(20)(),(log),(SyxX
12、pYXpYXpxpyxpyxp 08. 01 . 0 125. 0log0125. 020= 所以 (;)2.3214I X Y = bit 2.8 定义),(/ );(),(1),(YXHYXIYXYXS=为随机变量 X 和 Y之间的相似度，证明 (a) 0S(X, Y)1 (b) S(X, X)=1 (c) 当 X 和 Y 统计独立时，S(X, Y)=0 证明 (a) 因为 0),(, 0);(YXHYXI 所以 ( ; )(,)0( , )I X YS X YH X Y=； 又 ( ; )( , )( , )I X YS X YH X Y= 1)|()()|()(+=XYHXHYXHXH
13、； (b) 1)()( ),();(),(=XHXH XXHXXIXXS (c) 若 X 和 Y 统计独立，则)()|(XHYXH=， 所以 0),(0 ),();(),(=YXHYXHYXIYXS 62.9 若三个随机变量 X，Y，Z，有 X+Y=Z 成立，其中 X 和 Y 独立，试证 (a) H(X)H(Z) (b) H(Y)H(Z) (c) H(X,Y)H(Z) (d) I (X;Z)=H(Z)- H(Y) (e) I (X,Y;Z)=H(Z) (f) I (X;Y,Z)=H(X) (g) I (Y;Z|X)=H(Y) (h) I (X;Y|Z)=H(X|Z)=H(Y|Z) 证明 因为
14、ZYX=+ 所以 |kikiip ZzXxp YzxXx= 所以对给定 ixX =有 (|)( |)iiH Z XxH YXx= 所以 )|()|(XYHXZH= 因为YX,独立，所以 (,)( )(,|)(,)(|,)H X Y ZH ZH X Y ZH X YH Z X Y=+=+ ( , )H X Y= (c) )()()(),(ZHYHXHYXH+= (b) ( )()( )(,|)H ZH XH YH X Y Z=+ ),|()|()()(XZYHZXHYHXH+= )|()()(ZXHYHXH+= );()(ZXIYH+= 所以 )()(YHZH，同理 (a) )()(XHZH (
15、d) );()()(ZXIYHZH= (e) )()|()();(ZHXYZHZHZXYI= (f) )()|()();(XHYZXHXHYZXI= (g) )(),|()|()|;(YHXZYHXYHXZYI= (h) )|(),|()|()|;(ZXHYZXHZXHZYXI= )|(ZYH= 72.18 令 U是非负整数集合，事件 kU的概率为)(kp，且= 0)( kAkkp，试求 H（U）达到最大的分布)(kp。 解 利用拉格朗日乘子法，引入参数1，和2，求如下目标函数的最大值 12 000()( )ln( )( )( )k kkkJpp kp kp kkp k= 其中1和2由约束条件 0( )1kp k=和 0( )kk p kA=来待定。 )(ln)()(210kpekppJkkk = 1)()(210=kpekpkk当1)(21 =kpek 时上式等号成立，也就达到目标函数 J的最大值。这时 kekp21)(
