《信息与编码理论课后习题答案》由会员分享，可在线阅读，更多相关《信息与编码理论课后习题答案（24页珍藏版）》请在金锄头文库上搜索。
1、12.1 莫尔斯电报系统中，若采用点长为 0.2s，1 划长为 0.4s，且点和划出现的概率分别为 2/3 和 1/3，试求它的信息速率(bits/s)。解: 平均每个符号长为: 秒54.032.每个符号的熵为 比特/符号9183log1l所以，信息速率为 比特/秒4.98.02.2 一个 8 元编码系统，其码长为 3，每个码字的第一个符号都相同(用于同步)，若每秒产生 1000 个码字，试求其信息速率(bitss)。 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以，信息速率为 比特/秒6012.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7
2、；(b) 12。试问各得到了多少信息量?解: (a)一对骰子总点数为 7 的概率是 所以，得到的信息量为 比特3658.2)36(log2(b) 一对骰子总点数为 12 的概率是 所以，得到的信息量为 比特1172.4 经过充分洗牌后的一付扑克(含 52 张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少?(b) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量?解: (a)任一特定排列的概率为 , 所以，给出的信息量为 比特!521 58.2!1log(b) 从中任取 13 张牌,所给出的点数都不相同的概率为 135252!4AC所以，得到的信息量为 比特.134log5
3、2C2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。解:易证每次出现 i 点的概率为 ,所以21i 比 特比 特比 特比 特比 特比 特比 特 398.21log)(807.62)5(39.4.)(26,543,1log)(1iiXHxIIxiiI22.6 园丁植树一行，若有 3 棵白杨、4 棵白桦和 5 棵梧桐。设这 12 棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?解: 可能有的排列总数为 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y
4、 270!1X Y X Y X Y X Y X Y 图中 X 表示白杨或白桦，它有 种排法，Y 表示梧桐树可以栽种的位置，37它有 种排法，所以共有 * =1960 种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得585837到关于树排列的信息为 =3.822 比特1960log2l22.7 某校入学考试中有 1/4 考生被录取，3/4 考生未被录取。被录取的考生中有 50%来自本市，而落榜考生中有 10来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有 40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? (b) 当
5、已知考生学过英语时，给出多少有关考生是否被录取的信息? (c) 以 x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，x、y 和 z 取值为 0 或 1。试求 H(X)，H (Y|X)，H( Z|YZ)。解: X=0 表示未录取， X=1 表示录取； Y=0 表示本市，Y=1 表示外地；Z=0 表示学过英语，Z=1 表示未学过英语，由此得31(0),(),440)(1)01),1254(),50()0)(1)01)113,25(),pxpyyxpyxpyzpzypzypz32 222 13()0)(0)(0/()/0458112()(10)(;0)(0)log(1)log0358
6、ll140.5apxypxpyxypxyIXypxypxyp比 特(),0(0)(1,0)(10)()/(0)1943169()/0254(,)(01)(01,)(1)(1/(0)113)/2542(;bpxzypyxpzyxpyxpzpxzypyxpzyxpyxpzIX2 22222 2()()0()log(0)log01693510414ll3.8()logl40.81343(0)log(0)()10)log(1z zzxzxzpxpxcHXYpxyxpyxpyxpyx比 特 比 特22 22 0)139101loglllog44440.67 比 特2.8 在 A、B 两组人中进行民意测验
7、，组 A 中的人有 50%讲真话( T)，30%讲假话( F)，20% 拒绝回答(R) 。而组 B 中有 30%讲真话，50% 讲假话和 20%拒绝回答。设选 A 组进行测验的概率为 p，若以 I(p)表示给定 T、F 或 R 条件下得到的有关消息来自组A 或组 B 的平均信息量，试求 I(p)的最大值。解:令 ，则RFTYX,4比 特得令同 理 03645.)()( .0,2).log2.0 )2.05(log)2.05()2.3(log)(53l.)1( l1.l1.5l2.l.l. .).0()0()0(og20);() .,.5.3)1(0()()5.max 22 331 22 pII
8、 p pppppXYHYXIRPFPpBTAT2.9 随机掷三颗骰子，以 X 表示第一颗骰子抛掷的结果，以 Y 表示第一和第二颗骰子抛掷的点数之和，以 Z 表示三颗骰子的点数之和。试求 H(Z|Y)、H(X|Y)、H(Z |XY)，H(XZ| Y)和 H(Z|X)。解:令 X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2.585 比特6log2 6log2H(Y)= H(X2+X3)= l)53l4ll6log6l( 22222 = 3.2744 比特H(Z)= H(X1+X2+X3) )2716log2516log
9、6log 156log2106log3(2 2= 3.5993 比特所以H(Z/Y)= H(X3)= 2.585 比特 H(Z/X) = H(X2+X3)= 3.2744 比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955 比特H(Z/XY)=H(Z/Y)= 2.585 比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805 比特2.12 计算习题 2.9 中的 I (Y；Z)，I (X；Z)，I (XY；Z) ，I (Y；Z| X)和 I (X；Z |Y)。解:I(Y;Z)=H(Z)-H(Z/Y
10、) =H(Z)- H(X3)= 3.5993-2.585 =1.0143 比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249 比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143 比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585 =0.6894 比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =02.10 设有一个系统传送 10 个数字：0, 1, , 9。奇数在传送时以 0.5 的概率错成另外的奇数，而其它数字总能正确接收。试求收
11、到一个数字平均得到的信息量。解:设系统输出 10 个数字 X 等概,接收数字为 Y,5显然 ， H(Y)=log1010)(10)()(990 ijpijpQjwii比 特 奇 奇奇 奇偶18log10452log05 )(log)()()( ,l,/ 2, 22 xypxxxyXYHyi yy所以 I(X;Y)= 比特39.1l22.11 令u l, u2, , u8为一等概消息集，各消息相应被编成下述二元码字 :ul=0000，u 2=0011，u 3=0101，u 4=0110 u5=1001，u 6=1010，u 7=1100，u 8=1111通过转移概率为 p 的 BSC 传送。试求
12、：(a) 接收的第一个数字 0 与 ul 之间的互信息量。(b) 接收的前二个数字 00 与 ul 之间的互信息量。 (c) 接收的前三个数字 000 与 ul 之间酌互信息量。(d) 接收的前四个数字 0000 与 ul 之间的互信息量。解:（a）接收前一个数字为 0 的概率218)()(iiipqwbitsppuuI )1(loglog)0(log; 221121 （b）同理 4180)(iiiqw bitsppupuI )1(log2)(log)(log);( 412121 （c）同理 8180)(iiiqw bitsppupuI )1(log3)(log)(log);( 2812121
13、 （d）同理 )(6)(0)0( 428180qwiii6bitspp pwuuI 42642 42681411 )()(8log )1()(log0)()0;( 2.13 令 X、Y 、Z 是概率空间，试证明下述关系式成立。(a) H( YZ|X)H(Y |X) H(Z|X)，给出等号成立的条件。(b) H(YZ|X)=H(Y|X)H(Z|XY )。(c) H(Z|XY)H(Z| X)，给出等号成立的条件。解: (b) )/()/( )/(1log)(1log)/()(1log)/( XYZHY xyzpxyxypxzzxypxzZyzxyzxyzxyz(c)（由第二基本不等式）)/( )/
14、(1log)/()/(XZHxzpxyzpyxy或（由第一基本不等式）0 )1/(log)/()/()1log)/() )/(1log/(/()/(xyzpexyzpxzpxyzp xyzpyYxyxy z所以 ，)/()/(XZHY等号成立的条件为 ,对所有 ,即在给定 X 条件下 Y 与 Z 相互独立。xzpyz ZzYy,(a) )/()/()/()/()/( HXYHXZYH7等号成立的条件为 ,对所有 ,即在给定 X 条件下 Y 与 Z 相互独立。)/()/(xzpyzZzYyX,2.14 对于任意概率事件集 X、Y、Z，证明下述三角不等式成立。H(X|Y)H( Y|Z)H(X|Z)
15、 H(X|Y)/H(XY)H( Y|Z)/H(YZ)H(X|Z)/H(XZ)解: (a) / (b) )(/)()(/)/()/()/( 0)(,)/(/)/()/()/() )/()/()/( )/(/()(/XZHZHYXHZXZYXHZYYXHZYXYX注： baabababa 21212121210,2.15 令 d(X，Y)=H(X|Y)H(Y|X)为 X 和 Y 的信息距离，令 (X，Y )=H(X|Y)H( Y|X)/H(XY)为 X 和 Y 的信息距离系数。试证明有关距离的三个公理： d(X， X)=0 d(X，Y )0d(X，Y)= d(Y，X) d(X，Y)d( Y，Z)d(X，Z)解: (a) 0)/()/(),( H(b) ),()/()/(XYdHXYYXd (c)8)
