《信息论语编码第3章习题解答》由会员分享，可在线阅读，更多相关《信息论语编码第3章习题解答（12页珍藏版）》请在金锄头文库上搜索。
1、3.1 设信源图3.1 二元信道1/63/41/45/6x1y1y2x2 =通过一干扰信道，接收符号Y=,信道传递概率如图3.33所示。求：（1） 信源X中事件x1,和x2分别含有的自信息。（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。（3） 信源X和信源Y的信息熵。（4） 信道疑义度H（X|Y）和噪声熵H（Y|X）。（5） 接收到消息Y后获得的平均互信息。解：（1）由定义得：I（X1）= log0.6=0.74bit I（X2）= log0.4=1.32bit （2）P（y1）= 0.65/60.43/4=0.8 P（y2）= 0.61/60.41/4=0.2I
2、（xi；xj）= I（xi）I（xi|yj）=logP（xi|yj）/p（xi） = logP（yj|xi）/p（yj）则 I（x1；y1）= logP（y1|x1）/p（y1）=log5/6/0.8=0.059bit I（x1；y2）= logP（y2|x2）/p（y2）=log1/6/0.2=-0.263bit I（x2；y1）= logP（y1|x2）/p（y1）=log3/4/0.8=-0.093bitI（x2；y2）= logP（y2|x2）/p（y2）=log1/4/0.2=0.322bit （3）由定义显然 H（X）=0.97095bit/符号H（Y）=0.72193bit/符号
3、 （4）H（Y|X）=P（xy）log1/P（y|x）=p（xi）P（yj|xi）log1/P（yj|xi）=0.65/6log6/5+0.61/6log6+0.43/4log4/3+0.41/4log4=0.7145bit/符号 H（X|Y）= H（X）+H（Y|X）H（Y）=0.9635bit/符号(5) I（X；Y）= H（X）H（X|Y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的BSC进行传送。八个消息相应编成下述码字： M1=0000, M2=0101, M3=0110, M4=0011, M5=1001, M6=1010, M7=1100, M8=
4、1111,试问 (1) 接受到第一个数字0与M之间的互信息。 (2) 接受到第二个数字也是0时，得到多少关与M的附加互信息。 (3) 接受到第三个数字仍是0时，又增加多少关与M的互信息。 (4) 接受到第四个数字还是0时，再增加了多少关与M的互信息。解： (1 ) I(0;M1)= log P(0|M1)/P(0)=1 bit (2 ) I(00;M1)= log 1/P(00)=2 bit 21=1 bit (3 ) I(000;M1)=3 bit 32=1 bit (4 ) I(0000;M1)=4 bit 43=1 bit3.3 设二元对称信道的传递矩阵为（1） 若，求和；（2） 求该信
5、道的信道容量及其达到信道容量时的输入概率分布。解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布,可以求得输出Y的概率分别和后验概率。 所以于是，比特/符号（2）此信道为二元对称信道，所以信道容量根据二元对称信道的性质可知，输入符号为等概率分布（即）时信道的信息传输率才能达到这个信道容量值。3.4设有一批电阻，按阻值分70%是2K，30%是5 K；按功耗分64%是1/8W，其余是1/4W。现已知2 K阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？解：根据题意令x11/8W,x21/4W,y12k，y25K,则,且P（x1y1）0.8 P(x2y1)=
6、0.2由P(x1)P(y1)P(x1y1)+P(y2)P(x1y2)P(x2)P(y1)P(x2y1)+P(y2)P(x2y2)得P(x2y2)2.2/3 P(x1y2)0.8/3所以H(XY)P(y1)-P(x1y1)logP(x1y1)-P(x2y1)logP(x2y1)+ P(y2)-P(x1y2)logP(x1y2)-P(x2y2)logP(x2y2) 0.7-0.8log0.8-0.2log0.2+0.3-0.8/3log(0.8/3)-2.2/3log(2.2/3) 0.7 0.258+0.464+0.30.509+0.328 0.505+0.251=0.756H(X) -0.64
7、log0.64-0.36log0.36=0.412+0.531=0.944 I(X;Y)H(X)-H(XY)0.944-0.756=0.1883.7设X,Y是二个相互统计独立的二元随机变量，其取“0”或“1”的概率为等概分布。定义了另一个二元随机变量Z，且Z=XY（一般乘积），计算:解：（1）H(X),H(Y),H(Z)X 0 1 Y 0 1 Z 0 1P(X) 1/2 1/2 P(Y) 1/2 1/2 P(Z) 3/4 1/4H(X)=-1/2log1/2-1/2log1/2=1(比特/符号)H(Y)=-1/2log1/2-1/2log1/2=1(比特/符号)H(Z)=-3/4log3/4-
8、1/4log1/4=0.811(比特/符号)(2) H(XY),H(XZ),H(YZ),H(XYZ)XY 0 0 0 1 P(XY) 1/4 1/4 1/4 1/4H(XY)=-1/4log1/4-1/4log1/4-1/4log1/4-1/4log1/4=2(比特/符号)XZ 0 0 0 1 P(XZ) 3/8 3/8 1/8 1/8H(XZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)YZ 0 0 0 1 P(YZ) 3/8 3/8 1/8 1/8H(YZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8
9、log1/8=1.811(比特/符号)XYZ 0 0 0 0 0 0 0 1P(XYZ) 3/16 3/16 1/16 1/16 3/16 3/16 1/16 1/16H(XYZ)=(-3/16log3/16)*4+(-1/16log1/16)*4=2.811(比特/符号)(3) H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y)H(X|Y)=H(XY)-H(Y)=2-1=1(比特/符号)H(X|Z)=H(XZ)-H(Z)=1.811-0.811=1(比特/符号)H(Y|Z)=H(YZ)-H(Z)= 1.811-0.811=1(比特/符号)H(Z|X)=H(XZ)-H(X)=
10、1.811-1=0.811(比特/符号)H(Z|Y)=H(ZY)-H(Y) =1.811-1=0.811(比特/符号)(4) H(X|YZ),H(Y|XZ),H(Z|XY)H(X|YZ)=H(XYZ)-H(YZ)=2.811-1.811=1(比特/符号)H(Y|XZ)=H(XYZ)-H(XZ)=2.811-1.811=1(比特/符号)H(Z|XY)=H(XYZ)-H(XY)=2.811-2=0.811(比特/符号)(5)I(X;Y),I(X;Z),I(Y;Z)I(X;Y)=H(X)-H(X|Y)=1-1=0I(X;Z)=H(X)-H(X|Z)=1-1=0I(Y;Z)=H(Y)-H(Y|Z)=1
11、-1=0(6) I(X;Y|Z),I(Y;X|Z),I(Z;X|Y),I(Z;Y|X)I(X;Y|Z)=H(X|Z)-H(X|YZ)=1-1=0I(Y;X|Z)=H(Y|Z)-H(Y|XZ)=1-1=0I(Z;X|Y)=H(Z|Y)-H(Z|XY)=0.811-0.811=0I(Z;Y|X)=H(Z|X)-H(Z|XY)=0.811-0.811=0(7) I(XY;Z),I(X;YZ),I(Y;XZ)I(XY;Z)=I(Z;XY)=I(Z;X)+I(Z;Y|X)=0I(X;YZ)=I(X;Y)+I(X;Z|Y)=0I(Y;XZ)=I(Y;Z)+I(Y;Z|X)=03.8设X，Y是二个相互统计独
12、立的二元随机变量，它们的取值为等概率分布。定义另一个二元随机Z，Z=XY(是模二和运算，即z=0,x=y,xy),试计算：(1) H(X)，H(Y)，H(Z)；(2) H(XY)，H(XZ)，H(YZ)，H(XYZ)；(3) H(X|Y)，H(X|Z)，H(Y|Z)，H(Z|X)，H(Z|Y)；(4) H(X|YZ)，H(Y|XZ)，H(Z|XY)；(5) I(X;Y), I(X;Z), I(Y;Z);(6) I(X;Y|Z), I(Y;X|Z), I(Z;X|Y), I(Z;Y|X);(7) I(XY;Z), I(X;YZ), I(Y;XZ).解：X，Y统计独立，等概率分布 X 0 1 Y
13、0 1P 0.5 0.5 P 0.5 0.5 Z=XY Z取值也为等概率分布。 (1) H(X)=H(Y)=H(Z)= H(0.5)=0.5log0.50.5log0.5=1 bit (3) H(X|Y)=0，H(X|Z)= H(Z|X)=0.5 H(Z|0.5)0.5 H(Z|0.5)=1 bit H(Y|Z)= H(Z|Y)=1 bit (2) H(XY)= H(X)H(Y)=2 bit H(XZ)= H(X)H(Z|X)= 2 bit H(YZ)= H(Y)H(Z|Y)= 2 bit H(XYZ)= H(XY)H(Z|XY)=21=3 bit (4) H(X|YZ)= H(XYZ)H(YZ)= 1 bit
