《《信息论与编码》陈运部分作业详解资料》由会员分享，可在线阅读，更多相关《《信息论与编码》陈运部分作业详解资料（18页珍藏版）》请在金锄头文库上搜索。
1、第2章信源嫡2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 答：2倍，3倍。2.2 一副充分洗乱了的牌(含52张牌)，试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同，能得到多少信息量？解：(1) 1叫52!(2)任取13张，各点数不同的概率为 R，信息量：9.4793(比C52特/符号)2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身 高160厘米上的，而女孩子中身高160厘米以上的占总数的一 半。假如我们得知身高160厘米以上的某女孩是大学生”的消 息，问获得多少信息量？答案：1.415比特/符号。提示：设事件A表
2、示女大学生，事件C表示160cM以上的女孩，则问题就是求 p(A|C),1 3P(AC) P(A)P(C|A) 4 43P(A|C)=二二-二P(C) P(C) 182-log2 p(A/C) = -log23/8 =1.4152.4 设离散无忆信源*=51=0 a2=1 a3=2 a4 =3其发出的消息 P(X ) l 3/81/41/41/8 J为(202120130213001203210110321010021032011223210), 求(1)此消息的自信息量是多少？(2)在此消息中平均每个符号携带的信息量是多少？解：(1)信源符号的自信息量为I(ai)=-log2P(ai),故0
3、,1,2,3的自信息 量分别为1.415、2、2、3。消息序列中0, 1, 2, 3的数目分别为14, 13, 12, 6,故此消息 的自信息量为 1.415*14+2*13+2*12+3*6=87.81 比特，a1a2a3a4a5a62.6设信源求这信源的嫡,(2)87.81/45=1.951 比特。(X 0.2 0.19 0.18 0.17 0.16 0.17J 并解释为什么h(X户log6不满足信源嫡的极值性。提示：信源的概率之和大于1。2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为1/6,求:(1) 和5同时出现”这事件的自信息量；(2)两甲1同时出现”这事件的自信息量；(3)
4、两个点数的各种组合(无序对)的嫡或平均信息量；(4)两个点数之和(即2,3川12构成的子集)的嫡;(5)两个点数中至少有一个是1的自信息量。解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为1 11 1 2=1/186 6(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36(3)两个点数相同”的概率:1/36，共有6种情况；两个点数不同”的概率:1/18，共有15种情况.故平均信息量 为：-log2 - - -log2 - =4.337 比特/符362 36 182 183.274(比特/符号)。提示：信源模型234567891 01 11 211115151111
5、3618129366369121836(5) 1.711(比特/符号)。提示：至少有一个1出现的概率为1 1 1 111十一X -=6 6 6 6 362.8 证明 H (XMlllXn )H(X1 )+H(X2 ) + |+H(Xn)提示：由教材式(2.1.26)和(2.1.28)可证 证明: H (XY) = H(X) H(Y,X),H(Y, X) H(Y)H(XY)wH(X) H(Y)H XiX2|Xn I (Y;Z/X )和 I(X;ZY)。XY00011011解：(1) XY的概率分布为| i= IiP(XY)11/8 3/8 3/8 1/811 33 33 11H(XY)= -81
6、0g28-8log28-8l0g28-8啕2 1.8113 比特/符号X的概率分布L101/2 1/2H(X)=-2log22-210g22=比特/符号X的概率分布以卜1/0I 1 2 1/2H(Y)=1比特/符号Z=XY的概率分布：P(Z)g 877 1H(Z)= log2 log 288 88 =0.5436比特/符号、一人.生八一XZ00 01 10 11XZ的联合概率分布= P(XZ)1/2 0 3/8 1/8H(XZ)=1.4056 比特/符号YZ的联合概率分布YZ =0 01 10111，|P(YZ)_ 1/2 0 3/8 1/8-H(YZ)=1.4056 比特/符号XYZ的联合概
7、率分布XYZ 000 001 010 011 100 101 110 111P(XYZ) - 1/8 0 3/8 0 3/8 00 1/8，H(XYZ)=1.8113 比特/符号(2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113 比特/符号；H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113 比特/符号H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862 比特 /符号；H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056 比特/符号；H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862 比特 /符
8、号；H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056 比特/符号；H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057 比特/符号；H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057 比特/符号；H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0 比特/符号；(3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887 比特 /符号;or I(X;Y)=H(X)+H(Y)-H(XY)=1 + 1-1.8113=0.1887比特/符号；I(X;Z)= H(X)-H(X/Z)=
9、1-0.862=0.138 比特/符号；or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138 比特/符号;I(Y;Z)= H(Y)-H(Y/Z)= 0.138 比特/符号；or I(Y;Z)=H(Y)+H(Z)-H(YZ尸 1+0.5436-1.4056=0.138 比特/符号;I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563 比特/符号；I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符号；I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056 比特/符号；2.13设有一个信源，它产生0,1序列的信息。它在任意时间
10、而且不论 以前发生过什么符号，均按p(0)=0.4,p(1 )=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2) 试计算 H (X2 ) H (X3/X1X2 * lim H (X )；(3)试计算H(X4)并写出X4信源矛可能有的所有符号。解：(1)是平稳信源(2)信源嫡 H(X)=-0.4log20.4-0.6log20.6=0.971 比特/信源符号,H (X2) =2H (X) =1.942比特/信源符号，由题设知道这个信源 是无记忆信源，因此条件嫡和极限嫡都等于信源嫡。(3)H(X4) = 4 0.971 =3.884 比特/信源符号,X4信源中可能的符号共16个。2.1
11、4 设X =X1,X2,|,Xn是平稳离散有记忆信源，试证明：H (XIIIXn 尸 H(X(十 H (X2/X1 )+H”3/X2X1 )+| + H(Xn/X1X2|Xn 提示：见教材第44页 证明：因为 H(XY)=H(X)+H(Y/X),故H X1X2 |I|Xn =H(X1X2“|Xn)H(Xn X1X2 川 Xn)=H (X1X2 IHXnn) H (Xn,X1X2 IHXnn) H (Xn X1X2IH Xnj)=川4 (X1X2) |l| H(XnX1X2IHXNN) H (Xn X1X2III Xn)= H(X1) H(X2 X1) III H(XnX1X2IHXN/) H(Xn X1X2III Xn)2.16 一阶马尔可夫信源的状态图如题2.16图所示。信源X的符号集为0,1,2(1)(2)O求平稳后信源的概率分布;求信源的嫡Hg。解：(1)由图得一阶马尔可夫信源的状态为 S1=0, S2=1, S3=2p 0 p对应的一步转移概率矩阵为p = p 6 0 ,0 p可3由各态历经定理，有p(sj) =E p(si) p(sj/si),即 i/p(6)= p(G)pp(s3) p,p(S2)=p(6) pp(S2)
