《信息论基础与编码课后题答案》由会员分享，可在线阅读，更多相关《信息论基础与编码课后题答案（10页珍藏版）》请在金锄头文库上搜索。
1、3-1 设有一离散无记忆信源，其概率空间为xx=12_0.60.4 _XP(x)信源发出符号通过56141634干扰信道接收符号为Y - yi, y2，信道传递矩阵为P =求：1)信源X中事件Xi和X2分别含有的自信息量;(2) 收到消息y . (j= 1, 2)后，获得的关于x (i=1, 2)的信息量;ji(3) 信源X和信宿Y的信息熵；(4) 信道疑义度H(X / Y)和噪声熵H(Y / X)；(5) 接收到消息Y后获得的平均互信息量I(X;Y)。解：(1) I(x ) = 0.737 bit, I(x ) = 1.322 bit12I (x ; y ) = -1.263 bit ,21
2、(2 ) I(x ; y ) = 0.474 bit , I(x ; y ) =-1.263 bit1 1 1 2I(x ; y ) = 0.907 bit22(3) H(X)二 H(0.6,0.4)二 0.971 bit / symbolH (Y)二 H (0.6,0.4)二 0.971 bit / symbol(4) H(XY)二 H(0.5,0.1,0.1,0.3)二 1.685 bit / symbolH (X / Y)二 1.685 0.971 二 0.714 bit / symbolH (Y / X)二 0.714 bit / symbol(5) I(X; Y)二 0.971 -0
3、.714 二 0.257bit / symbol3-2 设有扰离散信道的输入端是以等概率出现的 A、B、C、D 四个字母。该信道的正 确传输概率为 0.5,错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传 输的平均信息量为0.21比特。证明：信道传输矩阵为：11112 6 6 61111p 616；,信源信宿概率分布为：p(x) pY) 4,4,4,4,6 6 2 611116 6 6 2H(Y/X)=1.79 (bit符号)，I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.2(bit符号)3-3已知信源X包含两种消息：寿巴，且Pg) Pg)1/2，信道是有扰的，y,y
4、0.98 0.02信宿收到的消息集合丫包含yiy2。给定信道矩阵为：P，求平均互信息0.2 0.8I(X ;Y )。解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit符 号,H(Y)=0.93 bi符号,H(XY)=1.34 bi符号，I(X;Y)=0.59 b符号。213-4设二元对称信道的传递矩阵为：3331(1) 若 P(0)=4，P(1)=4，求 H (X)，H (X /y)，h Y /x) 和i(x ;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。解：(1) H(X)=0.811(bit符号)，H(XY)=1.73(bit符号)，H(Y)=0.9
5、8(bit符号), H(X/Y)=0.75(bit符号)，H(Y/X)=0.92(bit符号)，I(X； Y)=0.06(bit符号)；(2) C=0.082 (bit符号)，最佳输入分布为：PXj 23-5求下列两个信道的信道容量，并加以比较：(1ppp2p2pp(2) -pp2002其中/、 1p p1。解：(1)C1log2H (p , p,2)(1 2 )log(12 ) 2log41 (p)logp )(p)log(p ) 2 log2(1 2 )log(12 ) 2 log412(p )logp)(p )log(p )(12 )log(12 )1题图 3-6100P=01 88，此
6、信道非对称信道081 8解：由图知信道转移矩阵为：也非准对称信道，不能利用其公式计算。C2 = log 2 H (p 8, p 8,2 8 ) (1 2s )log(l 2s) 28 log 28=1 + (p 8 )log( p 8 ) + (p 8 )log( p 8 ) + 28 log 28 (1 28 )log(1 28) 28 log 28=1 + (p 8 )log( p 8) + (p 8 )log( p 8) (1 28 )log(1 28)两者的信道容量比较：C二C + 28 2113-6求题图3-6中信道的信道容量及最佳的输入概率分布。并求当8 = 0和-时的信道容量C。
7、Y012此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是 非奇异矩阵，又r = s,则可利用方程组求解：工P(b /a )p =工P(b /a )logP(b /a ),i = 1,2,3，所以j i jj ij ij =1j =1r卩=o1 (18)P +8P = (18)log(1 8) +8 log8238卩 + (18)P = (18)log(1 8) +8 log823解得： P =o， P = P =(18)log(18)+8log8 ，所以123C = log工 2pj = log1+ 21-h(s),jp(b )= 2P1C = 2C， p(b
8、)=2P2C = 2H(8)C， p(b )= 2P3C = 2H(8)C，1 1 2 3 3根据P(b ) = P(a )P(b / a ), j = 1,2,3，得最佳输入分布为: jij ii=1p(a ) = p(b ) = 2C ， p(a ) = p(a ) = p(b ) = p(b ) = 2H(8)C ， 112323当8 =0时，此信道为一一对应信道，1C 二 log3, p(a )二 p(a )二 p(a )二；123311 当 =0.5时，C = log2,p(a ) = ,p(a ) = p(a )=343-7 有一个二元对称信道，其信道矩阵为0.980.0210.0
9、20.98_。设该信道以1500 个二元符号1 2 2每秒的速率传输输入符号。现有一消息序列共有 14000 个二元符号，并设在这个消息中，P (0)二P (1)二1/2。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：信道容量：C=0.859 (bit/符号)，C 二 1500x0.859 二 1288(bit/s), 10秒内最大t信息传输能力=12880 bits，消息序列含有信息量= 14000 bits, 128800,当且仅当(X，Y，Z )是马氏链时等式成立。3-14若三个离散随机变量有如下关系：X+Y = Z，其中X和Y相互独立，试证明:(1)I (X; Z)二 H (Z) - H (Y)；(2) I(XY;Z)二 H(Z)； I(X;YZ)= H(X)；(4) I(Y;Z/ X)= H(Y)；(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)o3-15把n个二元对称信道串接起来，每个二元对称信道的错误传递概率为p。证明这n1个串接信道可以等效于一个二元对称信道，其错误传递概率为-1-(1-2p)n。并证明：limI(X ;X ) = 0，设p丰0或1,信道的串接如题图3-15所示。T80 nX 二元对称0 信道1二元对称_
