《信息论与纠错编码题库》由会员分享，可在线阅读，更多相关《信息论与纠错编码题库（6页珍藏版）》请在金锄头文库上搜索。
1、第五章离散信道的信道容量5.1设信道输入符号集X = x , x，xk ，输出符号集Y = y , y .y ，如果信道是1212 S无噪无损信道，则其信道容量是多少?如果信道是无噪确定信道，则其信道容量又为多少？ 解：如果信道是无噪无损信道，则有k=s，此时信道容量为C 二 max I (X; Y)二 H (X)=log kmax如果信道是无噪确定信道，则有ks，此时信道容量为C = max I (X; Y) = max(Y) - H (Y|X)= max H (Y)二 log sp (x)p (X)q ( y)5.2判断以下几种信道是不是准对称信道.0.70.31 1 1 0.2 0.3
2、0.50.7 0.1 0.2oozrzr(1)0.5 0.2 0.3(2)0.4 0.6(3)0.2 0.1 0.7(4)336611110.3 0.7_ 6336 _解：(1)为行对称信道，不是准对称信道；(2) 行集合和列集合均不同，不是准对称信道;(3) 是行对称信道，也是准对称信道；(4) 是准对称信道。5.3信源的最佳编码使信道码符号等概分布，而且平均码长最短，这种说法对吗？答：这种说法不对，最佳码是指对给定的信源，使平均码长达到最小的编码方法称为最佳编 码，编出的码称为最佳码。将概率大的信息符号编以短的码字，概率小的符号编以长的码字, 使得平均码字长度最短。5.4信道的信息传输率是
3、信道输入分布的函数，但信道容量与信道的输入分布无关，这种说 法对吗？答：由信息传输率的定义式可知，信息传输率是信道输入分布的函数，而信道容量C只是 在某个特定输入分布下R所取得的极大值，因此与输入分布无关，而只反应信道的特性。5.8对题图5-2所示二进制删除信道，有q (x=0) =a， q (x=l) =1-a。(1) 求平均互信息量I(X;Y)；(2) a为何值，I(X;Y)达到最大值C；(3) 根据(2)中的a 值，计算 I (x;y)值，即求 I (0;0) ,I(1;0), I(0;e).1-q q 0解：(1)由图知，转移概率矩阵为P=门 10 q 1-q由w (yj)= q(xp
4、(yj | y)，j=1,2,3，可算出 i=1= q (x )p (y | x ) =a (1-q )i1 ii=1= q (x ) p (y | x )=qi2 ii=1= q (x )p (y | x ) = (1-a ) (1-q )i3 ii=1(y )3平均互信息量I (X;Y) =H(Y)-H(YIX)=- w( y )log w( y )+3 q (x ) p (y I x )log p (y I x )jjIj Ij Ij=1曰 j=1=-(1-q) a loga +(1-a )log(1-a )（2）由信道矩阵知，该信道为准对称信道。因此当信源等概率分布，即a = 2时，I
5、（X;Y）达到最大值C,此时C=1_q(3)由于I (xiy ) =log j0 (x | y )p(y | x )(j =log(十q(x )w( y )ljw (y1) =w(y 3)(1-a )，w(y 2 ) =q所以I(0；0)p(0 i 0)=】og (、w( y )i1 - q= log 1=12(1 - q)(1;0)0= log 1=8W( y1)1(1 - q)2p (Oil)=loge)p(e i 0)q(0;=log=log =0w( y )q20.3 0.715.9给定离散信道P=0.5 0.5，计算信道容量Co解：p矩阵的行列式ipi=0.3 0.70.5 0.5工
6、0,说明P是一个非奇异方阵，则p 的逆矩阵 P -1=p -1(y j|x i )= 2.5 3.512.5 1.5H (Y|x1)=工 p (y I x )ln p (yj 1jj=1I x ) =0.3ln0.30.7ln0.7=0.611iX 2)为 p(y I x )ln p(y I x ) =2X0.5ln0.5=0.693j 2j 2j=1信道容量C=lnexp p-1(y I x )H(Y I x )k=1,2i kik=1i=1=lnexp(2.5X0.6113.5X0.693)+exp(2.5X0.611+1.5X0.693)=ln (e -0-898 +e -0-488 )
7、=0.021 （奈特/码符号）5.11求题图5-3所示离散信道的信道容量C,及对应的输入最佳分布,并求出=0, =1和 =0.5时的信道容量r 1、1 8 .解：信道转移矩阵是丿。由于输入为1和2时信道的转移概率对称分布，所以可以设信源的概率分布为1X10 1 21P1 2 pp p2图5-3由此可以得出输出分布为x -0 1 21P1 2 pp pI(X, Y) = H (Y) H(Y |X) = H (Y) p(x )H (Y |x )iii=1=H(Y)-p(x )H(1,0,0) + p(x )H(1 -8,8) + p(x )H(1 -8,8)1 2 2=H (Y) 2pH(8 )=
8、(1 2p)log (1 2p) p log p p log p 2pH(8)2 2 2C = max I (X; Y)因此 pIPH ( ) 2log (122p) 2log p 02解得p1P 22h ()这时Y01 20 12P1 2pp p2h ()2 2h ()12 2h ()12 2h ()2h()22h()log 2 2h()22h ()厂2 2 2H()C=max I(X;Y)二22h()当=0时，为无损信道,H( )=0所以C= log31.585比特/符号2当=1时，同样为无损确定信道,H( )=0所以C= log31.585比特/符号2当=1/2时，H( )=1所以C=严
9、沁 log4-2*11比特/符号5.13计算例5-11中串行信道的总信道容量C。 解：(1)先计算总信道的信道转移概率矩阵P=P 1*P?二211111001212可见该串行信道的总信道矩阵P等于第一级信道的信道矩阵从而概率分布满足 p(y | x)=p(z | X对所有的 x，y，z)上式两边关于x求和，得工q(x)p(y |xj=q(x)p(z | x)p(y)=p(z)两式联立得P(ylx)p(x)/p(y)=p(zlx)p(x)/p(z) p (x I y)=p (x I z)(2)计算信道容量C 第一个信道是输入只有两个消息的情况，设最佳分布为q(X)=a , q(x2)=1-a，易求得a =0.4,则信道容量C=C=0.32(比特/符号)
