《信息论与编码课后答案》由会员分享，可在线阅读，更多相关《信息论与编码课后答案（12页珍藏版）》请在金锄头文库上搜索。
1、p u2| u11/2 , p u3|u1p u1| U31/ 3, p u2 |u3状态转移矩阵为：1/21/20p 1/302/31/32/302.1 一个马尔可夫信源有3个符号Ui,U2,U3 ,转移概率为：p Ui|Ui1/2 ,0 , p u11 u21/ 3, p u2 |u20, p u3|u22/3 ,2/3 , p u3|u30，画出状态图并求出各符号稳态概率。解：状态图如下设状态U1, U2, U3稳定后的概率分别为W1， W2、W3WP W由得W1 W2 W311 1 1-W1-W2-W32 331 2W1-W3 W22 32W2 W33W1 W2 W31W110W125
2、计算可得 W2_925W36252.2由符号集0, 1组成的二阶马尔可夫链，其转移概率为：p(0 |00) =0.8，p(0|11)=0.2，p(1|00) =0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10) =0.5，p(1|01)=0.5，p(1|10)=0.5。 画出状态图，并计算各状态的稳态概率。解：p(0|00)p(00 |00)0.8p(0|01)p(10|01)0.5p(0|11)p(10|11)0.2p(0|10)p(00|10)0.5p(1|00)p(01| 00)0.2p(1|01)p(11|01)0.5p(1|11)p(11|11)0.8p(1|10
3、)p(01|10)0.50.800.2000.500.5于是可以列出转移概率矩阵：p0.50.500000.20.8状态图为：设各状态WP W0.811的稳态分布概率为00 ,01, 10,Wl ,W2,W3,W4 有0.8W10.5W3W10.2W10.5W3W2W20.5W20.2W4W3计算得到0.5W20.8W4W4W3W1 W2W3W41得W1W414142.7设有一离散无记忆信源，其概率空间为（1 ）求每个符号的自信息量2）信源发出一消息符号序列为202XX10X21X32 X43P3/81/41/41/812013021300120321011032101002103201122
4、3210，求该序列的自信息量和平均每个符号携带的信息量解：I (x1)log21p(x1)log2i 1.415bit同理可以求得 I（X2） 2bit, I（X3）2bit, I（X3） 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I 14I (X1) 13I (X2) 12I (X3) 61(X4) 87.81bit87 81平均每个符号携带的信息量为1.95bit/符号452.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1 ,，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。(1
5、) 如果仅对颜色感兴趣，则计算平均不确定度(2) 如果仅对颜色和数字感兴趣，则计算平均不确定度(3 )如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，贝UX=1,2, .,38Y表示指针指向某一种颜色，则丫=1绿色，红色，黑色y1y2y3X17/241/240x21/241/41/24X301/247/24解：联合概率p(xi, yj)为H(X,Y)=2.3bit/ 符号ij2427p(xi,y)log2P(xu yj)1 log 24log 22424Xx1x2x3P8/248/248/24X概率分布1H(Y) 3log 23 1.58bit/ 符号3H(X |Y) H(X,Y)
6、H (Y)2.3 1.58=0.72bit/ 符号Yy1y2y3P8/248/248/24Y概率分布是2.16黑白传真机的消息元只有黑色和白色两种，即 现概率p(黑)=0.3，白色出现的概率p(白)=0.7。X=黑，白，一般气象图上，黑色的出Y是X的函数，由题意可知p(xiyj)p(刈(1)3H(Y)j 1p(yj)log -1p(yj)238log382238181.24 bit/ 符号(2)H(X,Y)H (X) log 2385.25 bit/ 符口号(3)H(X |Y)H(X,Y)H(Y)H(X)H(Y)5.25 1.244.01 bit/ 符2.12两个实验X和Y, X=x1 x2
7、x3,Y=y1 y2y3,l联合概率rxi,yj口为r 11r12r137/241/240r21r22r231/241/41/24r31r32r3301/247/24(1) 如果有人告诉你 X和Y的实验结果，你得到的平均信息量是多少？(2) 如果有人告诉你 Y的实验结果，你得到的平均信息量是多少？(3) 在已知Y实验结果的情况下，告诉你 X的实验结果，你得到的平均信息量是多少?（1） 假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图（2） 实际上各个元素之间是有关联的，其转移概率为：P（白 |白）=0.9143 , P（黑|白）=0.0857 , P（白|黑）=0.2 , P
8、（黑|黑）=0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3 ）比较两种信源熵的大小，并说明原因。1010解：（1） H（X） 0.3log2 0.7log 20.8813bit/符号3 7P(黑I白)=P(黑)0.3 黑0.3白0.70.7P（白 |白 ）= P（白）P（黑|黑）=P（黑）P（白 | 黑）=P（白）（2）根据题意，此一阶马尔可夫链是平稳的（P（白）= 0.7不随时间变化，P（黑）=0.3不随时间变化）1H (X) H(X2|X1)p(x,yj)log2-ijPM)1 10.08570.9143 0.7log 20.0857 0.7log20.914310.
9、8 0.3log2 0.80.2o.31。町=0.512bit/ 符号2.20给定语音信号样值 X的概率密度为p（x），求Hc（X）,并证明它小于同样方差的正态变量的连续熵。解:Hc(X)px(x)log px(x)dxpx(x)logxdxPx(x)log 2dxPx(x)(x)log edxlog 2logex)dxlog 2loge1(x)dx log -0 2e x( x)dxlog 22log2xexdxlog 2log 2logeloge(1x)elog*E(X) 0,D(X)22H(X) log 221 .4 e2、e2 , e ee 2log 2 loglogH (X)22.2
10、9有一个一阶平稳马尔可夫链Xi,X2丄,Xr,L，各Xr取值于集合 Aai,a2,a3，已知起始概率P（Xr）为P11/2, p2 p31/ 4，转移概率如下图所示学、12311/21/41/422/301/332/31/30(1) 求(X1,X2, X3)的联合熵和平均符号熵(2) 求这个链的极限平均符号熵 求H o, H 1, H 2和它们说对应的冗余度解:( 1)H(X1,X2,X3) H (X1) H(X2|X1) H(X3|X2，X1)H(X1) H (X2|X1) H(X3| X2)111111H (X1)log log log 1.5bit/ 付号224444P(X1iX2j)1
11、2311/41/81/821/601/1231/61/120X1, X2的联合概率分布为那么P（X2j）P（X1iX2j）i12314/245/245/24X2的概率分布为1H(X2| X1)log44=1.209bit/ 符号log 4811log 4 log862log312log312X2X3的联合概率分布为P(X2iX3j)12317/247/487/4825/3605/1235/365/120那么771H(X3|X2) log 2 log 4 log 4 24488=1.26bit/ 符号A log 23625 i 3 36log73H(X1,X2,X3)1.5 1.209 1.26
12、3.969bit /符号所以平均符号熵 H 3(X1, X 2, X3) 3969 1.323bit /符号3（2 ）设a1,a2,a?稳定后的概率分布分别为W1,W2,W3,转移概率距阵为 P-W1W2W31W123371-W11-W3W2计算得到 W234314W1W2 W31W3314WP W由得到Wi 1H (X)WiH(X |Wi)-HH,)2 H（,）1.25bit /符号i 1724 4143 3H 0log3 1.58bit / 符号H11.5bit/符号u 1.5H 21 2091.355bit /符号2,1.251.25,1.25c0 10 1 0.211 11 10.61721210.0781.581.51.3551/2又满足不可约性和非周期性3LV“ a12/32.32 一阶马尔可夫信源的
