《信息论与编码》由会员分享，可在线阅读，更多相关《信息论与编码（37页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码-雪虹-课后习题答案第二章2.1 个马尔可夫信源有3个符号% u 2, u 3,转移概率为：p (uj U)= 1/2,p(u2IU) = 1/2 ,p(u3|u1)=0, p(u1|u2)=1/3p(u2|u2)=0, p(u3|u2)=2/3p(uj u3)= 1/3 ,p(u2|u3)=2/3 , p(u3|u3)=0画出状态图并求出各符号稳态概率。解：状态图如下1/2设状态u u u稳定后的概率分别为W, W、W1, 2, 31231/21/20、p =1/302/3J/32/30丿状态转移矩阵为：W 10W1 = 25W 2 =2 25W 3 =3 25-w + - W
2、+ - W = w, 21 32 331由卿=W得w 1+W 2+W 3 = 11 w + - W = w.2 1 3 32-w 2 = w 33 23w 1+w 2+w 3 = 12.2 由符号集0,1组成的二阶马尔可夫链,其转移概率为： p(0|00)=0.8, p(0|11) =0. 2 ,p(1| 00) =0. 2 , p(1|11) =0. 8, p(0|01)=0.5, p(0 |10) =0. 5, p(1| 01)=0. 5, p(1|10) =0. 5 画出状态图,并计算各状态的稳态概率。解： p(0|00)= p(00 | 00) = 0.8p(0|01)= p(10|0
3、1)= 0.5p(0 |11) = p(10|11) = 0.2p(0 |10) = p(00 |10) =0.5p(1| 00) = p(01| 00) = 0.2p(1| 01) = p(11| 01) = 0.5p(1|11) = p(11|11) = 0.8p(1|10) = p(01|10) = 0.5于是可以列出转移概率矩阵：p =(0.80.200000.50.50.50.500_ P( X)_3618迈93663691836 一H(X) = p(x )log p(x )iiir21.1丄 211 丄 211 丄 2-1 丄 255 丄 11)=2 xlo g + 2 x log
4、 丄 2 x lo g 丄 2 x log 丄 2 x lo g 丄一lo g J 36361818121299363666 丿=3.274 bit/symbol(5)p(x ) = x x11 = 11i 6 636I(x)=i一log p(x ) = 一log11 = 1.710 bit362-4-Log i-Log=0.014-Log=6.64499(Log ioa I 2+ XWW.D.OS1LcigfQ = 22.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米 以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某
5、女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历XX1 (是大学生)x2 (不是大学生)P(X)0.250.75设随机变量Y代表女孩子身髙Yyi (身髙160cm)P(Y)0.5y (身髙160cm)0.5已知：在女大学生中有75%是身高160厘米以上的即：P(y / x ) = 0.75 bit11求：身高160厘米以上的某女孩是大学生的信息量即：1(Xi/ yi)一l0gP(Xi/yi)一l0gp (x ) p (y / x )1 11p( y )10.25 x 0.75二 1.415 bit2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少
6、？当小圆 点之和是7时，该消息所包含的信息量又是多少？解：1) 因圆点之和为3的概率p(x) = p(1,2) + p(2,1) =18该消息自信息量 I (x) = -log p( x) = log18 = 4.170bit2) 因圆点之和为7的概率p (x) = p(1,6) + p (6,1) + p(2,5) + p (5,2) + p(3,4) + p(4,3) =16该消息自信息量 I (x) = - log p (x) = log6 = 2.585bit2.7(X ) 设有一离散无记忆信源，其概率空间为pV P丿x 2 二 11/4x3 二 2 x4 二 3 1/ 4 1/8 丿
7、(1) 求每个符号的自信息量(2) 信源发出一消息符号序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量解：181 (x1)=呃丽=lOg23 = 1415bit同理可以求得 I (x 2) = 2bit, I (x 3) = 2bit, I (x 3) = 3bit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I = 141(X) + 13I(x2) +121(x3) + 61(x4) = 87.81bit87.81平均每个符号携带的信息
8、量为=1.95 bit/符号452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：0, 1, 2, 3 八进制脉冲可以表示8个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H (X1)= log n = log4 = 2 bit / symbol八进制脉冲的平均信息量H(X ) = logn = log8 = 3 bit/symbol2二进制脉冲的平均信息量H (X ) = log n = log2 = 1 bi
9、t / symbol所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9 “”用三个脉冲 “”用一个脉冲【()= I(-) =(2) H=2-10(2) P(黑/黑)=P(白/黑)=H(Y/黑)=(3) P(黑/白)=P(白/白)=H(Y/ 白)=(4) P(黑)=P(白)=H(Y)=2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用匕，38的数字标示，其中 有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜 色。(1) 如果仅对颜色感兴趣，则计算平均不确定度(2) 如果仅对颜色和数字感兴趣，则计算平均不确定度(3) 如果颜色已
10、知时，则计算条件熵解：令X表示指针指向某一数字，则X=1,2,.,38Y表示指针指向某一种颜色，则Y=l绿色，红色，黑色Y是X的函数，由题意可知p(xiyj) = p(xj312381838(1)H(Y) = p(y.)log二 log + 2x log 二 1.24bit/符号1 jp( yj) 3823818j=1j(2) H(X,Y) = H(X) = log238 = 5.25bit/符号(3) H(X I Y) = H(X, Y) -H(Y) = H(X) -H(Y) = 5.25-1.24 = 4.01 bit/符号2.12两个实验X和Y, X=x x2y3,l联合概率r& y)=
11、 r.为r 1 r r f7/24 1/240、111213r rr=1/ 241/41/ 24212223.r r r .、01/24 7/24丿x3,Y=y1 y2(1) 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？(2) 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？(3) 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？y1y2y3x17/241/240x21/241/41/24x301/247/24解：联合概率p(x., y.)为H(X, Y) = 丫 p(x., y.)log 2. .2 p(x., y.). . .72411=2 x log2+ 4 xlog 22
