《(完整word版)信息论与编码-曹雪虹-课后习题答案》由会员分享,可在线阅读,更多相关《(完整word版)信息论与编码-曹雪虹-课后习题答案(52页珍藏版)》请在金锄头文库上搜索。
1、 信息论与编码-曹雪虹-课后习题答案 第二章 2.1 一个马尔可夫信源有 3 个符号1,23,u u u,转移概率为:11|1/2p u u,21|1/2p uu,31|0p uu,12|1/3p u u,22|0p uu,32|2/3p uu,13|1/3p u u,23|2/3p uu,33|0p uu,画出状态图并求出各符号稳态概率。解:状态图如下 状态转移矩阵为:1/21/201/302/31/32/30p 设状态 u1,u2,u3稳定后的概率分别为 W1,W2、W3 由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得123102
2、5925625WWW u1u2u31/21/21/32/32/31/3 2.2 由符号集0,1组成的二阶马尔可夫链,其转移概 率 为:(0|00)p=0.8,(0|11)p=0.2,(1|00)p=0.2,(1|11)p=0.8,(0|01)p=0.5,(0|10)p=0.5,(1|01)p=0.5,(1|10)p=0.5。画出状态图,并计算各状态的稳态概率。解:(0|00)(00|00)0.8pp (0|01)(10|01)0.5pp(0|11)(10|11)0.2pp (0|10)(00|10)0.5pp(1|00)(01|00)0.2pp (1|01)(11|01)0.5pp(1|11)
3、(11|11)0.8pp (1|10)(01|10)0.5pp 于是可以列出转移概率矩阵:0.80.200000.50.50.50.500000.20.8p 状态图为:000110110.80.20.50.50.50.50.20.8 设各状态 00,01,10,11 的稳态分布概率为W1,W2,W3,W4 有 411iiWPWW 得 13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW 计算得到12345141717514WWWW 2.3 同时掷出两个正常的骰子,也就是各面呈现的概率都为 1/6,求:(1)“3 和 5 同时出现”这
4、事件的自信息;(2)“两个 1 同时出现”这事件的自信息;(3)两个点数的各种组合(无序)对的熵和平均信息量;(4)两个点数之和(即2,3,12 构成的子集)的熵;(5)两个点数中至少有一个是1 的自信息量。解:(1)bitxpxIxpiii 170.4181log)(log)(18161616161)(2)bitxpxIxpiii 170.5361log)(log)(3616161)(3)两个点数的排列如下:11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61
5、62 63 64 65 66 共有 21 种组合:其中 11,22,33,44,55,66 的概率是3616161 其他 15 个组合的概率是18161612 symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:symbolbitxpxpXHXPXiii/274.3 61log61365log365291log912121log1212181log1812361log3612 )(log)()(3611218111121109193658617365691512141813
6、3612)(5)bitxpxIxpiii 710.13611log)(log)(3611116161)(2-4 2.5 居住某地区的女孩子有 25%是大学生,在女大学生中有 75%是身高 160 厘米以上的,而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量 X 代表女孩子学历 X x1(是大学生)x2(不是大学生)P(X)0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1(身高160cm)y2(身高160cm)P(Y)0.5 0.5 已知:在女大学生中有 75%是身高 160 厘米以上的 即:b
7、itxyp 75.0)/(11 求:身高 160 厘米以上的某女孩是大学生的信息量 即:bitypxypxpyxpyxI 415.15.075.025.0log)()/()(log)/(log)/(11111111 2.6 掷两颗骰子,当其向上的面的小圆点之和是 3 时,该消息包含的信息量是多少?当小圆点之和是 7 时,该消息所包含的信息量又是多少?解:1)因圆点之和为 3 的概率1()(1,2)(2,1)18p xpp 该消息自信息量()log()log184.170I xp xbit 2)因圆点之和为 7 的概率 1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p xp
8、ppppp 该消息自信息量()log()log62.585I xp xbit 2.7 设 有 一 离 散 无 记 忆 信 源,其 概 率 空 间 为 123401233/81/41/41/8XxxxxP (1)求每个符号的自信息量 (2)信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210,求该序列的自信息量和平均每个符号携带的信息量 解:122118()loglog1.415()3I xbitp x 同理可以求得233()2,()2,()3I xbit I xbit I xbit 因为信源无记忆,所以此
9、消息序列的信息量就等于该序列中各个符号的信息量之和 就有:123414()13()12()6()87.81II xI xI xI xbit 平均每个符号携带的信息量为87.811.9545bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解:四进制脉冲可以表示4 个不同的消息,例如:0,1,2,3 八进制脉冲可以表示 8 个不同的消息,例如:0,1,2,3,4,5,6,7 二进制脉冲可以表示 2 个不同的消息,例如:0,1 假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量symbolbitnXH/24loglog)(1 八进制脉冲的平均信息量symbolbi
10、tnXH/38loglog)(2 二进制脉冲的平均信息量symbolbitnXH/12loglog)(0 所以:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。2-9 “”用三个脉冲 “”用一个脉冲(1)I()=Log 4()2 I()Log430.415(2)H=14Log 4()34Log430.811 2-10 (2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2.11 有一个可以旋转的圆盘,盘面上被均匀的分成38 份,用 1,38 的数字标示,其中有两份涂绿色,18 份涂红色,18
11、 份涂黑色,圆盘停转后,盘面上的 指针指向某一数字和颜色。(1)如果仅对颜色感兴趣,则计算平均不确定度(2)如果仅对颜色和数字感兴趣,则计算平均不确定度(3)如果颜色已知时,则计算条件熵 解:令 X 表示指针指向某一数字,则 X=1,2,.,38 Y 表示指针指向某一种颜色,则 Y=l 绿色,红色,黑色 Y 是 X 的函数,由题意可知()()i jip xyp x(1)3112381838()()loglog2log1.24()3823818jjjH Yp yp y bit/符号(2)2(,)()log 385.25H X YH Xbit/符号(3)(|)(,)()()()5.251.244.
12、01H X YH X YH YH XH Ybit/符号 2.12 两个实验 X 和 Y,X=x1 x2 x3,Y=y1 y2 y3,l 联合概率,ijijr x yr为 1112132122233132337/241/2401/241/41/2401/247/24rrrrrrrrr(1)如果有人告诉你X 和 Y 的实验结果,你得到的平均信息量是多少?(2)如果有人告诉你 Y 的实验结果,你得到的平均信息量是多少?(3)在已知 Y 实验结果的情况下,告诉你 X 的实 验结果,你得到的平均信息量是多少?解:联合概率(,)ijp x y为 22221(,)(,)log(,)724112log4log
13、 24log 4247244ijijijH X Yp x yp x y =2.3bit/符号 X 概率分布 21()3log 31.583H Y bit/符号(|)(,)()2.3 1.58H X YH X YH Y Y概 率 分 布 是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24 2.13 有两个二元随机变量X和Y,它们的联合概率为 Y X y1 y2 y3 x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24 X x1 x2 x3 P 8/24 8/24 8/24 Y X x1=0 x2=1 y1=0 1/8 3/
14、8 y2=1 3/8 1/8 并定义另一随机变量Z=XY(一般乘积),试计算:(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ);(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY);(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解:(1)symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)(
15、)()(/1)(log)()(218183)()()(218381)()()(22212121112212221111 Z=XY的概率分布如下:symbolbitzpZHzzZPZkk/544.081log8187log87)()(818710)(221 symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(22222212111121211111
16、12121111 symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111 symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji/811.181log8183log8383log8381log81 )(log)()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211(2)symbol