《信息论与编码第二版)曹雪虹最全版本)答案资料》由会员分享，可在线阅读，更多相关《信息论与编码第二版)曹雪虹最全版本)答案资料（41页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码（第二版） 曹雪虹答案 第二章 2.1 一个马尔可夫信源有3 个符号1,23,u u u，转移概率为：11|1/ 2p uu，21|1/ 2p uu， 31 |0p uu， 12 |1/3p uu， 22 |0p uu， 32 |2/3p uu， 13 |1/3p u u， 23 |2/3p uu， 33 |0p uu，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/ 21/ 20 1/ 302 /3 1/ 32/30 p 设状态 u1，u2，u3稳定后的概率分别为W 1，W2、W3 由 123 1 WPW WWW 得 1231 132 23 123 111
2、 233 12 23 2 3 1 WWWW WWW WW WWW 计算可得 1 2 3 10 25 9 25 6 25 W W W 2.2 由符号集 0，1组成的二阶马尔可夫链，其转移概率为：(0 |00)p=0.8，(0 |11)p=0.2， (1|00)p=0.2，(1|11)p=0.8，(0 | 01)p=0.5，(0 |10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态 图，并计算各状态的稳态概率。 解：(0 | 00)(00 | 00)0.8pp(0 |01)(10 |01)0.5pp (0 |11)(10 |11)0.2pp(0 |10)(00 |10)0.
3、5pp (1| 00)(01| 00)0.2pp(1| 01)(11| 01)0.5pp (1|11)(11|11)0.8pp(1|10)(01|10)0.5pp u1u2 u3 1/2 1/2 1/3 2/3 2/3 1/3 于是可以列出转移概率矩阵： 0.80.200 000.50.5 0.50.500 000.20.8 p 状态图为： 0001 1011 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 设各状态 00，01，10，11 的稳态分布 概率为 W1,W2,W3,W4 有 4 1 1 i i WPW W 得 131 132 243 244 1234 0.80.5
4、 0.20.5 0.50.2 0.50.8 1 WWW WWW WWW WWW WWWW 计算得到 1 2 3 4 5 1 4 1 7 1 7 5 1 4 W W W W 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6 ，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, , , 12构成的子集）的熵； (5) 两个点数中至少有一个是1 的自信息量。 解：(1) bitxpxI xp ii i 170.4 18 1 log)(log)(
5、 18 1 6 1 6 1 6 1 6 1 )( (2) bitxpxI xp ii i 170.5 36 1 log)(log)( 36 1 6 1 6 1 )( (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合： 其中 11，22，33，44，55，66 的概率是 36 1 6 1 6 1 其他 15 个组合的概率是 18 1 6 1 6 1 2 symbolbitxpxpXH
6、 i ii /337.4 18 1 log 18 1 15 36 1 log 36 1 6)(log)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbolbit xpxpXH XP X i ii /274.3 6 1 log 6 1 36 5 log 36 5 2 9 1 log 9 1 2 12 1 log 12 1 2 18 1 log 18 1 2 36 1 log 36 1 2 )(log)()( 36 1 12 18 1 11 12 1 10 9 1 9 36 5 8 6 1 7 36 5 6 9 1 5 12 1 4 18 1 3 36 1 2
7、 )( (5) bitxpxI xp ii i 710.1 36 11 log)(log)( 36 11 11 6 1 6 1 )( 2-4 2.5 居住某地区的女孩子有25% 是大学生，在女大学生中有75% 是身高 160厘米以上的， 而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某 女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高 160cm） y2（身高 160cm） P(Y) 0.5 0.5 已知：在女
8、大学生中有75%是身高 160 厘米以上的 即：bitxyp75.0)/( 11 求：身高 160厘米以上的某女孩是大学生的信息量 即：bit yp xypxp yxpyxI415.1 5.0 75.025.0 log )( )/()( log)/(log)/( 1 111 1111 2.6 掷两颗骰子，当其向上的面的小圆点之和是3 时，该消息包含的信息量是多少？当 小圆点之和是 7 时，该消息所包含的信息量又是多少？ 解： 1）因圆点之和为 3 的概率 1 ( )(1,2)(2,1) 18 p xpp 该消息自信息量 ( )log( )log184.170I xp xbit 2）因圆点之和为
9、 7 的概率 1 ( )(1,6)(6,1)(2,5)(5, 2)(3,4)(4,3) 6 p xpppppp 该消息自信息量( )log( )log62.585I xp xbit 2.7 设有一离散无记忆信源，其概率空间为 1234 0123 3/81/ 41/ 41/8 Xxxxx P （1）求每个符号的自信息量 （2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量 解： 122 1 18 ()loglog1.415 ()3 I xbit p x 同
10、理可以求得 233()2, ()2, ()3I xbit I xbit I xbit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有： 1234 14 ()13 ()12 ()6 ()87.81II xI xI xI xbit 平均每个符号携带的信息量为 87.81 1.95 45 bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如： 0, 1, 2, 3 八进制脉冲可以表示8 个不 同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2 个不同的消息，例如：
11、 0, 1 假设每个消息的发出都是等概率的，则： 四进制 脉冲的 平均 信息 量symbolbitnXH/24loglog)( 1八进 制脉 冲的 平均信 息量 symbolbitnXH/38loglog)( 2 二进制脉冲的平均信息量symbolbitnXH/12loglog)( 0 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和 3 倍。 2-9 “” 用三个脉冲“”用一个脉冲 (1) I()= Log 4( )2 I() Log 4 3 0.415 (2) H= 1 4 Log 4( ) 3 4 Log 4 3 0.811 2-10 (2) P(黑/黑)= P(白/黑
12、)= H(Y/ 黑)= (3) P(黑/白)= P(白/白)= H(Y/ 白 )= (4) P(黑 )= P(白)= H(Y)= 2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1，38 的数字标示，其 中有两份涂绿色， 18 份涂红色， 18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字 和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵 解：令 X 表示指针指向某一数字，则X=1,2,.,38 Y 表示指针指向某一种颜色，则Y=l 绿色，红色，黑色 Y 是 X 的函数，由题意可知(
13、)() iji p x yp x （1） 3 1 12381838 ( )()loglog2log1.24 ()3823818 j j j H Yp y p y bit/符号 （2） 2(,)()log 385.25H X YH Xbit/符号 （3）(|)(,)()()( )5.251.244.01H XYH X YH YH XH Ybit/符号 2.12 两个实验 X 和 Y，X=x1 x2x3,Y=y1y2 y3,l 联合概率, ijij r x yr为 11 1213 212223 313233 7/ 241/ 240 1/ 241/ 41/ 24 01/ 247/ 24 rrr rr
14、r rrr （1）如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？ （3）在已知 Y 实验结果的情况下， 告诉你 X 的实验结果，你得到的平均信息量是多少？ 解：联合概率( ,) ijp x y为 2 222 1 (,)( ,)log ( ,) 72411 2log4log 24log 4 247244 ij ij ij HX Yp x y p x y =2.3bit/符号 X 概率分布 2 1 ( )3log 31.58 3 H Ybit/符号 (|)(, )( )2.31.58H X YHX YH YY概
15、率 分 布 是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24 2.13 有两个二元随机变量X和Y，它们的联合概率为 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 Y X y1 y2y3 x17/24 1/24 0 x21/24 1/4 1/24 x30 1/24 7/24 X x1 x2 x3 P 8/24 8/24 8/24 并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z
16、/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1) symbolbitypypYH yxpyxpyp yxpyxpyp symbolbitxpxpXH yxpyxpxp yxpyxpxp j jj i ii /1)(log)()( 2 1 8 1 8 3 )()()( 2 1 8 3 8 1 )()()( /1)(log)()( 2 1 8 1 8 3 )()()( 2 1 8 3 8 1 )()()( 22212 12111 22122 21111 Z = XY 的概率分布如下： symbolbitzpZH zz ZP Z k k /544.0 8 1 log 8 1 8 7 log 8 7 )()( 8 1 8 7 10 )( 2 21 symbolbitzxpzxpXZH zpzxp zxpzxpzp zxpzpzxp zxpzxpzp xpzxp
