《信息论与编码第二版曹雪虹答案》由会员分享，可在线阅读，更多相关《信息论与编码第二版曹雪虹答案（35页珍藏版）》请在金锄头文库上搜索。
1、 信息论与编码 信息论与编码 第二版 第二版 曹雪虹答案 曹雪虹答案 第二章 2 1 一个马尔可夫信源有 3 个符号 1 23 u u u 转移概率为 11 1 2p u u 21 1 2p uu 31 0p uu 12 1 3p u u 22 0p uu 32 2 3p uu 13 1 3p u u 23 2 3p uu 33 0p uu 画出状态图并求出各符号稳态概率 解 状态图如下 状态转移矩阵为 1 21 20 1 302 3 1 32 30 p 设状态 u1 u2 u3稳定后的概率分别为 W1 W2 W3 由 1231 WPW WWW 得 1231 132 23 123 111 23
2、3 12 23 2 3 1 WWWW WWW WW WWW 计算可得 1 2 3 10 25 9 25 6 25 W W W 2 2 由符号集 0 1 组成的二阶马尔可夫链 其转移概率为 0 00 p 0 8 0 11 p 0 2 1 00 p 0 2 1 11 p 0 8 0 01 p 0 5 0 10 p 0 5 1 01 p 0 5 1 10 p 0 5 画出状态图 并计算各状态的稳态概率 解 0 00 00 00 0 8pp 0 01 10 01 0 5pp 0 11 10 11 0 2pp 0 10 00 10 0 5pp 1 00 01 00 0 2pp 1 01 11 01 0
3、5pp 1 11 11 11 0 8pp 1 10 01 10 0 5pp u1u2 u3 1 2 1 2 1 3 2 3 2 3 1 3 于是可以列出转移概率矩阵 0 80 200 000 50 5 0 50 500 000 20 8 p 状态图为 0001 1011 0 8 0 2 0 5 0 5 0 5 0 5 0 2 0 8 设各状态 00 01 10 11 的稳态分布概率为 W1 W2 W3 W4 有 4 1 1i i WPW W 得 131 132 243 244 1234 0 80 5 0 20 5 0 50 2 0 50 8 1 WWW WWW WWW WWW WWWW 计算得
4、到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W 2 3 同时掷出两个正常的骰子 也就是各面呈现的概率都为 1 6 求 1 3 和 5 同时出现 这事件的自信息 2 两个 1 同时出现 这事件的自信息 3 两个点数的各种组合 无序 对的熵和平均信息量 4 两个点数之和 即 2 3 12 构成的子集 的熵 5 两个点数中至少有一个是 1 的自信息量 解 1 bitxpxI xp ii i 170 4 18 1 log log 18 1 6 1 6 1 6 1 6 1 2 bitxpxI xp ii i 170 5 36 1 log log 36 1 6 1 6 1 3 两个
5、点数的排列如下 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合 其中 11 22 33 44 55 66 的概率是 36 1 6 1 6 1 其他 15 个组合的概率是 18 1 6 1 6 1 2 symbolbitxpxpXH i ii 337 4 18 1 log 18 1 15 36 1 log 36 1 6 log 4 参考上面的两个点数的排列 可以得出两个点数求和的概率分布如下 symbolbit
6、 xpxpXH XP X i ii 274 3 6 1 log 6 1 36 5 log 36 5 2 9 1 log 9 1 2 12 1 log 12 1 2 18 1 log 18 1 2 36 1 log 36 1 2 log 36 1 12 18 1 11 12 1 10 9 1 9 36 5 8 6 1 7 36 5 6 9 1 5 12 1 4 18 1 3 36 1 2 5 bitxpxI xp ii i 710 1 36 11 log log 36 11 11 6 1 6 1 2 4 2 5 居住某地区的女孩子有 25 是大学生 在女大学生中有 75 是身高 160 厘米 以
7、上的 而女孩子中身高 160 厘米以上的占总数的一半 假如我们得知 身高 160 厘米以上的某女孩是大学生 的消息 问获得多少信息量 解 设随机变量 X 代表女孩子学历 X x1 是大学生 x2 不是大学生 P X 0 25 0 75 设随机变量 Y 代表女孩子身高 Y y1 身高 160cm y2 身高 160cm P Y 0 5 0 5 已知 在女大学生中有 75 是身高 160 厘米以上的 即 bitxyp 75 0 11 求 身高 160 厘米以上的某女孩是大学生的信息量 即 bit yp xypxp yxpyxI 415 1 5 0 75 025 0 log log log 1 11
8、1 1111 2 6 掷两颗骰子 当其向上的面的小圆点之和是 3 时 该消息包含的信息量是多少 当小圆 点之和是 7 时 该消息所包含的信息量又是多少 解 1 因圆点之和为 3 的概率 1 1 2 2 1 18 p xpp 该消息自信息量 log log184 170I xp xbit 2 因圆点之和为 7 的概率 1 1 6 6 1 2 5 5 2 3 4 4 3 6 p xpppppp 该消息自信息量 log log62 585I xp xbit 2 7 设有一离散无记忆信源 其概率空间为 12340123 3 81 41 41 8 Xxxxx P 1 求每个符号的自信息量 2 信源发出一
9、消息符号序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求该序列的自信息量和平均每个符号携带的信息量 解 122 1 18 loglog1 415 3 I xbit p x 同理可以求得233 2 2 3I xbit I xbit I xbit 因为信源无记忆 所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有 123414 13 12 6 87 81II xI xI xI xbit 平均每个符号携带的信息量为 87 81 1 95 45 bit 符号 2 8 试问四进制 八进制脉冲所含信息量是二进制脉
10、冲的多少倍 解 四进制脉冲可以表示 4 个不同的消息 例如 0 1 2 3 八进制脉冲可以表示 8 个不同的消息 例如 0 1 2 3 4 5 6 7 二进制脉冲可以表示 2 个不同的消息 例如 0 1 假设每个消息的发出都是等概率的 则 四进制脉冲的平均信息量symbolbitnXH 24loglog 1 八进制脉冲的平均信息量symbolbitnXH 38loglog 2 二进制脉冲的平均信息量symbolbitnXH 12loglog 0 所以 四进制 八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍 2 9 用三个脉冲 用一个脉冲 1 I Log 4 2 I Log 4
11、3 0 415 2 H 1 4 Log 4 3 4 Log 4 3 0 811 2 10 2 P 黑 黑 P 白 黑 H Y 黑 3 P 黑 白 P 白 白 H Y 白 4 P 黑 P 白 H Y 2 11 有一个可以旋转的圆盘 盘面上被均匀的分成 38 份 用 1 38 的数字标示 其中 有两份涂绿色 18 份涂红色 18 份涂黑色 圆盘停转后 盘面上的指针指向某一数字和颜 色 1 如果仅对颜色感兴趣 则计算平均不确定度 2 如果仅对颜色和数字感兴趣 则计算平均不确定度 3 如果颜色已知时 则计算条件熵 解 令 X 表示指针指向某一数字 则 X 1 2 38 Y 表示指针指向某一种颜色 则
12、Y l 绿色 红色 黑色 Y 是 X 的函数 由题意可知 i jip xyp x 1 3 1 12381838 loglog2log1 24 3823818 j j j H Yp y p y bit 符号 2 2 log 385 25H X YH X bit 符号 3 5 25 1 244 01H X YH X YH YH XH Y bit 符号 2 12 两个实验 X 和 Y X x1 x2 x3 Y y1 y2 y3 l 联合概率 ijijr x yr 为 11 1213 212223 313233 7 241 240 1 241 41 24 01 247 24 rrr rrr rrr 1
13、 如果有人告诉你 X 和 Y 的实验结果 你得到的平均信息量是多少 2 如果有人告诉你 Y 的实验结果 你得到的平均信息量是多少 3 在已知 Y 实验结果的情况下 告诉你 X 的实验结果 你得到的平均信息量是多少 解 联合概率 ijp x y为 2 222 1 log 72411 2log4log 24log 4 247244 ij ij ij H X Yp x y p x y 2 3bit 符号 X 概率分布 2 1 3log 31 58 3 H Y bit 符号 2 3 1 58H X YH X YH Y Y 概率分布是 0 72bit 符号 Y y1 y2 y3 P 8 24 8 24
14、8 24 Y X y1 y2 y3 x1 7 24 1 24 0 x2 1 24 1 4 1 24 x3 0 1 24 7 24 X x1 x2 x3 P 8 24 8 24 8 24 2 13 有两个二元随机变量X和Y 它们的联合概率为 Y X x1 0 x2 1 y1 0 1 8 3 8 y2 1 3 8 1 8 并定义另一随机变量Z XY 一般乘积 试计算 1 H X H Y H Z H XZ H YZ 和H XYZ 2 H X Y H Y X H X Z H Z X H Y Z H Z Y H X YZ H Y XZ 和H Z XY 3 I X Y I X Z I Y Z I X Y
15、Z I Y Z X 和I X Z Y 解 1 symbolbitypypYH yxpyxpyp yxpyxpyp symbolbitxpxpXH yxpyxpxp yxpyxpxp j jj i ii 1 log 2 1 8 1 8 3 2 1 8 3 8 1 1 log 2 1 8 1 8 3 2 1 8 3 8 1 22212 12111 22122 21111 Z XY 的概率分布如下 symbolbitzpZH zz ZP Z k k 544 0 8 1 log 8 1 8 7 log 8 7 8 1 8 7 10 2 21 symbolbitzxpzxpXZH zpzxp zxpzx
16、pzp zxpzpzxp zxpzxpzp xpzxp zxp zxpzxpxp ik kiki 406 1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 log 8 1 8 3 5 0 8 7 5 0 0 222 22212 11112 12111 111 21 21111 symbolbitzypzypYZH zpzyp zypzypzp zypzpzyp zypzypzp ypzyp zyp zypzypyp jk kjkj 406 1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 log 8 1 8 3 5 0 8 7 5 0 0 222 22212 11112 12111 111 21 21111 symbolbit zyxpzyxpXYZH yxpzyxp yxpzyxpzyxp zyxp yxpzyxp yxpzyxpzyxp zyxpzxpzyxp zxpzyxpzyxp yxpzyxp yxpzyxpzyxp zyxp zyxp zyxp ijk kjikji 811 1 8 1 log 8 1 8 3 log 8
