《《信息论》—基础理论与应用(傅祖芸)课后答案.pdf》由会员分享，可在线阅读，更多相关《《信息论》—基础理论与应用(傅祖芸)课后答案.pdf（91页珍藏版）》请在金锄头文库上搜索。
1、第二章课后习题第二章课后习题 2 1 设有 12 枚同值硬币 其中有一枚为假币 只知道假币的重量与真币的重量不同 但不知究竟是重还是轻 现用比较天平左右两边轻重的方法来测量 为了在天平上称出哪 一枚是假币 试问至少必须称多少次 解 从信息论的角度看 12 枚硬币中 某一枚为假币 该事件发生的概率为 12 1 P 假币的重量比真的轻 或重 该事件发生的概率为 2 1 P 为确定哪一枚是假币 即要消除上述两事件的联合不确定性 由于二者是独立的 因 此有 24log2log12log I比特 而用天平称时 有三种可能性 重 轻 相等 三者是等概率的 均为 3 1 P 因此天 平每一次消除的不确定性为
2、3log I比特 因此 必须称的次数为 9 2 3log 24log 2 1 I I 次 因此 至少需称 3 次 延伸 如何测量 分 3 堆 每堆 4 枚 经过 3 次测量能否测出哪一枚为假币 2 2 同时扔一对均匀的骰子 当得知 两骰子面朝上点数之和为 2 或 面朝上点数之 和为 8 或 两骰子面朝上点数是 3 和 4 时 试问这三种情况分别获得多少信息量 解 两骰子总点数之和为 2 有一种可能 即两骰子的点数各为 1 由于二者是独立的 因此该种情况发生的概率为 36 1 6 1 6 1 P 该事件的信息量为 17 5 36log I比特 两骰子总点数之和为 8 共有如下可能 2 和 6 3
3、 和 5 4 和 4 5 和 3 6 和 2 概 率为 36 5 5 6 1 6 1 P 因此该事件的信息量为 85 2 5 36 log I比特 两骰子面朝上点数是3和4 的可能性有两种 3和4 4和3 概率为 18 1 2 6 1 6 1 P 因此该事件的信息量为 17 4 18log I比特 2 3 如果你在不知道今天是星期几的情况下问你的朋友 明天星期几 则答案中含有 多少信息量 如果你在已知今天是星期四的情况下提出同样的问题 则答案中你能获得多 少信息量 假设已知星期一至星期日的顺序 解 如果不知今天星期几时问的话 答案可能有七种可能性 每一种都是等概率的 均为 7 1 P 因此此时
4、从答案中获得的信息量为 807 2 7log I比特 而当已知今天星期几时问同样的问题 其可能性只有一种 即发生的概率为 1 此时获得 的信息量为 0 比特 2 4 居住某地区的女孩中有 25 是大学生 在女大学生中有 75 是身高 1 6 米以上的 而女孩中身高 1 6 米以上的占总数一半 假如我们得知 身高 1 6 米以上的某女孩是大学 生 的消息 问获得多少信息量 解 设 A 表示女孩是大学生 25 0 AP B 表示女孩身高 1 6 米以上 75 0 ABP 5 0 BP 身高 1 6 米以上的某女孩是大学生 的发生概率为 本页已使用福昕阅读器进行编辑 福昕软件 C 2 0 0 5 2
5、 0 1 0 版权所有 仅供试用 375 0 5 0 75 0 25 0 BP ABPAP BP ABP BAP 已知该事件所能获得的信息量为 415 1 375 0 1 log I比特 2 5 设离散无记忆信源 8 14 14 18 3 3210 4321 aaaa xP X 其发出的消息为 202120130213001203210110321010021032011223210 求 1 此消息的自信息是多少 2 在此消息中平均每个符号携带的信息量是多少 解 信源是无记忆的 因此 发出的各消息之间是互相独立的 此时发出的消息的自信息 即为各消息的自信息之和 根据已知条件 发出各消息所包含的
6、信息量分别为 415 1 3 8 log 0 0 aI比特 24log 1 1 aI比特 24log 2 2 aI比特 38log 3 3 aI比特 在发出的消息中 共有 14 个 0 符号 13 个 1 符号 12 个 2 符号 6 个 3 符号 则得到消息的自信息为 81 8736212213415 1 14 I比特 45 个符号共携带 87 81 比特的信息量 平均每个符号携带的信息量为 95 1 45 81 87 I比特 符号 注意 消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量 后者是信息熵 可计算得 91 1 log xPxPXH比特 符号 本页已
7、使用福昕阅读器进行编辑 福昕软件 C 2 0 0 5 2 0 1 0 版权所有 仅供试用 2 6 如有 6 行 8 列的棋型方格 若有二个质点 A 和 B 分别以等概率落入任一方格内 且它们的坐标分别为 XA YA 和 XB YB 但 A 和 B 不能落入同一方格内 1 若仅有质点 A 求 A 落入任一个格的平均自信息量是多少 2 若已知 A 已落入 求 B 落入的平均自信息量 3 若 A B 是可分辨的 求 A B 同都落入的平均自信息量 解 1 求质点 A 落入任一格的平均自信息量 即求信息熵 首先得出质点 A 落入任一 格的概率空间为 48 1 48 1 48 1 48 1 48321
8、L Laaaa P X 平均自信息量为 58 5 48log AH比特 符号 2 已知质点 A 已落入 求 B 落入的平均自信息量 即求 ABH A 已落入 B 落入的格可能有 47 个 条件概率 ij abP均为 47 1 平均自信息量为 55 5 47log log 48 1 47 1 ij ijiji abPabPaPABH比特 符号 3 质点 A 和 B 同时落入的平均自信息量为 13 11 ABHAHABH比特 符号 2 7 从大量统计资料知道 男性中红绿色盲的发病率为 7 女性发病率为 0 5 如果 你问一位男同志 你是否是红绿色盲 他的回答可能是 是 也可能是 否 问这 两个回答
9、中各含有多少信息量 平均每个回答中含有多少信息量 如果你问一位女同志 则答案中含有的平均自信息量是多少 解 男同志红绿色盲的概率空间为 93 0 07 0 21 aa P X 问男同志回答 是 所获昨的信息量为 836 3 07 0 1 log I比特 符号 问男同志回答 否 所获得的信息量为 105 0 93 0 1 log I比特 符号 男同志平均每个回答中含有的信息量为 366 0 log xPxPXH比特 符号 同样 女同志红绿色盲的概率空间为 995 0 005 0 Y 21 bb P 问女同志回答 是 所获昨的信息量为 64 7 005 0 1 log I比特 符号 问女同志回答
10、否 所获昨的信息量为 3 1023 7 995 0 1 log I比特 符号 女同志平均每个回答中含有的信息量为 045 0 log xPxPYH比特 符号 2 8 设信源 17 0 16 0 17 0 18 0 19 0 2 0 654321 aaaaaa xP X 求此信源的熵 并解释为什 么6log XH 不满足信源熵的极值性 解 6log65 2 log xPxPXH 原因是给定的信源空间不满足概率空间的完备集这一特性 因此不满足极值条件 2 9 设离散无记忆信源 S 其符号集 21q aaaA 知其相应的概率分别为 21q PPP 设 另一离散无记 忆信源 S 其符号集为 S 信源符
11、号集 的两倍 2 2 1 qiaA i 并且各符号的概率分布满足 qqqiPP qiPP ii ii 2 2 1 2 1 1 试写出信源S 的信息熵与信源S 的信息熵的关系 解 1 log 1log 1 logloglog 1 1log 1 log 1log 1 log HSH SH PPPPPP PPPP xPxPSH iiiiii iiii 2 10 设有一概率空间 其概率分布为 21q ppp 并有 21 pp 若取 11 pp 22 pp 其中 21 20pp x 2 拉普拉斯概率密度函数 x exp 2 1 0 KKXY XY2 2 试分别求出 1 Y 和 2 Y的 熵 1 Yh和
12、2 Yh 解 babaeba xdxxebb dxbxbx dxxpxpXh a a loglog 3 2 log 9 2 lnlog2log log log 33 0 2 0 22 由于1 dxxp 因此3 3 ba 因此 3logloglog 3 2 aeXh 当 0 1 KKXY时 1 1 Y X 因此 3logloglog 3 2 1 log 1 aeXhEXhYh 当XY2 2 时 2 1 1 Y X 因此 2 3 logloglog 3 2 2 1 log 1 aeXhEXhYh 4 4 设给定两随机变量 1 X 和 2 X 它们的联合概率密度为 2 21 2 2 2 1 2 1
13、xx exxp 时有 01 0 05 0 SH N I P i 式中 SH是信源的熵 2 试求当 0 NN 时典型序列集 N G 中含有的信源序列个数 解 1 该信源的信源熵为 811 0 log ii spspSH比特 符号 自信息的方差为 4715 0 811 0 4log 4 1 3 4 log 4 3 222 22 SHsIEsID ii 根据等长码编码定理 我们知道 1 SH N I P i 根据给定条件可知 05 0 99 0 而 2 N sID i 因此 5 190 99 0 05 0 4715 0 22 0 i sID N 取191 0 N 本页已使用福昕阅读器进行编辑 福昕软
14、件 C 2 0 0 5 2 0 1 0 版权所有 仅供试用 2 典型序列中信源序列个数取值范围为 22 1 SHN N SHN G 代入上述数值得 451 164351 145 2201 0 N G 5 2 有一信源 它有六个可能的输出 其概率分布如下表所示 表中给出了 对应的码 A B C D E 和 F 表 5 2 消息 i aP A B C D E F 1 a 1 2 000 0 0 0 0 0 2 a 1 4 001 01 10 10 10 100 3 a 1 16 010 011 110 110 1100 101 4 a 1 16 011 0111 1110 1110 1101 11
15、0 5 a 1 16 100 01111 11110 1011 1110 111 6 a 1 16 101 011111 111110 1101 1111 011 1 求这些码中哪些是惟一可译码 2 求哪些码是非延长码 即时码 3 求对所有惟一可译码求出其平均码长L 解 1 上述码字中 A 为等长码 且为非奇异码 因此码 A 为惟一可译码 码 B 中 根 据 惟 一 可 译 码 的 判 断 方 法 可 求 得 其 尾 随 后 缀 集 合 为 11111 1111 111 11 1 且其中任何后缀均不为码字 因此码 B 是惟一可译码 码 C 为逗点码 因此码 C 为惟一可译码 码 D 不是惟一可
16、译码 因为其尾随后缀 本页已使用福昕阅读器进行编辑 福昕软件 C 2 0 0 5 2 0 1 0 版权所有 仅供试用 集合中包含 0 而 0 又是码字 码 E 的尾随后缀集合为空集 因此码 E 是惟一可 译码 码 F 不是惟一可译码 因为其尾随后缀集合中包含 0 而 0 又是码字 因 此 F 不是惟一可译码 2 码 A C E 是即时码 非延长码 3 码 A 的平均码长为 3 码 B 的平均码长为 2 125 码 C 的平均码长为 2 125 码 F 的平均码长为 2 5 3 证明定理 5 6 若存在一个码长为 q lll 21 K的惟一可译码 则一定存在具 有相同码长的即时码 证明 如果存在码长为 q lll 21 K的惟一可译码 则 q lll 21 K必定满足如下不等式 1 1 q i li r 而如果码长 q lll 21 K满足上述不等式 根据 Kraft 不等式构造即时码的方法 可 以构造出码长为 q lll 21 K的即时码 具体构造过程略 参照课本相关定理 5 4 设信源 621 621 ppp sss sP S L L 将此信源编码为r 元惟一可译变长码 即码符号集
