《北航三版信息科学基础答案第2章 信息的统计度量》由会员分享，可在线阅读，更多相关《北航三版信息科学基础答案第2章 信息的统计度量（9页珍藏版）》请在金锄头文库上搜索。
1、 1 2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为 1/6，试求： (1) “3 和 5 同时出现”这事件的自信息量； (2) “两个 1 同时出现”这事件的自信息量； (3) “两个点数中至少有一个是 1”这事件的自信息量。 解： (1)bitxpxIxpiii17. 4181log)(log)(181 61 61 61 61)(2)bitxpxIxpiii17. 5361log)(log)(361 61 61)(3)bitxpxIxpiii71. 13611log)(log)(36111161 61)(2.4 居住某地区的女孩中有 25%是大学生，在女大学生中有 75%
2、是身高 1.6m 以上的，而女孩 中身高 1.6m 以上的占总数的一半。假如我们得知“身高 1.6m 以上的某女孩是大学生”的消 息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 Xx1（是大学生）x2（不是大学生） P(X)0.250.75设随机变量 Y 代表女孩子身高 Yy1（身高160cm）y2（身高160cm） P(Y)0.50.5已知：在女大学生中有 75%是身高 160 厘米以上的即：bitxyp 75. 0)/(11求：身高 160 厘米以上的某女孩是大学生的信息量即：bitypxypxpyxpyxI 415. 15 . 0 75. 025. 0log)()/()(l
3、og)/(log)/(1111 11112.5 一副充分洗乱了的牌（含 52 张牌） ，试问： (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？ 解： (1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： 2 !521)(ixpbitxpxIii581.225!52log)(log)(2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：bitCxpxICxpiii208.134log)(log)(4)(13 521313 52132.6 试问四进制、八进制
4、的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？解： 四进制脉冲可以表示 4 个不同的消息，例如：0, 1, 2, 3 八进制脉冲可以表示 8 个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示 2 个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量bitnXH 24loglog)(1八进制脉冲的平均信息量bitnXH 38loglog)(2二进制脉冲的平均信息量bitnXH 12loglog)(0所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.9 如有 6 行 8 列的棋
5、型方格，若有 2 个质点 A 和 B，分别以等概率落入任一方格内，且它们的坐标分别为、，但 A 和 B 不能落入同一方格内。试求：),(AAYX),(BBYX(1) 若仅有质点 A，求 A 落入任一方格的平均自信息量； (2) 若已知 A 已入，求 B 落入的平均自信息量； (3) 若 A、B 是可分辨的，求 A、B 同时落入的平均自信息量。 解：(1) bitnXHxpi58. 548loglog)(481)(2) bitnxypxypxpXYHxypxpijijijiiji55. 547loglog)/(log)/()()/(471)/(481)(3) bitXYHXHXYH 14.115
6、5. 558. 5)/()()( 3 2.10 一个消息由符号 0，1，2，3 组成，已知，。试83)0(p41) 1 (p41)2(p1(3)8p求由 60 个符号构成的消息的平均信息量。 解：bitXHbitxpxpXHiii36.114906. 160)(60906. 1 )125. 0log125. 025. 0log25. 025. 0log25. 0753 . 0log753 . 0( )(log)()(2.13 已知信源发出和两种消息，且。此消息在二进制对称信道上传1a2a5 . 0)()(21apap输，信道传输特性为)/()/( ,1)/()/(12212211abpabpa
7、bpabp求互信息量和。);(11baI);(22baI解： 1 )1 (21 21)1 (21)/()()/()()/(121)1 (21)1 (21)/()()/()()/(2222 221111 11iiiiiiabpapabpapbapabpapabpapbapbitapbapbaIbitapbapbaI)1log(121)1 (log)()/(log);()1log(121)1 (log)()/(log);(222 22111 112.15 黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出 现概率P(黑) = 0.3，白色的出现概率P(白) = 0.7。假设
8、黑白消息视为前后无关，求信息 熵H(X)。 解：bitxpxpXHiii881. 0)7 . 0log7 . 03 . 0log3 . 0()(log)()(2.17 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态， 调查结果得联合出现的相对频度如下： 4 忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 4若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解： (1) 根据忙闲的频率，得到忙闲的概率分布如下：bitxpxpXHxxXPXi
9、ii096. 021039log21039 21063log21063)(log)()(21039 21063忙忙)(221 (2) 设忙闲为随机变量 X，天气状态为随机变量 Y，气温状态为随机变量 ZbitzyxpzyxpXYZHijkkjikji198 . 2 21012log21012 2104log2104 21015log21015 2108log210821016log21016 21027log21027 2108log2108 21012log21012)(log)()(bitYZHXYZHYZXHbitzypzypYZHjkkjkj938 . 0809 . 1198 . 2)
10、()()/(809 . 1 21028log21028 21013log21013 21023log21023 21020log21020)(log)()(3) bitYZXHXHYZXI 211 . 0938 . 0096. 0)/()();(2.18 有两个二元随机变量X和Y，它们的联合概率分布函数如题表 2.1 所列。题表 2.1 5 Y X0101/83/813/81/8同时定义另一随机变量Z = XY（一般乘积） 。试计算： (1) 熵H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) 条件熵H(X/Y), H(Y/X), H(X/Z), H(Z/X
11、), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)； (3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1)bitxpxpXHyxpyxpxpyxpyxpxpiii1)(log)()(21 81 83)()()(21 83 81)()()(2212221111bitypypYHyxpyxpypyxpyxpypjjj1)(log)()(21 81 83)()()(21 83 81)()()(2221212111Z = XY 的概率分布如下：bitzpzpZHzzZPZk kk544
12、. 081log81 87log87)(log)()(81 8710)(221 bitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki406. 181log81 83log83 21log21)(log)()(81)()()()()(835 . 087)()()()()()(5 . 0)()(0)()()()(2222221211112121111112121111 6 )()()(835 . 087)()()()()()(5 . 0)()(0)()()()(2221211112121111112121111zypzypz
13、pzypzpzypzypzypzpypzypzypzypzypypbitzypzypYZHzpzypjkkjkj406. 181log81 83log83 21log21)(log)()(81)()(222bitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji811. 181log81 83log83 83log83 81log81)(log)()(81)()()()()(0)(83)()()()()(83 81 21
14、)()()()()()(8/1)()()()()(0)(0)(0)(2222222222122122121121221211211111121111111211111111211111212221211(2) 7 bitXYHXYZHXYZHbitXZHXYZHXZYHbitYZHXYZHYZXHbitYHYZHYZHbitZHYZHZYHbitXHXZHXZHbitZHXZHZXHbitXHXYHXYHbitYHXYHYXHbityxpyxpXYHijjiji0811. 1811. 1)()()/(405. 0406. 1811. 1)()()/(405. 0406. 1811. 1)()()/(406. 01406. 1)()()/(862. 0544. 0406. 1)()()/(406. 01406. 1)()()/(862. 0544. 0406. 1)()()/(811. 01811. 1)()()/(811. 01811. 1)()()/(811. 181log81 83log83 83log83 81log81)(log)()(3)bitZYHYHZYIbitZXHXHZXIbitYXHXHYXI138. 0862. 01)/(
