《信息论与编码傅祖芸赵建中课后答案》由会员分享，可在线阅读，更多相关《信息论与编码傅祖芸赵建中课后答案（95页珍藏版）》请在金锄头文库上搜索。
1、细心整理其次章课后习题【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比拟天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必需称多少次？解：从信息论的角度看，细心整理“12 枚硬币中，某一枚为假币”该事务发生的概率为 P =112；细心整理“假币的重量比真的轻，或重”该事务发生的概率为 P =12；细心整理为确定哪一枚是假币，即要消退上述两事务的联合不确定性，由于二者是独立的，因此有I = log12 + log 2 = log 24 比特细心整理而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为
2、P =平每一次消退的不确定性为 I = log 3 比特因此，必需称的次数为13，因此天细心整理I 1I 2=log 24log 3 2.9 次细心整理因此，至少需称 3 次。【延长】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对匀整的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种状况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，细心整理因此该种状况发生的概率为 P =1 16 6=136，该事务的信息量为：细心整理I
3、 = log 36 5.17 比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概细心整理率为 P =1 16 6536，因此该事务的信息量为：36I = log 2.85 比特5细心整理“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P =1 16 6118，细心整理因此该事务的信息量为：I = log18 4.17 比特【2.3】假设你在不知道今日是星期几的状况下问你的挚友“明天星期几？”那么答案中含有多少信息量？假设你在确定今日是星期四的状况下提出同样的问题，那么答案中你能获得多少信息量假设确定星期一
4、至星期日的依次？解：假设不知今日星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为细心整理P =17，因此此时从答案中获得的信息量为细心整理I = log 7 = 2.807 比特而当确定今日星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。【2.4】居住某地区的女孩中有 25%是高校生，在女高校生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假设我们得知“身高 1.6 米以上的某女孩是高校生”的消息，问获得多少信息量？解：设 A 表示女孩是高校生， P( A) = 0.25 ；B 表示女孩身高 1.6 米以
5、上， P( B | A) = 0.75 ， P( B) = 0.5“身高 1.6 米以上的某女孩是高校生”的发生概率为 5 = 2 =细心整理P( A | B) =P( AB)P( B)=P( A) P(B | A)P( B)=0. 25 0. 750.5= 0.375细心整理确定该事务所能获得的信息量为细心整理I = log10.375 1.415 比特细心整理 X a1 = 0 a2 = 1 a3 = 2 a4 = 31/ 4 1 / 4，其发出的消息为细心整理，求1 此消息的自信息是多少？2 在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是相互独立的
6、，此时发出的消息的自信息即为各消息的自信息之和。依据确定条件，发出各消息所包含的信息量分别为：细心整理I (a0 = 0) = log83= 1.415 比特细心整理I (a1 = 1) = log 4 = 2 比特I (a2 = 2) = log 4 = 2 比特I (a3 = 3) = log 8 = 3 比特在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，那么得到消息的自信息为：I = 14 1.415 + 13 2 + 12 2 + 6 3 87.81 比特45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为细心整
7、理I =87.8145= 1.95 比特/符号细心整理留意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H ( X ) = P( x) log P( x) = 1.91比特/符号 = 3 / 81/ 8 【 2.5 】 设 离 散 无 记 忆 信 源 P( x) 细心整理【2.6】如有 6 行 8 列的棋型方格，假设有二个质点 A 和 B，分别以等概率落入任一方格内，且它们的坐标分别为XA,YA和XB,YB，但 A 和 B 不能落入同一方格内。1 假设仅有质点 A，求 A 落入任一个格的平均自信息量是多少？2 假设确定 A 已落入，求
8、B 落入的平均自信息量。3 假设 A、B 是可辨别的，求 A、B 同都落入的平均自信息量。解：1求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为：细心整理 X a2148a3148L a48 1 L 细心整理平均自信息量为H ( A) = log 48 = 5.58 比特/符号2确定质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A) 。细心整理A 已落入，B 落入的格可能有 47 个，条件概率 P(b j | ai ) 均为147。平均自信息量为细心整理48 47i =1 j =13质点 A 和 B 同时落入的平均自信息量为H (
9、 AB) = H ( A) + H (B | A) = 11.13 比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，假设你问一位男同志：“你是否是红绿色盲？”，他的答复可能是“是”，也可能是“否”，问这两个答复中各含有多少信息量？平均每个答复中含有多少信息量？假设你问一位女同志，那么答案中含有的平均自信息量是多少？解： a1 P = 1 4848 H ( B | A) = P(ai )P(b j | ai ) log P(b j | ai ) = log 47 = 5.55 比特/符号细心整理男同志红绿色盲的概率空间为： X a1 a 2 问男同
10、志答复“是”所获昨的信息量为：细心整理I = log10.07 3.836 比特/符号细心整理问男同志答复“否”所获得的信息量为：细心整理I = log10.93 0.105 比特/符号细心整理男同志平均每个答复中含有的信息量为H ( X ) = P( x) log P( x) = 0.366 比特/符号同样，女同志红绿色盲的概率空间为细心整理Y P b1 b2 细心整理问女同志答复“是”所获昨的信息量为：细心整理I = log10.005 7.64 比特/符号细心整理问女同志答复“否”所获昨的信息量为：细心整理I = log10.995 7.23 10 3 比特/符号细心整理女同志平均每个答
11、复中含有的信息量为H (Y ) = P( x) log P( x) = 0.045 比特/符号 X a1 a2 a3 a 4 a5 a6 P( x) 么 H ( X ) log 6 ，不满足信源熵的极值性。解：H ( X ) = P( x) log P( x) = 2.65 log 6缘由是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。 P = 0.07 0.93= 0.005 0.995 = 0.2 0.19 0.18 0.17 0.16 0.17 ，求此信源的熵，并说明为什【2.8】设信源 细心整理【 2.9 】 设 离 散 无 记 忆 信 源 S 其 符 号 集 A
12、= a1 , a2 ,., aq ， 知 其 相 应 的 概 率 分 别 为(P1 , P2 ,., Pq ) 。 设 另 一 离 散 无 记 忆 信 源 S ， 其 符 号 集 为 S 信 源 符 号 集 的 两 倍 ，A = ai , i = 1,2,.,2q，并且各符号的概率分布满足细心整理Pi = (1 ) PiPi = Pii = 1,2,., qi = q + 1, q + 2,.,2q细心整理试写出信源 S 的信息熵与信源 S 的信息熵的关系。解：H (S ) = P( x) log P( x)= (1 ) Pi log(1 )Pi Pi log Pi= (1 ) Pi log(1
